# 34-validator-scored-without-real-deliverable. coder-validator 在没有真实产物的情况下给了满分 > **日期**: 2026-08-22 > **状态**: 📝 **调研记录,非设计方案,且 §一/§二的核心前提已被 §零 推翻大半**—— > 原始判断("index.html 从未被写出来")是错的,真实网站文件其实存在,只是不在 > `graph_files` 索引里。修订后的问题更窄:validator 有没有**真的**照 `evidence_hint` > 做浏览器级检查,还是即使产物存在也照样走了个形式。这一层仍未核实,留待下次。 > **触发**: `e2e-demo` 公司真实回归任务 `T-mt2r6fz0-125b`(goal `G-mt2r62ia-73af`, > root run `run_0e9074815130`)——[31 号文档](./31-work-graph-fail-fallback-coverage.md) > 兜底边修复 + [33 号文档](./33-needs-gate-role-filter-bug.md) 契约修复之后,把这条任务 > 真正推到 `completed`,回头查"最终产出在哪"时发现的 --- ## 零、2026-08-22 补充:原始判断错了一半——真实网站文件其实存在 写这份文档时只查了两处:`org-coder-impl`/`org-coder-test` 各自的节点私有目录 (`runs/{rootRunId}/nodes/{nodeRunId}/`)和 `graph_files` 索引表,两处都没有 HTML/CSS/JS,于是断言"首页从未被写出来"。 后来在**同一次会话里**给控制台加"任务产物汇总"面板(用户反馈的另一个需求)时, 读 `graph-engine.js` 的 W2 段落才发现:这个引擎给每个任务的代码分配了一个**跨节点 共享的项目根**(`ensureProjectRoot`,复用 DevLoop 的 `path-resolver.allocateProjectRoot`, 落在 `data/companies/{cid}/projects/{pid}/`),这个目录**不受 `graph_files`/ `indexNodeOutputs` 覆盖**——后者只扫每个节点自己的私有产出目录。真去看 `data/companies/e2e-demo/projects/p-v82tpc/` 才发现: ``` index.html 2.2KB 真实的 apple.com 风格单页站点(hero + 3 个卖点区块 + 平滑滚动导航) script.js 1.0KB styles.css 3.3KB tests/unit-tester.check.js workgraph-plan-T-mt2r6fz0-125b.md ``` 内容核对过:3 个卖点区块的标题与顺序(多智能体协作 → 全链路自动化 → Skill 竞技场) 与 `org-coder-impl` 自己 `_plan.md` 里写的验收对照表逐字对应,不是空壳/占位文件。 **这次查漏的教训**:`graph_files` 索引 + 节点私有目录,只是这个系统里**两个**产出 落点中的一个;第三个(项目根)当时完全没查。下面 §一/§二 保留原文作历史记录, 但"index.html 从未被写出来"这句话是错的,请按本节订正读。 ## 一、(原始记录,前提有误,见 §零) ## 一、现象 任务最终状态:`completed`,`org-planner` / `org-coder` / `org-validator` 三个 org 节点 全部 `success`。但查 `org-coder-impl`(`rn_e71be3641174`)的实际产出目录 (`data/companies/e2e-demo/runs/run_0e9074815130/nodes/rn_e71be3641174/`), 只有这些文件: ``` _plan.md agent 自己的规划笔记 _research.md agent 自己的调研笔记 coder.log agent 自己的执行日志 contract.json 跨节点契约快照 ``` **没有任何 HTML/CSS/JS 文件**——任务原文要求的"apple.com 风格官网首页"从未被写出来过。 `org-coder-test`(`rn_cd3e3a1c51e2`)同样只有 `_plan.md`/`_research.md`,没有测试对象。 ### `org-coder-validator` 的评分(`attempt-1.scores.json`) ```json { "hero_first_impression": 100, "pitch_sections_completeness": 100, "smooth_nav_no_anchor_jump": 100, "responsive_layout": 100, "resource_integrity": 100, "pipeline_auto_recovery": 100 } ``` 六维度全部满分,`overall_pass_threshold=82`,加权后自然通过。 ## 二、这份评分明显没有真的检查过产物 `goal-benchmark.json`(本次任务的验收契约)给每个维度都写了 `evidence_hint`, 其中 5 个维度**明确要求打开真实页面检查**: | 维度 | `evidence_hint` 原话(节选) | |---|---| | `hero_first_impression` | 「打开 `index.html`,桌面宽度截图首屏;量 h1 与 tagline 的计算字号比值」 | | `pitch_sections_completeness` | 「滚动到底数区块数量与顺序;逐个检查 h2+p+visual 三要素是否齐全」 | | `smooth_nav_no_anchor_jump` | 「开发者工具 Elements 检查导航元素;点击时观察地址栏与 Network/Console 有无 hashchange」 | | `responsive_layout` | 「浏览器依次设置视口宽度 375/768/1440px 检查横向滚动条与重叠」 | | `resource_integrity` | 「打开浏览器开发者工具 Console + Network 面板刷新页面检查」 | 这五项全都以"打开浏览器 / 打开 `index.html`"为前提——**当时以为** `index.html` 从没被写出来过,所以断言 validator 不可能真的执行了这些检查步骤。**这个前提错了** (见 §零):`index.html`/`styles.css`/`script.js` 其实都在 `projects/p-v82tpc/` 下真实存在,内容也对得上任务要求。 **订正后的结论**:不能再说这是"没有产物却给了满分"——产物是有的。真正没验证过的 是**更窄的一个问题**:`org-coder-validator` 是否真的照 `evidence_hint` 打开了这个 页面、量了字号比例、切了三档视口、开了 Console/Network 面板检查,还是即使产物 存在,它也只是读了读源码/自己的 `_plan.md` 就直接给了 100 分,没有真的做那些 `evidence_hint` 点名要求的浏览器级验证动作。这个问题现在的证据**不足以下结论**—— 六个维度全 100 分本身既可能是"真查过、页面确实做得不错",也可能是"没查、乐观估计", 两种情况从现有的 `attempt-*.json`/`remediationNote` 文本里区分不出来。 ## 三、影响面(订正后,仍未核实,留给下次) - 这不是 31/33 号文档改动引入的新问题——两次修复只是让流程**不再卡死**, 让这条原本会一直 blocked 的任务真的走到了 `completed`,才有机会去看"最终产出 在哪、验收是怎么做的"这件事。 - 真正独立于本文档、且已经确认修复的一个衍生问题:`graph_files`/`taskFiles` 索引**不覆盖项目根**,这意味着控制台原本设想的"任务级产物汇总"面板如果只读 `graph_files`,会永远看不到真实交付物(这正是 §零 发现问题的路径)。这一半 已经在同一次改动里修了:`graph-engine.readProjectRootRecord` 现在随 `GET /api/graph-runs/:id` 一起吐出来,控制台的「产物」按钮会分别列"最终交付物 · 项目根"和"节点产出索引"两节,见 `web/src/components/graph-console/TaskFilesPanel.vue`。 - 仍然悬而未决的是 validator **有没有真的做过视觉/交互检查**这件事本身——这需要 证据链(比如强制要求 validator 在 `attempt-*.json` 里回填它量出的具体数字: h1:tagline 字号比、三档视口下的滚动条状态等),而不是只回一个分数。 ## 四、留待下次调查的问题(不在本次范围内动手) - [ ] `coder-validator` 本体(`system/agents/unit-tester/agent.md` 或对应角色)的 提示词里,评分前有没有一步强制要求"回填 evidence_hint 点名要量的具体数字", 而不是只回一个分数?没有这一步的话,"真查过"与"没查"从产出上完全无法区分。 - [ ] `coder-validator` 是否有可用的浏览器工具(截图、DOM 检查)去真的执行 `evidence_hint` 里描述的那些检查?如果连工具都没有,让它对着"评分要求打开浏览器" 的 rubric 打分,本身就是设计上要求了它做不到的事。 - [ ] 抽查其他任务(比如 `p-bkhylu`/`p-v1mpcl` 这两个已存在的项目根)的 validator 评分记录,看这次的六个满分是个例还是常态。 - [ ] 是否需要给"必须打开真实产物检查"的维度加一道**引擎级的前置闸门**:至少确保 被检查的文件(如 `index.html`)在 `evidence_hint` 点名的路径下真实存在 (现在项目根已经可查,这道闸门补起来比 §零 之前容易),如果连文件都不存在 就直接拦下不许打分;文件存在之后 validator 有没有真的看,还是只能靠 §四第 一条的"强制回填具体数字"来间接约束。