34-validator-scored-without-real-deliverable.md 8.16 KB

34-validator-scored-without-real-deliverable. coder-validator 在没有真实产物的情况下给了满分

日期: 2026-08-22 状态: 📝 调研记录,非设计方案,且 §一/§二的核心前提已被 §零 推翻大半—— 原始判断("index.html 从未被写出来")是错的,真实网站文件其实存在,只是不在 graph_files 索引里。修订后的问题更窄:validator 有没有真的照 evidence_hint 做浏览器级检查,还是即使产物存在也照样走了个形式。这一层仍未核实,留待下次。 触发: e2e-demo 公司真实回归任务 T-mt2r6fz0-125b(goal G-mt2r62ia-73af, root run run_0e9074815130)——31 号文档 兜底边修复 + 33 号文档 契约修复之后,把这条任务 真正推到 completed,回头查"最终产出在哪"时发现的


零、2026-08-22 补充:原始判断错了一半——真实网站文件其实存在

写这份文档时只查了两处:org-coder-impl/org-coder-test 各自的节点私有目录 (runs/{rootRunId}/nodes/{nodeRunId}/)和 graph_files 索引表,两处都没有 HTML/CSS/JS,于是断言"首页从未被写出来"。

后来在同一次会话里给控制台加"任务产物汇总"面板(用户反馈的另一个需求)时, 读 graph-engine.js 的 W2 段落才发现:这个引擎给每个任务的代码分配了一个跨节点 共享的项目根(ensureProjectRoot,复用 DevLoop 的 path-resolver.allocateProjectRoot, 落在 data/companies/{cid}/projects/{pid}/),这个目录不受 graph_files/ indexNodeOutputs 覆盖——后者只扫每个节点自己的私有产出目录。真去看 data/companies/e2e-demo/projects/p-v82tpc/ 才发现:

index.html   2.2KB   真实的 apple.com 风格单页站点(hero + 3 个卖点区块 + 平滑滚动导航)
script.js    1.0KB
styles.css   3.3KB
tests/unit-tester.check.js
workgraph-plan-T-mt2r6fz0-125b.md

内容核对过:3 个卖点区块的标题与顺序(多智能体协作 → 全链路自动化 → Skill 竞技场) 与 org-coder-impl 自己 _plan.md 里写的验收对照表逐字对应,不是空壳/占位文件。

这次查漏的教训:graph_files 索引 + 节点私有目录,只是这个系统里两个产出 落点中的一个;第三个(项目根)当时完全没查。下面 §一/§二 保留原文作历史记录, 但"index.html 从未被写出来"这句话是错的,请按本节订正读。

一、(原始记录,前提有误,见 §零)

一、现象

任务最终状态:completed,org-planner / org-coder / org-validator 三个 org 节点 全部 success。但查 org-coder-impl(rn_e71be3641174)的实际产出目录 (data/companies/e2e-demo/runs/run_0e9074815130/nodes/rn_e71be3641174/), 只有这些文件:

_plan.md        agent 自己的规划笔记
_research.md    agent 自己的调研笔记
coder.log       agent 自己的执行日志
contract.json   跨节点契约快照

没有任何 HTML/CSS/JS 文件——任务原文要求的"apple.com 风格官网首页"从未被写出来过。 org-coder-test(rn_cd3e3a1c51e2)同样只有 _plan.md/_research.md,没有测试对象。

org-coder-validator 的评分(attempt-1.scores.json)

{
  "hero_first_impression": 100,
  "pitch_sections_completeness": 100,
  "smooth_nav_no_anchor_jump": 100,
  "responsive_layout": 100,
  "resource_integrity": 100,
  "pipeline_auto_recovery": 100
}

六维度全部满分,overall_pass_threshold=82,加权后自然通过。

二、这份评分明显没有真的检查过产物

goal-benchmark.json(本次任务的验收契约)给每个维度都写了 evidence_hint, 其中 5 个维度明确要求打开真实页面检查:

维度 evidence_hint 原话(节选)
hero_first_impression 「打开 index.html,桌面宽度截图首屏;量 h1 与 tagline 的计算字号比值」
pitch_sections_completeness 「滚动到底数区块数量与顺序;逐个检查 h2+p+visual 三要素是否齐全」
smooth_nav_no_anchor_jump 「开发者工具 Elements 检查导航元素;点击时观察地址栏与 Network/Console 有无 hashchange」
responsive_layout 「浏览器依次设置视口宽度 375/768/1440px 检查横向滚动条与重叠」
resource_integrity 「打开浏览器开发者工具 Console + Network 面板刷新页面检查」

这五项全都以"打开浏览器 / 打开 index.html"为前提——当时以为 index.html 从没被写出来过,所以断言 validator 不可能真的执行了这些检查步骤。这个前提错了 (见 §零):index.html/styles.css/script.js 其实都在 projects/p-v82tpc/ 下真实存在,内容也对得上任务要求。

订正后的结论:不能再说这是"没有产物却给了满分"——产物是有的。真正没验证过的 是更窄的一个问题:org-coder-validator 是否真的照 evidence_hint 打开了这个 页面、量了字号比例、切了三档视口、开了 Console/Network 面板检查,还是即使产物 存在,它也只是读了读源码/自己的 _plan.md 就直接给了 100 分,没有真的做那些 evidence_hint 点名要求的浏览器级验证动作。这个问题现在的证据不足以下结论—— 六个维度全 100 分本身既可能是"真查过、页面确实做得不错",也可能是"没查、乐观估计", 两种情况从现有的 attempt-*.json/remediationNote 文本里区分不出来。

三、影响面(订正后,仍未核实,留给下次)

  • 这不是 31/33 号文档改动引入的新问题——两次修复只是让流程不再卡死, 让这条原本会一直 blocked 的任务真的走到了 completed,才有机会去看"最终产出 在哪、验收是怎么做的"这件事。
  • 真正独立于本文档、且已经确认修复的一个衍生问题:graph_files/taskFiles 索引不覆盖项目根,这意味着控制台原本设想的"任务级产物汇总"面板如果只读 graph_files,会永远看不到真实交付物(这正是 §零 发现问题的路径)。这一半 已经在同一次改动里修了:graph-engine.readProjectRootRecord 现在随 GET /api/graph-runs/:id 一起吐出来,控制台的「产物」按钮会分别列"最终交付物 · 项目根"和"节点产出索引"两节,见 web/src/components/graph-console/TaskFilesPanel.vue。
  • 仍然悬而未决的是 validator 有没有真的做过视觉/交互检查这件事本身——这需要 证据链(比如强制要求 validator 在 attempt-*.json 里回填它量出的具体数字: h1:tagline 字号比、三档视口下的滚动条状态等),而不是只回一个分数。

四、留待下次调查的问题(不在本次范围内动手)

  • [ ] coder-validator 本体(system/agents/unit-tester/agent.md 或对应角色)的 提示词里,评分前有没有一步强制要求"回填 evidence_hint 点名要量的具体数字", 而不是只回一个分数?没有这一步的话,"真查过"与"没查"从产出上完全无法区分。
  • [ ] coder-validator 是否有可用的浏览器工具(截图、DOM 检查)去真的执行 evidence_hint 里描述的那些检查?如果连工具都没有,让它对着"评分要求打开浏览器" 的 rubric 打分,本身就是设计上要求了它做不到的事。
  • [ ] 抽查其他任务(比如 p-bkhylu/p-v1mpcl 这两个已存在的项目根)的 validator 评分记录,看这次的六个满分是个例还是常态。
  • [ ] 是否需要给"必须打开真实产物检查"的维度加一道引擎级的前置闸门:至少确保 被检查的文件(如 index.html)在 evidence_hint 点名的路径下真实存在 (现在项目根已经可查,这道闸门补起来比 §零 之前容易),如果连文件都不存在 就直接拦下不许打分;文件存在之后 validator 有没有真的看,还是只能靠 §四第 一条的"强制回填具体数字"来间接约束。