34-validator-scored-without-real-deliverable. coder-validator 在没有真实产物的情况下给了满分
日期: 2026-08-22 状态: 📝 调研记录,非设计方案,且 §一/§二的核心前提已被 §零 推翻大半—— 原始判断("index.html 从未被写出来")是错的,真实网站文件其实存在,只是不在
graph_files索引里。修订后的问题更窄:validator 有没有真的照evidence_hint做浏览器级检查,还是即使产物存在也照样走了个形式。这一层仍未核实,留待下次。 触发:e2e-demo公司真实回归任务T-mt2r6fz0-125b(goalG-mt2r62ia-73af, root runrun_0e9074815130)——31 号文档 兜底边修复 + 33 号文档 契约修复之后,把这条任务 真正推到completed,回头查"最终产出在哪"时发现的
零、2026-08-22 补充:原始判断错了一半——真实网站文件其实存在
写这份文档时只查了两处:org-coder-impl/org-coder-test 各自的节点私有目录
(runs/{rootRunId}/nodes/{nodeRunId}/)和 graph_files 索引表,两处都没有
HTML/CSS/JS,于是断言"首页从未被写出来"。
后来在同一次会话里给控制台加"任务产物汇总"面板(用户反馈的另一个需求)时,
读 graph-engine.js 的 W2 段落才发现:这个引擎给每个任务的代码分配了一个跨节点
共享的项目根(ensureProjectRoot,复用 DevLoop 的 path-resolver.allocateProjectRoot,
落在 data/companies/{cid}/projects/{pid}/),这个目录不受 graph_files/
indexNodeOutputs 覆盖——后者只扫每个节点自己的私有产出目录。真去看
data/companies/e2e-demo/projects/p-v82tpc/ 才发现:
index.html 2.2KB 真实的 apple.com 风格单页站点(hero + 3 个卖点区块 + 平滑滚动导航)
script.js 1.0KB
styles.css 3.3KB
tests/unit-tester.check.js
workgraph-plan-T-mt2r6fz0-125b.md
内容核对过:3 个卖点区块的标题与顺序(多智能体协作 → 全链路自动化 → Skill 竞技场)
与 org-coder-impl 自己 _plan.md 里写的验收对照表逐字对应,不是空壳/占位文件。
这次查漏的教训:graph_files 索引 + 节点私有目录,只是这个系统里两个产出
落点中的一个;第三个(项目根)当时完全没查。下面 §一/§二 保留原文作历史记录,
但"index.html 从未被写出来"这句话是错的,请按本节订正读。
一、(原始记录,前提有误,见 §零)
一、现象
任务最终状态:completed,org-planner / org-coder / org-validator 三个 org 节点
全部 success。但查 org-coder-impl(rn_e71be3641174)的实际产出目录
(data/companies/e2e-demo/runs/run_0e9074815130/nodes/rn_e71be3641174/),
只有这些文件:
_plan.md agent 自己的规划笔记
_research.md agent 自己的调研笔记
coder.log agent 自己的执行日志
contract.json 跨节点契约快照
没有任何 HTML/CSS/JS 文件——任务原文要求的"apple.com 风格官网首页"从未被写出来过。
org-coder-test(rn_cd3e3a1c51e2)同样只有 _plan.md/_research.md,没有测试对象。
org-coder-validator 的评分(attempt-1.scores.json)
{
"hero_first_impression": 100,
"pitch_sections_completeness": 100,
"smooth_nav_no_anchor_jump": 100,
"responsive_layout": 100,
"resource_integrity": 100,
"pipeline_auto_recovery": 100
}
六维度全部满分,overall_pass_threshold=82,加权后自然通过。
二、这份评分明显没有真的检查过产物
goal-benchmark.json(本次任务的验收契约)给每个维度都写了 evidence_hint,
其中 5 个维度明确要求打开真实页面检查:
| 维度 | evidence_hint 原话(节选) |
|---|---|
hero_first_impression |
「打开 index.html,桌面宽度截图首屏;量 h1 与 tagline 的计算字号比值」 |
pitch_sections_completeness |
「滚动到底数区块数量与顺序;逐个检查 h2+p+visual 三要素是否齐全」 |
smooth_nav_no_anchor_jump |
「开发者工具 Elements 检查导航元素;点击时观察地址栏与 Network/Console 有无 hashchange」 |
responsive_layout |
「浏览器依次设置视口宽度 375/768/1440px 检查横向滚动条与重叠」 |
resource_integrity |
「打开浏览器开发者工具 Console + Network 面板刷新页面检查」 |
这五项全都以"打开浏览器 / 打开 index.html"为前提——当时以为 index.html
从没被写出来过,所以断言 validator 不可能真的执行了这些检查步骤。这个前提错了
(见 §零):index.html/styles.css/script.js 其实都在 projects/p-v82tpc/
下真实存在,内容也对得上任务要求。
订正后的结论:不能再说这是"没有产物却给了满分"——产物是有的。真正没验证过的
是更窄的一个问题:org-coder-validator 是否真的照 evidence_hint 打开了这个
页面、量了字号比例、切了三档视口、开了 Console/Network 面板检查,还是即使产物
存在,它也只是读了读源码/自己的 _plan.md 就直接给了 100 分,没有真的做那些
evidence_hint 点名要求的浏览器级验证动作。这个问题现在的证据不足以下结论——
六个维度全 100 分本身既可能是"真查过、页面确实做得不错",也可能是"没查、乐观估计",
两种情况从现有的 attempt-*.json/remediationNote 文本里区分不出来。
三、影响面(订正后,仍未核实,留给下次)
- 这不是 31/33 号文档改动引入的新问题——两次修复只是让流程不再卡死,
让这条原本会一直 blocked 的任务真的走到了
completed,才有机会去看"最终产出 在哪、验收是怎么做的"这件事。 - 真正独立于本文档、且已经确认修复的一个衍生问题:
graph_files/taskFiles索引不覆盖项目根,这意味着控制台原本设想的"任务级产物汇总"面板如果只读graph_files,会永远看不到真实交付物(这正是 §零 发现问题的路径)。这一半 已经在同一次改动里修了:graph-engine.readProjectRootRecord现在随GET /api/graph-runs/:id一起吐出来,控制台的「产物」按钮会分别列"最终交付物 · 项目根"和"节点产出索引"两节,见web/src/components/graph-console/TaskFilesPanel.vue。 - 仍然悬而未决的是 validator 有没有真的做过视觉/交互检查这件事本身——这需要
证据链(比如强制要求 validator 在
attempt-*.json里回填它量出的具体数字: h1:tagline 字号比、三档视口下的滚动条状态等),而不是只回一个分数。
四、留待下次调查的问题(不在本次范围内动手)
- [ ]
coder-validator本体(system/agents/unit-tester/agent.md或对应角色)的 提示词里,评分前有没有一步强制要求"回填 evidence_hint 点名要量的具体数字", 而不是只回一个分数?没有这一步的话,"真查过"与"没查"从产出上完全无法区分。 - [ ]
coder-validator是否有可用的浏览器工具(截图、DOM 检查)去真的执行evidence_hint里描述的那些检查?如果连工具都没有,让它对着"评分要求打开浏览器" 的 rubric 打分,本身就是设计上要求了它做不到的事。 - [ ] 抽查其他任务(比如
p-bkhylu/p-v1mpcl这两个已存在的项目根)的 validator 评分记录,看这次的六个满分是个例还是常态。 - [ ] 是否需要给"必须打开真实产物检查"的维度加一道引擎级的前置闸门:至少确保
被检查的文件(如
index.html)在evidence_hint点名的路径下真实存在 (现在项目根已经可查,这道闸门补起来比 §零 之前容易),如果连文件都不存在 就直接拦下不许打分;文件存在之后 validator 有没有真的看,还是只能靠 §四第 一条的"强制回填具体数字"来间接约束。