34-validator-scored-without-real-deliverable. coder-validator 在没有真实产物的情况下给了满分
日期: 2026-08-22 状态: 📝 调研记录,非设计方案——只记录现象与证据,不现场深挖根因(用户明确选择 先记文档,验收链路本身的调查留给下次) 触发:
e2e-demo公司真实回归任务T-mt2r6fz0-125b(goalG-mt2r62ia-73af, root runrun_0e9074815130)——31 号文档 兜底边修复 + 33 号文档 契约修复之后,把这条任务 真正推到completed,回头查"最终产出在哪"时发现的
一、现象
任务最终状态:completed,org-planner / org-coder / org-validator 三个 org 节点
全部 success。但查 org-coder-impl(rn_e71be3641174)的实际产出目录
(data/companies/e2e-demo/runs/run_0e9074815130/nodes/rn_e71be3641174/),
只有这些文件:
_plan.md agent 自己的规划笔记
_research.md agent 自己的调研笔记
coder.log agent 自己的执行日志
contract.json 跨节点契约快照
没有任何 HTML/CSS/JS 文件——任务原文要求的"apple.com 风格官网首页"从未被写出来过。
org-coder-test(rn_cd3e3a1c51e2)同样只有 _plan.md/_research.md,没有测试对象。
org-coder-validator 的评分(attempt-1.scores.json)
{
"hero_first_impression": 100,
"pitch_sections_completeness": 100,
"smooth_nav_no_anchor_jump": 100,
"responsive_layout": 100,
"resource_integrity": 100,
"pipeline_auto_recovery": 100
}
六维度全部满分,overall_pass_threshold=82,加权后自然通过。
二、这份评分明显没有真的检查过产物
goal-benchmark.json(本次任务的验收契约)给每个维度都写了 evidence_hint,
其中 5 个维度明确要求打开真实页面检查:
| 维度 | evidence_hint 原话(节选) |
|---|---|
hero_first_impression |
「打开 index.html,桌面宽度截图首屏;量 h1 与 tagline 的计算字号比值」 |
pitch_sections_completeness |
「滚动到底数区块数量与顺序;逐个检查 h2+p+visual 三要素是否齐全」 |
smooth_nav_no_anchor_jump |
「开发者工具 Elements 检查导航元素;点击时观察地址栏与 Network/Console 有无 hashchange」 |
responsive_layout |
「浏览器依次设置视口宽度 375/768/1440px 检查横向滚动条与重叠」 |
resource_integrity |
「打开浏览器开发者工具 Console + Network 面板刷新页面检查」 |
这五项全都以"打开浏览器 / 打开 index.html"为前提——而 index.html 从来没有被
org-coder-impl 写出来过。org-coder-validator 不可能真的执行了这些检查步骤,
却仍然给出了 100/100。唯一有证据支撑的是第六维度 pipeline_auto_recovery
(权重 0.25,本次回归验证真正要看的那一维)——它的 evidence_hint 是"读
attempt-*.json 搜索 fail_reason=input_underspecified",这条本身不依赖前端产物,
org-coder 的 remediationNote 里也确实写了"检索本 run 下 nodes/*/attempt-*.json
的 verdict/fail_reason 字段,未发现任何一条真实的判定"——这条像是真查过的。
结论:org-coder-validator 至少在 5/6 维度上没有依据 evidence_hint 去核实
产物是否存在就给了分,是一次没有真实检查支撑的评分(rubber-stamped),
不是"检查过但判断错误"。
三、影响面(未核实,留给下次)
- 这不是 31/33 号文档改动引入的新问题——两次修复只是让流程不再卡死,
让这条原本会一直 blocked 的任务真的走到了
completed,才把这个一直存在的 验收缺口暴露出来。 - 如果这是系统性行为(不是这一次运气差),意味着
executor.json这类骨架的validator节点在缺少真实产物时可能倾向于给出宽松评分,而不是判 fail 或至少低分——这会让"任务显示已完成"和"任务真的达成了原始需求"之间出现 静默的落差,且这个落差在界面上完全看不出来(org-coder的remediationNote里其实提到了"artifacts/ 下产物缺失"这类线索,但那是给 下一轮 agent 看的内部备注,不是给人看的告警)。
四、留待下次调查的问题(不在本次范围内动手)
- [ ]
coder-validator本体(system/agents/unit-tester/agent.md或对应角色)的 提示词里,评分前有没有一步"先确认产物文件真的存在"的强制检查?如果没有, 这可能是这次跑分虚高的直接原因。 - [ ]
coder-validator是否有可用的浏览器/文件读取工具去真的执行evidence_hint里描述的那些检查(截图、开发者工具)?如果工具不可用, "满分"可能是它在无法验证时的默认基调,而不是主动撒谎。 - [ ] 这是不是这次真实回归测试里
org-coder/unit-tester两个新招聘本体 (见 33 号文档提交时的记录)本身 还没配好角色提示词导致的一次性现象,还是所有executor.json骨架的 validator 节点普遍如此? - [ ] 是否需要给这类"需要打开真实产物检查"的维度加一道引擎级的前置闸门
(类似 T-mt25ecbd 的 produces 闸门):
evidence_hint里点名要读的文件 如果在产物索引里查不到实例,直接判该维度 0 分或整体 blocked,不依赖 validator 自己主动去查。