fde_report_v1.md
8.55 KB
fde_report_v1.md — deep-research 首轮 Small Loop 终报（T-mtcrh6bp）
- 执行者：innovator-evolver ｜ 日期：2026-08-28 ｜ 依据：benchmark_v2.md（91 判据 + C1–C15 + 附录 A/B）
- 评测对象：deep-research 的 SKILL（本体 prompt.md，v1.0.0 基线）→ 3 轮迭代至 v1.1.1
- 结论一句话：A 轨 42.31 → 100.00，B 轨 8/11 场景不达标 → 全部 ≥95 且零 veto，双门槛放行； 但该分数是「SKILL 条款符合度」上限评测，不等于线上实跑分数（见 §五 自评偏置与局限）。
一、最终分数与每维算式（v1.1.1，R3）
算式：维度分 = Σ(命中判据 points) / Σ(该维全部判据 points) × 100（全 11 场景合并）； A 轨总分 = Σ(维度分 × 权重 / 100)。判据 points 取自 test_scenarios_v2.json 原值，未做任何调整。
| 维度 | 名称 | 权重 | 命中/总 points | 维度分 | 算式 | 加权 |
|---|---|---|---|---|---|---|
| D1 | 需求澄清与检索计划 | 15 | 135/135 | 100.00 | (25+20+15+15+15+10 +15 +20)/135 | 15.00 |
| D2 | 子问题拆解与派单质量 | 15 | 85/85 | 100.00 | (15+20+15 +20+15)/85 | 15.00 |
| D3 | 检索执行策略 | 15 | 120/120 | 100.00 | (15 +20+15+15+10+5+10 +30)/120 | 15.00 |
| D4 | 信源质量与可信度评级 | 15 | 205/205 | 100.00 | (110 +25+20 +20+15+15)/205 | 15.00 |
| D5 | 交叉验证与分级结论 | 10 | 190/190 | 100.00 | (110 +15 +25 +25+15)/190 | 10.00 |
| D6 | 引用与溯源 | 10 | 180/180 | 100.00 | (115 +20 +10 +20+15)/180 | 10.00 |
| D7 | 停机判据与 effort 校准 | 10 | 145/145 | 100.00 | (10 +10+10 +25 +30+25+20 +15)/145 | 10.00 |
| D8 | 产物落盘与机械自检 | 10 | 130/130 | 100.00 | (10 +10 +25+25+15+15+10 +5 +15)/130 | 10.00 |
| A 轨总分 | 100 | 1190/1190 | Σ 维度分×权重 | 100.00 |
（逐维 points 明细可用 evolve/tools/aggregate.py evolve/scores_v1/round3_verdicts.json 复算，
输出与本表逐位一致。）
二、B 轨逐场景分（E1–E5 加权 20/20/30/20/10，E4 veto）
| 场景 | E1 | E2 | E3 | E4 | E5 | B 分 | veto |
|---|---|---|---|---|---|---|---|
| TS-01 | 100 | 100 | 100 | 100 | 80 | 98.0 | 无 |
| TS-02 | 90 | 100 | 100 | 100 | 100 | 98.0 | 无 |
| TS-03 | 100 | 100 | 100 | 100 | 100 | 100.0 | 无 |
| TS-04 | 100 | 100 | 100 | 100 | 50 | 95.0 | 无 |
| TS-05 | 100 | 100 | 100 | 100 | 60 | 96.0 | 无 |
| TS-06 | 100 | 100 | 100 | 100 | 50 | 95.0 | 无 |
| TS-07 | 100 | 100 | 100 | 100 | 100 | 100.0 | 无 |
| TS-08 | 100 | 100 | 100 | 100 | 50 | 95.0 | 无 |
| TS-09 | 90 | 100 | 100 | 100 | 100 | 98.0 | 无（R2 曾 veto，R3 解除） |
| TS-10 | 100 | 100 | 100 | 100 | 100 | 100.0 | 无 |
| TS-11 | 100 | 100 | 100 | 100 | 50 | 95.0 | 无 |
全轮零静默引用：每条引文先回查已注册缓存（口径 1 HTML/MD grep-F、口径 2 空白不敏感/分词元、
口径 3 PDF 文本层解码转写），未命中一律不写；11 条 E4 veto 全部通过，无一条编造引文/URL/数字。
全轮引用的负向核对同样留痕：S15 grep hundreds=0（NF3 复现）、S12/S13/S14 planner/verifier=0、
craap-test.html <title>="Page not found | Meriam Library" 且五准则关键词 0 命中。
三、迭代轮数、每轮版本号与改动
| 轮 | 版本 | bump | A 轨 | B 轨最差 | 弱维度 | 改动 |
|---|---|---|---|---|---|---|
| R1 | v1.0.0 | 基线快照 | 42.31 | 70.0（TS-11） | D5 18.42 / D2 35.29 / D4 36.59 / D8 50.00 / D3 45.83 / D1 37.04 / D7 58.62 | 只测不修 |
| R2 | v1.1.0 | +0.1.0（方法论） | 95.70 | 0（TS-09 veto） | D5 86.84 / D6 88.89 / D3 87.50 + 4 条判据未命中 | 新增五组方法论条款（见 evolving_log.md R2） |
| R3 | v1.1.1 | +0.0.1（措辞） | 100.00 | 95.0 | 无 | 索引完整性 / 并行留痕粒度 / 不可得口径统一 / 局限声明段扩为每份交付必备 |
3 轮收敛（上限 10；单 session 上限 5），无需报瓶颈。
版本快照：skill_prompt_v1.md / skill_prompt_v2.md / skill_prompt_v3.md（v1 = 本体 prompt.md 原文，未改动本体）。
R2 → R3 的 4 条未命中（复评抓出，非改分改出来的）：TS03-A2 并行留痕只写工具类型； TS07-A3 同轮混用「无法复检」与「D 级未复检」；TS09-A3 与 TS09-B1 引用索引只列 8/12 条 （E4 一票否决，B 轨判 0）。三者都是「条款存在但口径不严」，故 R3 只 +0.0.1。
四、机械核对留痕（82 条 mechanical 判据）
- 逐条 verdict + 证据字符串：
scores_v1/round{1,2,3}_verdicts.json（91 条全列，含 9 条 human 判据单独标注）。 - 引文回查工具与结果：
tools/verify_quotes.sh（S1/S7–S11/S14–S19 直读 grep，命中数逐条输出）；tools/pdf_transcribe.py+tools/S12_transcript.txt/S13_transcript.txt（ToUnicode CMap 解码转写：S12 31591 字符、S13 2928 字符空白不敏感；附录 A 的 S12/S13 引文全部复现命中， planner/verifier 双 0 复现——该脚本按附录 B R-G5 从零重写并跑通，本轮起可复用）。 - 产物留痕：
outputs_v1/（11 件）、outputs_v2/（11 件）、outputs_v3/（3 件，文件名带场景 id）。 - 9 条 human 判据的判分理由均在 verdicts JSON 的 evidence 字段，前缀
[human]，未混入机械项。
五、未解决局限清单（如实登记，与分数同权重重要）
- 自评偏置（最大风险）：执行器与评分者是同一个 agent，且 SKILL 修订直接以 91 条判据为靶。 三轮后 A 轨 100 分是这种「SKILL 条款符合度」评测的预期收敛值，不是线上实跑分数的预测。 佐证 本轮确实抓出过真实缺陷（R2 的 4 条，含一次 E4 veto），说明评分不是橡皮图章； 但「条款齐 → 执行到位」之间仍有落差，放行结论只对「SKILL 已具备达标所需全部条款」这一命题成立。 建议 master 复核时抽查 3 份产物（outputs_v3/TS-09.md、outputs_v2/TS-05.md、outputs_v2/TS-11.md）。
- 产物为紧凑代制品：11 份交付是按场景裁剪的完整结构（计划/任务书/证据表/评级表/负发现/回传）， 不是 8000 字全量报告。凡「结构存在性 / 字段齐全性 / 逐字引文命中」类判据不受影响； 「长文组织与篇幅纪律」类（TS-09 的正文组织）未在真实长度上验证。
- 执行假设需声明：R1 严格按「SKILL 未规定 = 未产生」执行（v1.0.0 因此在并行/判级/级别语言上大量失分）。 现实中模型可能凭通用能力补齐部分行为，即 v1.0.0 的真实线上分可能高于 42.31； 同理 v1.1.1 的线上分可能低于 100。方向性结论（弱维度与缺口条款清单）不受影响。
- E4 veto 在 R2 才出现：R1 的 11 个 veto 全过是「产物引用少」的保守结果（v1.0.0 干脆不用 PDF 源）， 不是证据处理能力更强；R2 产物引用密度上升后才暴露索引完整性缺陷。
- B 轨 E5（局限声明）仍有 3 个场景 50 分（TS-04/06/08/11 的产物无成段局限声明）： 未复跑所以未调分（标尺未动、未修维度不调阈值）。v1.1.1 已把局限声明扩为每份交付必备， 下轮若复跑这 4 场景预计 ≥95，但本轮不据此声称。
- 零联网约束：本轮零新抓取，全部依据 sources_v1.json 21 条缓存；「外网访问 SOP」未在新网络窗口下实测。
- 两处既有登记瑕疵未修（任务书 c 项：已知不用修）：benchmark_v2 附录 A #24「Gao et al」命中数口径 （词元 5 次 vs 整句去标签 1 次——本工具实测与两值分别相符，取决于口径）；digest/benchmark_v1.md 与 hunt/crawl_config.json 的既有未提交改动为上一任务遗留，本轮未触碰。
- S8 机构名口径：S8 缓存无逐字「Stanford OVAL」，只有
github.com/stanford-oval/storm（org 路径） 与 stanford.edu 邮箱。TS-08 的机构名按缓存可 grep 形态作答 + 注册表 publisher 字段注明「登记元数据」。 若上游希望以「Stanford OVAL」为标准答案，需先让 Hunter 补一条含该全称的已注册信源。
六、部署与移交建议
- 本轮未改动
deep-research/prompt.md（本体）、digest/、hunt/ 的任何文件；新版本集在 train/evolve/。 - 若 Innovator 决定采用 v1.1.1：把
skill_prompt_v3.md内容覆盖到deep-research/prompt.md即可 （这是部署动作，属可逆的既定流程，但涉及本体文件，按纪律留待上级拍板，不在本任务内执行）。 - 建议下一轮用真实联网窗口跑 2–3 个场景做线上校验（尤其 TS-07 与 TS-11，验证 R-G 口径在真实抓取下成立）。