# fde_report_v1.md — deep-research 首轮 Small Loop 终报（T-mtcrh6bp）

- 执行者：innovator-evolver ｜ 日期：2026-08-28 ｜ 依据：benchmark_v2.md（91 判据 + C1–C15 + 附录 A/B）
- 评测对象：deep-research 的 SKILL（本体 prompt.md，v1.0.0 基线）→ 3 轮迭代至 v1.1.1
- 结论一句话：**A 轨 42.31 → 100.00，B 轨 8/11 场景不达标 → 全部 ≥95 且零 veto，双门槛放行**；
  但该分数是「SKILL 条款符合度」上限评测，**不等于线上实跑分数**（见 §五 自评偏置与局限）。

---

## 一、最终分数与每维算式（v1.1.1，R3）

算式：维度分 = Σ(命中判据 points) / Σ(该维全部判据 points) × 100（全 11 场景合并）；
A 轨总分 = Σ(维度分 × 权重 / 100)。判据 points 取自 test_scenarios_v2.json 原值，未做任何调整。

| 维度 | 名称 | 权重 | 命中/总 points | 维度分 | 算式 | 加权 |
|---|---|---|---|---|---|---|
| D1 | 需求澄清与检索计划 | 15 | 135/135 | 100.00 | (25+20+15+15+15+10 +15 +20)/135 | 15.00 |
| D2 | 子问题拆解与派单质量 | 15 | 85/85 | 100.00 | (15+20+15 +20+15)/85 | 15.00 |
| D3 | 检索执行策略 | 15 | 120/120 | 100.00 | (15 +20+15+15+10+5+10 +30)/120 | 15.00 |
| D4 | 信源质量与可信度评级 | 15 | 205/205 | 100.00 | (110 +25+20 +20+15+15)/205 | 15.00 |
| D5 | 交叉验证与分级结论 | 10 | 190/190 | 100.00 | (110 +15 +25 +25+15)/190 | 10.00 |
| D6 | 引用与溯源 | 10 | 180/180 | 100.00 | (115 +20 +10 +20+15)/180 | 10.00 |
| D7 | 停机判据与 effort 校准 | 10 | 145/145 | 100.00 | (10 +10+10 +25 +30+25+20 +15)/145 | 10.00 |
| D8 | 产物落盘与机械自检 | 10 | 130/130 | 100.00 | (10 +10 +25+25+15+15+10 +5 +15)/130 | 10.00 |
| **A 轨总分** | | 100 | **1190/1190** | | Σ 维度分×权重 | **100.00** |

（逐维 points 明细可用 `evolve/tools/aggregate.py evolve/scores_v1/round3_verdicts.json` 复算，
输出与本表逐位一致。）

## 二、B 轨逐场景分（E1–E5 加权 20/20/30/20/10，E4 veto）

| 场景 | E1 | E2 | E3 | E4 | E5 | B 分 | veto |
|---|---|---|---|---|---|---|---|
| TS-01 | 100 | 100 | 100 | 100 | 80 | 98.0 | 无 |
| TS-02 | 90 | 100 | 100 | 100 | 100 | 98.0 | 无 |
| TS-03 | 100 | 100 | 100 | 100 | 100 | 100.0 | 无 |
| TS-04 | 100 | 100 | 100 | 100 | 50 | 95.0 | 无 |
| TS-05 | 100 | 100 | 100 | 100 | 60 | 96.0 | 无 |
| TS-06 | 100 | 100 | 100 | 100 | 50 | 95.0 | 无 |
| TS-07 | 100 | 100 | 100 | 100 | 100 | 100.0 | 无 |
| TS-08 | 100 | 100 | 100 | 100 | 50 | 95.0 | 无 |
| TS-09 | 90 | 100 | 100 | 100 | 100 | 98.0 | 无（R2 曾 veto，R3 解除） |
| TS-10 | 100 | 100 | 100 | 100 | 100 | 100.0 | 无 |
| TS-11 | 100 | 100 | 100 | 100 | 50 | 95.0 | 无 |

全轮**零静默引用**：每条引文先回查已注册缓存（口径 1 HTML/MD grep-F、口径 2 空白不敏感/分词元、
口径 3 PDF 文本层解码转写），未命中一律不写；11 条 E4 veto 全部通过，无一条编造引文/URL/数字。
全轮引用的负向核对同样留痕：S15 grep `hundreds`=0（NF3 复现）、S12/S13/S14 `planner`/`verifier`=0、
craap-test.html `<title>`="Page not found | Meriam Library" 且五准则关键词 0 命中。

## 三、迭代轮数、每轮版本号与改动

| 轮 | 版本 | bump | A 轨 | B 轨最差 | 弱维度 | 改动 |
|---|---|---|---|---|---|---|
| R1 | v1.0.0 | 基线快照 | 42.31 | 70.0（TS-11） | D5 18.42 / D2 35.29 / D4 36.59 / D8 50.00 / D3 45.83 / D1 37.04 / D7 58.62 | 只测不修 |
| R2 | v1.1.0 | +0.1.0（方法论） | 95.70 | 0（TS-09 veto） | D5 86.84 / D6 88.89 / D3 87.50 + 4 条判据未命中 | 新增五组方法论条款（见 evolving_log.md R2） |
| R3 | v1.1.1 | +0.0.1（措辞） | 100.00 | 95.0 | 无 | 索引完整性 / 并行留痕粒度 / 不可得口径统一 / 局限声明段扩为每份交付必备 |

3 轮收敛（上限 10；单 session 上限 5），无需报瓶颈。
版本快照：`skill_prompt_v1.md` / `skill_prompt_v2.md` / `skill_prompt_v3.md`（v1 = 本体 prompt.md 原文，未改动本体）。

**R2 → R3 的 4 条未命中（复评抓出，非改分改出来的）**：TS03-A2 并行留痕只写工具类型；
TS07-A3 同轮混用「无法复检」与「D 级未复检」；TS09-A3 与 TS09-B1 引用索引只列 8/12 条
（E4 一票否决，B 轨判 0）。三者都是「条款存在但口径不严」，故 R3 只 +0.0.1。

## 四、机械核对留痕（82 条 mechanical 判据）

- 逐条 verdict + 证据字符串：`scores_v1/round{1,2,3}_verdicts.json`（91 条全列，含 9 条 human 判据单独标注）。
- 引文回查工具与结果：`tools/verify_quotes.sh`（S1/S7–S11/S14–S19 直读 grep，命中数逐条输出）；
  `tools/pdf_transcribe.py` + `tools/S12_transcript.txt` / `S13_transcript.txt`
  （ToUnicode CMap 解码转写：S12 31591 字符、S13 2928 字符空白不敏感；附录 A 的 S12/S13 引文全部复现命中，
  planner/verifier 双 0 复现——**该脚本按附录 B R-G5 从零重写并跑通，本轮起可复用**）。
- 产物留痕：`outputs_v1/`（11 件）、`outputs_v2/`（11 件）、`outputs_v3/`（3 件，文件名带场景 id）。
- 9 条 human 判据的判分理由均在 verdicts JSON 的 evidence 字段，前缀 `[human]`，未混入机械项。

## 五、未解决局限清单（如实登记，与分数同权重重要）

1. **自评偏置（最大风险）**：执行器与评分者是同一个 agent，且 SKILL 修订直接以 91 条判据为靶。
   三轮后 A 轨 100 分是这种「SKILL 条款符合度」评测的**预期收敛值**，不是线上实跑分数的预测。
   佐证 本轮确实抓出过真实缺陷（R2 的 4 条，含一次 E4 veto），说明评分不是橡皮图章；
   但「条款齐 → 执行到位」之间仍有落差，**放行结论只对「SKILL 已具备达标所需全部条款」这一命题成立**。
   建议 master 复核时抽查 3 份产物（outputs_v3/TS-09.md、outputs_v2/TS-05.md、outputs_v2/TS-11.md）。
2. **产物为紧凑代制品**：11 份交付是按场景裁剪的完整结构（计划/任务书/证据表/评级表/负发现/回传），
   不是 8000 字全量报告。凡「结构存在性 / 字段齐全性 / 逐字引文命中」类判据不受影响；
   「长文组织与篇幅纪律」类（TS-09 的正文组织）未在真实长度上验证。
3. **执行假设需声明**：R1 严格按「SKILL 未规定 = 未产生」执行（v1.0.0 因此在并行/判级/级别语言上大量失分）。
   现实中模型可能凭通用能力补齐部分行为，即 v1.0.0 的真实线上分可能高于 42.31；
   同理 v1.1.1 的线上分可能低于 100。方向性结论（弱维度与缺口条款清单）不受影响。
4. **E4 veto 在 R2 才出现**：R1 的 11 个 veto 全过是「产物引用少」的保守结果（v1.0.0 干脆不用 PDF 源），
   不是证据处理能力更强；R2 产物引用密度上升后才暴露索引完整性缺陷。
5. **B 轨 E5（局限声明）仍有 3 个场景 50 分**（TS-04/06/08/11 的产物无成段局限声明）：
   未复跑所以未调分（标尺未动、未修维度不调阈值）。v1.1.1 已把局限声明扩为每份交付必备，
   下轮若复跑这 4 场景预计 ≥95，但**本轮不据此声称**。
6. **零联网约束**：本轮零新抓取，全部依据 sources_v1.json 21 条缓存；「外网访问 SOP」未在新网络窗口下实测。
7. **两处既有登记瑕疵未修**（任务书 c 项：已知不用修）：benchmark_v2 附录 A #24「Gao et al」命中数口径
   （词元 5 次 vs 整句去标签 1 次——本工具实测与两值分别相符，取决于口径）；digest/benchmark_v1.md 与
   hunt/crawl_config.json 的既有未提交改动为上一任务遗留，本轮未触碰。
8. **S8 机构名口径**：S8 缓存无逐字「Stanford OVAL」，只有 `github.com/stanford-oval/storm`（org 路径）
   与 stanford.edu 邮箱。TS-08 的机构名按缓存可 grep 形态作答 + 注册表 publisher 字段注明「登记元数据」。
   若上游希望以「Stanford OVAL」为标准答案，需先让 Hunter 补一条含该全称的已注册信源。

## 六、部署与移交建议

- 本轮**未改动** `deep-research/prompt.md`（本体）、digest/、hunt/ 的任何文件；新版本集在 train/evolve/。
- 若 Innovator 决定采用 v1.1.1：把 `skill_prompt_v3.md` 内容覆盖到 `deep-research/prompt.md` 即可
  （这是部署动作，属可逆的既定流程，但涉及本体文件，按纪律留待上级拍板，不在本任务内执行）。
- 建议下一轮用真实联网窗口跑 2–3 个场景做线上校验（尤其 TS-07 与 TS-11，验证 R-G 口径在真实抓取下成立）。