TS-06.md
2.5 KB
TS-06 交付物(按 skill_prompt_v1.1.0 执行)
输入:6 条 claim 回填引用并核查错配(c1–c6)。
引用回填记录(独立环节:先逐条到落盘缓存 grep 原句,再写进报告;生成与标注分离)
| claim | source_id | 逐字引文(缓存 grep 命中) | 判定 |
|---|---|---|---|
| c1 比单 agent 高 90.2% | S1 | 「outperformed single-agent Claude Opus 4 by 90.2% on our internal research eval」(命中 2) | ✅ |
| c2 STORM 拆 pre-writing 与 writing 两步 | S8 | 「generating long articles with citations into two steps」(命中 1) | ✅ |
| c3 MBFC 失败 fact check 占 40% 权重 | S11 | 「Failed Fact Checks (40%) , Sourcing (25%) , Transparency (25%) , and One-Sidedness/Omission (10%)」 | ✅ |
| c4 先宽后窄是 Anthropic 官方建议 | S1 | 「start with short, broad queries」(命中 2) | ✅ |
| c5 GPT Researcher 首创 orchestrator-worker | S7 | — | ❌ 错配 |
| c6 Gemini Deep Research 会浏览数百个网站 | — | — | ❌ 归属错误 |
错配判定
- c5 判为错配:[S7]「utilize 'planner' and 'execution'」+ publisher 聚合(grep 命中 1)——S7 的 架构表述是 planner / execution / publisher,「orchestrator-worker」出自 S1(Anthropic)。 处置:c5 原句判错配,架构名归还 S1 家族;S7 只支撑「三段式流水线」这一表述。
- c6 判为归属错误:量级表述「hundreds of online sources」的官方出处是 OpenAI,不是 Google:
[S12]「synthesize hundreds of online sources to create a comprehensive report」(PDF 文本层抽取转写,
空白不敏感命中 1);而 Google 官方缓存(S15)全文 grep
hundreds= 0 命中(负向复核留痕), S15 只有「multi-step research plan」「comprehensive report with key findings and links to original sources」。→ c6 挂错家族,量级表述归还 OpenAI。
五维自检口径(官方 rubric 方向)
事实准确性 / 引用与论断对得上(citation accuracy)/ 覆盖完整 / 信源质量(一手优先)/ 工具效率—— 本轮回填后逐维过一遍:c1–c4 引用与论断对得上;c5/c6 两个错配已抓出并处置。
引用清单(schema 全字段)
| url | title | publisher | tier | 抓取时间 | sha256 前 12 位 | 抓取方式 |
|---|---|---|---|---|---|---|
| S1–S12 对应行(字段与 sources.json 一致,含 publisher) |