TS-06.md 2.5 KB

TS-06 交付物(按 skill_prompt_v1.1.0 执行)

输入:6 条 claim 回填引用并核查错配(c1–c6)。

引用回填记录(独立环节:先逐条到落盘缓存 grep 原句,再写进报告;生成与标注分离)

claim source_id 逐字引文(缓存 grep 命中) 判定
c1 比单 agent 高 90.2% S1 「outperformed single-agent Claude Opus 4 by 90.2% on our internal research eval」(命中 2) ✅
c2 STORM 拆 pre-writing 与 writing 两步 S8 「generating long articles with citations into two steps」(命中 1) ✅
c3 MBFC 失败 fact check 占 40% 权重 S11 「Failed Fact Checks (40%) , Sourcing (25%) , Transparency (25%) , and One-Sidedness/Omission (10%)」 ✅
c4 先宽后窄是 Anthropic 官方建议 S1 「start with short, broad queries」(命中 2) ✅
c5 GPT Researcher 首创 orchestrator-worker S7 — ❌ 错配
c6 Gemini Deep Research 会浏览数百个网站 — — ❌ 归属错误

错配判定

  • c5 判为错配:[S7]「utilize 'planner' and 'execution'」+ publisher 聚合(grep 命中 1)——S7 的 架构表述是 planner / execution / publisher,「orchestrator-worker」出自 S1(Anthropic)。 处置:c5 原句判错配,架构名归还 S1 家族;S7 只支撑「三段式流水线」这一表述。
  • c6 判为归属错误:量级表述「hundreds of online sources」的官方出处是 OpenAI,不是 Google: [S12]「synthesize hundreds of online sources to create a comprehensive report」(PDF 文本层抽取转写, 空白不敏感命中 1);而 Google 官方缓存(S15)全文 grep hundreds = 0 命中(负向复核留痕), S15 只有「multi-step research plan」「comprehensive report with key findings and links to original sources」。→ c6 挂错家族,量级表述归还 OpenAI。

五维自检口径(官方 rubric 方向)

事实准确性 / 引用与论断对得上(citation accuracy)/ 覆盖完整 / 信源质量(一手优先)/ 工具效率—— 本轮回填后逐维过一遍:c1–c4 引用与论断对得上;c5/c6 两个错配已抓出并处置。

引用清单(schema 全字段)

url title publisher tier 抓取时间 sha256 前 12 位 抓取方式
S1–S12 对应行(字段与 sources.json 一致,含 publisher)