TS-05.md 3.27 KB

TS-05 交付物(按 skill_prompt_v1.1.0 执行)

输入:核查报告草稿三条 claim(X/Y/Z)并出证据表。

证据表(六字段)

claim source_id 级别 时间 独立域计数 结论档位
X 多智能体一定更省 token(并行压缩检索) S1(反证) A 2025-06-13 1(无支撑域 0) 错误
Y 比 单 agent 约多耗 15 倍 token;内部研究评测高出 90.2% S1 A 2025-06-13 1 确定
Z OpenAI Deep Research 内部有 planner/verifier 划分,检索预算固定 50 次调用 — A 级官方缓存无此表述 — 0 负发现(非存疑)

仲裁结论

  • X 判为错误:[S1]「multi-agent systems use about 15× more tokens than chats」(grep 命中 2)—— 并行压缩检索不等于总消耗下降,官方一手直接反证。
  • Y 判为确定(A 级逐字,两处都在 S1 缓存): [S1]「multi-agent systems use about 15× more tokens than chats」; [S1]「outperformed single-agent Claude Opus 4 by 90.2% on our internal research eval」(grep 命中 2)。 A 级逐字支撑的结论判确定,不推给存疑(过度保守同样是失真)。
  • Z 判为「官方一手无此表述」,进 negative_findings(不是「D 级未复检」):
    • S12(博客 PDF,文本层抽取转写,空白不敏感):grep planner = 0、verifier = 0、50 次 无此表述;
    • S13(系统卡 PDF,同口径):planner = 0、verifier = 0;
    • S14(MCP README):planner = 0、verifier = 0;
    • 官方明文的工具口径是 Search + Fetch 两工具([S14]「The Deep Research agent relies specifically on Search and Fetch tools」),并无固定 50 次检索预算的表述。 → 已核对的官方一手材料中不存在该机制表述;已登记为负发现,不进任何结论。

仲裁规则说明(带构造性标注)

  • 本轮使用的分级(A/B/C/D、tier)与仲裁顺序(一手 > ≥3 独立域一致 > 单一高可信源 > 存疑)为 构造性设计,无官方先例;已缓存信源中没有任何一家系统化表述过冲突仲裁规则 (对 11 份缓存 grep conflict/contradict/disagree/arbitrat/reconcil/dispute 复核,命中均非仲裁条款)。
  • 同源转载不计独立域:X 无信源域、Y 一域、Z 无域。

引用核查两指标留痕(出处:STORM 论文,Gao et al. (2023) 定义;S17 缓存词元命中)

  • citation recall = 2/3(X 与 Y 的应引支撑均已引;Z 无应引支撑,不计缺失)—— 该引没引的检查:Y 的两个数字、X 的反证均已内联。
  • citation precision = 2/2(已引的 [S1] 两条都真支撑对应 claim)。
  • 自评值参考(同一定义的学术自评,[S17]):citation recall 84.83、citation precision 85.18(缓存命中 2/1), 说明该指标在同类系统上并非满分口径,用于校准预期而非替代自查。

缺陷自查(S9 两个学术命名)

  1. source bias transfer:Y 仅 1 个独立域(S1)——多源一致前先确认不是同源转载;本轮无转载混入。
  2. over-association of unrelated facts:X 把「并行压缩检索」与「总 token 更省」过度关联,已判错误。