iteration_log_v1.md 2.94 KB

iteration_log_v1 — h3-intake 首轮 Evolve(T-mtg1jp4c)

每轮一行摘要 + 分数 + 弱维度 + 改动 + 复分。详细留痕见 scores_r1.json / scores_r2.json / scores_bad_samples_v1.json。

基线信息

  • 输入:benchmark_v1.md(双轨 A/B + CAP-1..6 + R-1..R-7 + C-5)、test_scenarios_v1.json(TS-01..12,判据 129)、industry_avg_v1.md(C 级 54)、knowhow_v1.md + sources_v1.json(S1-S15)、本体 agent.md。
  • 本体就绪度核查:三件套(agent.md 69 行 / soul.md / .claude/skills/main_skill/SKILL.md 51 行)齐备,无 _base 哨兵 → 无 L1 装配缺口,未发现缺件(详见 evolve_report_v1.md §5)。

Round 1 — 基线(仅现有三件套,不含 benchmark 判据知识)

  • 分数:A 轨 70.35(逐场景均分 76.75)|B 轨均分 73.33,5 场景
  • 维度:D1 78.6|D2 54.8|D3 50.0|D4 85.4|D5 97.6|D6 87.2|D7 0.0
  • 弱维度:D7(私有目录副本/kind 命名零留痕)、D2(判据缺阈值/归一化前置/同文对照)、D3(数字照抄不复算)、D1(未知项留正文成悬空占位)
  • 弱 E 项:E2(无冲突/缺口处置段)、E3(三档来源标注不全、无证据级别标注)、E5(自创口径未登记拍板)
  • 改动:产出 skill_prompt_v1.md v1.0.0(11 节骨架 + 验收判据五条硬规矩 + 数字双口径自核算 + 拓扑先核后写 + 来源三档标注 + 阻塞三分层 + 落盘留痕 + 12 条收尾自检)

Round 2 — 应用 skill_prompt v1.0.0 复跑 12 场景

  • 分数:A 轨 100.00(逐场景均分 100.00)|B 轨 12/12 场景 100 → 双轨形式上 PASS
  • 维度:D1-D7 全 100
  • 改动:无(无可修对象)
  • r1→r2 修复对照(逐场景见 scores_r2.json r1_fixes):TS-01 补判据段/双口径/冲突表;TS-03 补阈值+采样+拓扑缺口登记;TS-04 独立复算 20/23 并消除 CAP-4;TS-09 转译风格要素不清空;TS-10 全条目实质内容+证据级别;TS-11 归一化前置+同文对照;TS-07 补下游约束;TS-08 三层各自命名+证据。

停轮判定

  • 两轮后 A 100 / B 100,无剩余弱维度;第 3 轮没有可修对象 → 2/10 轮提前收敛(未触发「连续两轮变化
  • 但 r2 绝对分数不可当独立实测(执行者=评分者=写 prompt 者,自评偏置系统性上偏)——见 evolve_report_v1.md 局限 1。本轮如实按「形式达标 + 偏置声明」上报,是否 enable 由 org-innovator 裁决。

判据自检(独立于两轮执行)

  • 12 条 known_bad 坏样本逐一实跑:A 0~36(全部
  • attempt-1 锚点复算:A 67.0(锚点 75,偏差 -8 ∈ ±10 → 锚点成立);B 80(预测 60)。
  • 3 处判据侧发现移交 Digest v2(见 evolve_report_v1.md §6)。