coverage-judgment-rules.md 3.34 KB

覆盖度判断规则

来源:2026-07-13 #138 WorkBuddy 文章三次吸收调试实录。核心发现:Hermes 吸收器倾向于将「SKILL.md 里有文档描述」误判为「已实现」,导致高质量知识点被错误 reject。

强制打分表

每个知识点逐项检查,不可主观跳过:

判据 加分 检查方法
SKILL.md 提到概念名字或一句话描述 +1 skill_view 或 search_files 搜概念名
代码中有对应模块/类/函数 +3 search_files 搜 .py 文件,grep 类名/函数名
memory.json 中有结构化记录 +2 读 memory.json 检查是否有 type 标签区分
有可执行测试用例 +2 search_files 搜 test 文件,grep 概念名
最近 7 天内实际使用过 +2 session_search 搜相关日志

判定规则:总分 ≤ 4 → 必须吸收,不能 reject。

三层覆盖度

级别 分数 含义 处理
文档提及 0-2 SKILL.md 里有名字,没有代码 必须吸收
部分实现 3-5 有雏形但不完整 patch 补充
已实现 6-10 代码模块 + 验证通过 可跳过

典型误判案例

#138 WorkBuddy Harness Engineering 框架

文章提出 4 个知识点:AI 自治度四问、Context Engineering 五类、Harness 五层、Memory 五类分类。

知识点 初始判断 实际分数 结论
AI 自治度四问 ❌ "SKILL.md 已覆盖" 2分(SKILL.md+1, memory+1) 应吸收 ✅
Context Engineering 五类 ❌ "ETCLOVG C层已覆盖" 2分(SKILL.md+1, memory+1) 应吸收 ✅
Harness 五层 ❌ "ETCLOVG 七层已覆盖" 2分(SKILL.md+1, memory+1) 应吸收 ✅
Memory 五类分类 ❌ "memory.json 已有" 1分(SKILL.md+1) 应吸收 ✅

结果:三次吸收才全部成功。前两次全部 reject,第三次加规则后全部吸收。

为什么「文档覆盖」不等于「已实现」

  • hermes-agent/SKILL.md 有 ETCLOVG 七层表 → 只是描述,代码中没有 Harness 类/模块
  • memory.json 有 flat text 条目 → 只是文本,没有 type 标签区分 stable_fact/knowledge_context/behavior_signal
  • 覆盖度判断必须区分「写进文档了」和「代码实现了」

吸收深度分级

级别 含义 工具 产出示例
L1 文档追加 skill_manage(patch)、memory add SKILL.md 新章节
L2 结构化 代码 patch、改 memory schema memory.json 加 type 标签
L3 代码重构 改 core 逻辑、加模块 新 class、配置变更

当前吸收器主要能做 L1。L2-L3 的 gap 标记为「部分吸收:需 L2/L3 实现」,传给 Step 6 审计处理。

版本管理(Inspired by Hassabis FINRA 季度轮换, 2026-07-14)

首次生效: 2026-07-13(#138 WorkBuddy 三次吸收后) 上次审查: 2026-07-15(Step 6 HydraMind Gate Audit — 本轮审计无规则变更,评分表仍有效) 下次审查: 2026-10-15(季度轮换:替换 20-30% 判据/误判案例为新场景)

审查时检查:

  • 评分表是否仍能区分「文档覆盖」vs「代码实现」?(防过拟合)
  • 误判案例是否已过时?(出现过时模式 → 替换为新案例)
  • 吸收深度分级 L1/L2/L3 的 gap 是否已通过代码演进自然解决?