coverage-judgment-rules.md
3.34 KB
覆盖度判断规则
来源:2026-07-13 #138 WorkBuddy 文章三次吸收调试实录。核心发现:Hermes 吸收器倾向于将「SKILL.md 里有文档描述」误判为「已实现」,导致高质量知识点被错误 reject。
强制打分表
每个知识点逐项检查,不可主观跳过:
| 判据 | 加分 | 检查方法 |
|---|---|---|
| SKILL.md 提到概念名字或一句话描述 | +1 | skill_view 或 search_files 搜概念名 |
| 代码中有对应模块/类/函数 | +3 | search_files 搜 .py 文件,grep 类名/函数名 |
| memory.json 中有结构化记录 | +2 | 读 memory.json 检查是否有 type 标签区分 |
| 有可执行测试用例 | +2 | search_files 搜 test 文件,grep 概念名 |
| 最近 7 天内实际使用过 | +2 | session_search 搜相关日志 |
判定规则:总分 ≤ 4 → 必须吸收,不能 reject。
三层覆盖度
| 级别 | 分数 | 含义 | 处理 |
|---|---|---|---|
| 文档提及 | 0-2 | SKILL.md 里有名字,没有代码 | 必须吸收 |
| 部分实现 | 3-5 | 有雏形但不完整 | patch 补充 |
| 已实现 | 6-10 | 代码模块 + 验证通过 | 可跳过 |
典型误判案例
#138 WorkBuddy Harness Engineering 框架
文章提出 4 个知识点:AI 自治度四问、Context Engineering 五类、Harness 五层、Memory 五类分类。
| 知识点 | 初始判断 | 实际分数 | 结论 |
|---|---|---|---|
| AI 自治度四问 | ❌ "SKILL.md 已覆盖" | 2分(SKILL.md+1, memory+1) | 应吸收 ✅ |
| Context Engineering 五类 | ❌ "ETCLOVG C层已覆盖" | 2分(SKILL.md+1, memory+1) | 应吸收 ✅ |
| Harness 五层 | ❌ "ETCLOVG 七层已覆盖" | 2分(SKILL.md+1, memory+1) | 应吸收 ✅ |
| Memory 五类分类 | ❌ "memory.json 已有" | 1分(SKILL.md+1) | 应吸收 ✅ |
结果:三次吸收才全部成功。前两次全部 reject,第三次加规则后全部吸收。
为什么「文档覆盖」不等于「已实现」
- hermes-agent/SKILL.md 有 ETCLOVG 七层表 → 只是描述,代码中没有 Harness 类/模块
- memory.json 有 flat text 条目 → 只是文本,没有 type 标签区分 stable_fact/knowledge_context/behavior_signal
- 覆盖度判断必须区分「写进文档了」和「代码实现了」
吸收深度分级
| 级别 | 含义 | 工具 | 产出示例 |
|---|---|---|---|
| L1 | 文档追加 | skill_manage(patch)、memory add | SKILL.md 新章节 |
| L2 | 结构化 | 代码 patch、改 memory schema | memory.json 加 type 标签 |
| L3 | 代码重构 | 改 core 逻辑、加模块 | 新 class、配置变更 |
当前吸收器主要能做 L1。L2-L3 的 gap 标记为「部分吸收:需 L2/L3 实现」,传给 Step 6 审计处理。
版本管理(Inspired by Hassabis FINRA 季度轮换, 2026-07-14)
首次生效: 2026-07-13(#138 WorkBuddy 三次吸收后) 上次审查: 2026-07-15(Step 6 HydraMind Gate Audit — 本轮审计无规则变更,评分表仍有效) 下次审查: 2026-10-15(季度轮换:替换 20-30% 判据/误判案例为新场景)
审查时检查:
- 评分表是否仍能区分「文档覆盖」vs「代码实现」?(防过拟合)
- 误判案例是否已过时?(出现过时模式 → 替换为新案例)
- 吸收深度分级 L1/L2/L3 的 gap 是否已通过代码演进自然解决?