# ETCLOVG 审计框架 > 来源:Hermes 自学习管线 Step 6 知识应用审计。每次吸收一篇新文章后,用此框架审计相关系统。 ## 审计流程 1. 加载刚吸收的知识(skill/memory) 2. 用 `search_files` / `skill_view` 扫描相关系统 3. 逐层对照审计,记录 gap 4. 可自动修复的 → 直接 patch 5. 需人工判断的 → 标注 Human gate ## 七层审计模板 ### 基础维度:E/T/C/L/O/V/G 七层 | 层级 | 审计问题 | 当前系统评分(1-10) | Gap 描述 | 可自动修复? | |------|---------|-------------------|---------|:--:| | **E**xecution | 执行环境是否隔离?失败能否回滚? | | | | | **T**ooling | 工具权限是否分级?是否过于宽泛? | | | | | **C**ontext | 上下文管理是否精确?Prompt 是否有冲突? | | | | | **L**ifecycle | 任务生命周期是否完整?失败能否复现? | | | | | **O**bservability | 失败时是否有足够上下文诊断?决策过程是否可追溯? | | | | | **V**erification | 是否有独立 verifier?Agent 是否自证完成? | | | | | **G**overnance | 权限是否分级?是否有预算上限?变更是否有审计? | | | | ### 扩展维度:Graph / Loop / Harness 三层 + 四类边(2026-07-24 吸收) > 参考:Graph Engineering:Agent 工作流显式成图 —— Graph、Loop、Harness 三者不可互替,节点间的四类边决定可靠性。 | 审计维度 | 审计问题 | 当前系统评分(1-10) | Gap 描述 | 可自动修复? | |---------|---------|-------------------|---------|:--:| | **Graph** | 任务依赖/并行/汇合是否显式表达?是否由模型按需生成、运行前可审计? | | | | | **Loop** | 失败后回退到哪个节点?收敛条件是什么?是否固定步数终止? | | | | | **Harness** | 谁能触发?权限范围?证据/日志放哪?能否暂停/恢复/回滚? | | | | | **数据边** | 下游节点收到什么字段、结构是否稳定?传递契约是否显式? | | | | | **权限边** | 节点间能力是否从只读放大到写入?是否有审批点或权限降级? | | | | | **验证边** | 谁有资格宣布节点/整体通过?执行者与验证者是否分离?**且:宣布通过 ≠ 有人背书**(Gate 是自动判据,不是背书人)——产出有没有记下「谁复核过」?无背书人 → NO_ENDORSER(验证债未清)? | | | | | **恢复边** | 失败后从哪继续?幂等键是什么?汇聚放行规则是什么? | | | | | **串联链累积**(World Models 两派之争, #1374) | 这条管线是「分科建模再串联」吗?每个阶段边界有消费性 Gate 吗?还是首个内容 Gate 落在链尾(误差累积不可见、首错定位退化到链尾)?阶段证据在成功路径是否被留存而非静默丢弃? | | | | | **出站面 Egress**(agent-boundary-eval-blindspot, #1455) | 谁访问了哪些外部 host/服务?数据发往何处?有出口白名单吗(**域名 + 服务两维**,中转/收件箱/隧道类站点单列——它们本身就是绕限零件)?越权审查是审单工具授权还是审**能力组合**?判据:`meta/agent-boundary-eval-blindspot/scripts/egress_surface_audit.py`(exit 2 = 违规)。 | | | | | **输入面 Input** | 外部抓来的内容(文章/网页/第三方 skill 结论)进指令位了吗(prompt / 工具参数 / 决策分支)?是否只当**数据**、隔离后才引用?埋隐藏文字的实证:公开页面放人眼不可见文本 + 联系方式,次日即收到 Agent 主动求助。 | | | | ### 串联链误差累积判据(learn_queue #1374,2026-10-12 吸收) > 来源:Luma AI/OPAL Lab(统一涌现派)vs 李飞飞(结构化分析派)之争。结构化派的已知软肋 = 「分科建模再串联 ⇒ **延迟与误差累积**崩塌」。两派并列存证,**不推断应采用哪一派**(N4:价值类只存证+投影)。 审计任何多阶段串联管线(absorb 6 步链 / auto-reply orch→ack→hermes→sender / 日报生成链)时追加: - [ ] 是「分科建模再串联」吗?→ 是则审计**误差累积**:低频离散阶段(吸收/日报,分钟级+人可复核)✅ 可忍受;高频反射(毫秒级动作、无中间复核点)❌ 不可忍受 - [ ] **首个内容 Gate 在链的哪一段?** → 落在链尾(如 absorb 只在 Step5 验证)⇒ 首错定位退化到链尾,前面各段无消费性 Gate - [ ] 阶段边界的 checkpoint 是**被消费**还是**被丢弃**?→ 写了不读 = 观测量缺失(成功路径静默丢弃阶段证据) - [ ] 动作接口是代码/符号 API 吗?→ 连续体(软体/流体/织物)无法写精确 API;高频反射被解析分支延迟卡住 - [ ] 是否默认「分科是唯一解」?→ 两派之争而非定论,给候选与判据,不选边 ## 审计输出格式 ``` # Step 6 知识应用报告 ## 学习内容 [一句话] ## 审计了哪些系统 - [skill名/文件路径] ## 审计结果 | 知识点 | 当前系统评分 | Gap 类型 | 处理 | |--------|------------|---------|------| ## 自动修复 ### Patch N: [描述] **文件**: [路径] **变更**: [+N行 -M行 | 新增「章节名」] ## 发现但未修复 1. [gap 描述 + 为什么不能自动修] ## Human gate 1. [需要人看一眼再执行的项目] ``` ## 实战案例 ### 案例 1: 用 ETCLOVG 审计微信自动回复 Role 分级系统 - **E**: 80% — 执行环境稳定,env 硬编码小坑 - **T**: 60% — admin 完整/member 零工具,缺中间档 - **C**: 55% — 单次上下文 OK,跨消息无记忆 - **L**: 60% — 生命周期健壮,缺 Task Contract - **O**: 70% — 日志审计全,缺执行过程可见 - **V**: 40% — 发送验证好,产出验证完全缺失 ⚠️ - **G**: 75% — role 分级刚上线,缺预算上限 → 自动修复了 V/T/L 三层,产出 _verify_draft + role 回退 + _write_contract ### 案例 3: #138 WorkBuddy 三次吸收的教训 - **第一次**: 4 知识点只吸 1 个(AI 自治度四问),其余判定「已有覆盖」→ rejected - **第二次**: 全部 rejected,吸收器认为「SKILL.md 里有描述 = 已实现」 - **第三次**: 修改覆盖度判断规则后成功吸收,产出 skill patch + memory 追加 - **根因**: 「文档里有 ≠ 实现了」— 详见 `references/coverage-judgment-rules.md` ## 覆盖度判断铁律 **文档级覆盖 ≠ 实现级覆盖。** 吸收器最常见的误判是把 SKILL.md 里的概念描述当作「已实现」。 | 覆盖级别 | 标志 | 覆盖度 | 是否需要吸收 | |---------|------|:--:|:--:| | 概念覆盖 | SKILL.md 中提到名字/简短描述 | 20% | ✅ 需要 | | 文档覆盖 | 有详细章节但无代码模块 | 40% | ✅ 需要 | | 部分实现 | 有代码但缺关键组件 | 60% | ✅ 补全 | | 完整实现 | 代码模块+可执行步骤+验证 | 80%+ | ❌ 不需要 | **典型误判案例**: - ETCLOVG 七层表在 hermes-agent/SKILL.md → 只是文档,检查代码无 Harness 类 → 需要吸收 - memory.json 有 flat text → 不是结构化分类,无 type 标签 → 需要吸收 - 「前置 gate check」在 checklist 里 → 只是文本条目,无代码执行 → 需要吸收 - 审计了 hermes-agent SKILL.md、harness-optimizer、memory.json - 发现 Context Engineering / 前馈反馈 / gate check 仅文档级覆盖 - 自动 patch 了 hermes-agent SKILL.md +3 章节 - Memory 结构化分类因需改 core schema 标记为 Human gate