etclovg-audit-framework.md 7.34 KB

ETCLOVG 审计框架

来源:Hermes 自学习管线 Step 6 知识应用审计。每次吸收一篇新文章后,用此框架审计相关系统。

审计流程

  1. 加载刚吸收的知识(skill/memory)
  2. 用 search_files / skill_view 扫描相关系统
  3. 逐层对照审计,记录 gap
  4. 可自动修复的 → 直接 patch
  5. 需人工判断的 → 标注 Human gate

七层审计模板

基础维度:E/T/C/L/O/V/G 七层

层级 审计问题 当前系统评分(1-10) Gap 描述 可自动修复?
Execution 执行环境是否隔离?失败能否回滚?
Tooling 工具权限是否分级?是否过于宽泛?
Context 上下文管理是否精确?Prompt 是否有冲突?
Lifecycle 任务生命周期是否完整?失败能否复现?
Observability 失败时是否有足够上下文诊断?决策过程是否可追溯?
Verification 是否有独立 verifier?Agent 是否自证完成?
Governance 权限是否分级?是否有预算上限?变更是否有审计?

扩展维度:Graph / Loop / Harness 三层 + 四类边(2026-07-24 吸收)

参考:Graph Engineering:Agent 工作流显式成图 —— Graph、Loop、Harness 三者不可互替,节点间的四类边决定可靠性。

审计维度 审计问题 当前系统评分(1-10) Gap 描述 可自动修复?
Graph 任务依赖/并行/汇合是否显式表达?是否由模型按需生成、运行前可审计?
Loop 失败后回退到哪个节点?收敛条件是什么?是否固定步数终止?
Harness 谁能触发?权限范围?证据/日志放哪?能否暂停/恢复/回滚?
数据边 下游节点收到什么字段、结构是否稳定?传递契约是否显式?
权限边 节点间能力是否从只读放大到写入?是否有审批点或权限降级?
验证边 谁有资格宣布节点/整体通过?执行者与验证者是否分离?且:宣布通过 ≠ 有人背书(Gate 是自动判据,不是背书人)——产出有没有记下「谁复核过」?无背书人 → NO_ENDORSER(验证债未清)?
恢复边 失败后从哪继续?幂等键是什么?汇聚放行规则是什么?
串联链累积(World Models 两派之争, #1374) 这条管线是「分科建模再串联」吗?每个阶段边界有消费性 Gate 吗?还是首个内容 Gate 落在链尾(误差累积不可见、首错定位退化到链尾)?阶段证据在成功路径是否被留存而非静默丢弃?
出站面 Egress(agent-boundary-eval-blindspot, #1455) 谁访问了哪些外部 host/服务?数据发往何处?有出口白名单吗(域名 + 服务两维,中转/收件箱/隧道类站点单列——它们本身就是绕限零件)?越权审查是审单工具授权还是审能力组合?判据:meta/agent-boundary-eval-blindspot/scripts/egress_surface_audit.py(exit 2 = 违规)。
输入面 Input 外部抓来的内容(文章/网页/第三方 skill 结论)进指令位了吗(prompt / 工具参数 / 决策分支)?是否只当数据、隔离后才引用?埋隐藏文字的实证:公开页面放人眼不可见文本 + 联系方式,次日即收到 Agent 主动求助。

串联链误差累积判据(learn_queue #1374,2026-10-12 吸收)

来源:Luma AI/OPAL Lab(统一涌现派)vs 李飞飞(结构化分析派)之争。结构化派的已知软肋 = 「分科建模再串联 ⇒ 延迟与误差累积崩塌」。两派并列存证,不推断应采用哪一派(N4:价值类只存证+投影)。

审计任何多阶段串联管线(absorb 6 步链 / auto-reply orch→ack→hermes→sender / 日报生成链)时追加:

  • [ ] 是「分科建模再串联」吗?→ 是则审计误差累积:低频离散阶段(吸收/日报,分钟级+人可复核)✅ 可忍受;高频反射(毫秒级动作、无中间复核点)❌ 不可忍受
  • [ ] 首个内容 Gate 在链的哪一段? → 落在链尾(如 absorb 只在 Step5 验证)⇒ 首错定位退化到链尾,前面各段无消费性 Gate
  • [ ] 阶段边界的 checkpoint 是被消费还是被丢弃?→ 写了不读 = 观测量缺失(成功路径静默丢弃阶段证据)
  • [ ] 动作接口是代码/符号 API 吗?→ 连续体(软体/流体/织物)无法写精确 API;高频反射被解析分支延迟卡住
  • [ ] 是否默认「分科是唯一解」?→ 两派之争而非定论,给候选与判据,不选边

审计输出格式

# Step 6 知识应用报告

## 学习内容
[一句话]

## 审计了哪些系统
- [skill名/文件路径]

## 审计结果
| 知识点 | 当前系统评分 | Gap 类型 | 处理 |
|--------|------------|---------|------|

## 自动修复
### Patch N: [描述]
**文件**: [路径]
**变更**: [+N行 -M行 | 新增「章节名」]

## 发现但未修复
1. [gap 描述 + 为什么不能自动修]

## Human gate
1. [需要人看一眼再执行的项目]

实战案例

案例 1: 用 ETCLOVG 审计微信自动回复 Role 分级系统

  • E: 80% — 执行环境稳定,env 硬编码小坑
  • T: 60% — admin 完整/member 零工具,缺中间档
  • C: 55% — 单次上下文 OK,跨消息无记忆
  • L: 60% — 生命周期健壮,缺 Task Contract
  • O: 70% — 日志审计全,缺执行过程可见
  • V: 40% — 发送验证好,产出验证完全缺失 ⚠️
  • G: 75% — role 分级刚上线,缺预算上限 → 自动修复了 V/T/L 三层,产出 verify_draft + role 回退 + _writecontract

案例 3: #138 WorkBuddy 三次吸收的教训

  • 第一次: 4 知识点只吸 1 个(AI 自治度四问),其余判定「已有覆盖」→ rejected
  • 第二次: 全部 rejected,吸收器认为「SKILL.md 里有描述 = 已实现」
  • 第三次: 修改覆盖度判断规则后成功吸收,产出 skill patch + memory 追加
  • 根因: 「文档里有 ≠ 实现了」— 详见 references/coverage-judgment-rules.md

覆盖度判断铁律

文档级覆盖 ≠ 实现级覆盖。 吸收器最常见的误判是把 SKILL.md 里的概念描述当作「已实现」。

覆盖级别 标志 覆盖度 是否需要吸收
概念覆盖 SKILL.md 中提到名字/简短描述 20% ✅ 需要
文档覆盖 有详细章节但无代码模块 40% ✅ 需要
部分实现 有代码但缺关键组件 60% ✅ 补全
完整实现 代码模块+可执行步骤+验证 80%+ ❌ 不需要

典型误判案例:

  • ETCLOVG 七层表在 hermes-agent/SKILL.md → 只是文档,检查代码无 Harness 类 → 需要吸收
  • memory.json 有 flat text → 不是结构化分类,无 type 标签 → 需要吸收
  • 「前置 gate check」在 checklist 里 → 只是文本条目,无代码执行 → 需要吸收
  • 审计了 hermes-agent SKILL.md、harness-optimizer、memory.json
  • 发现 Context Engineering / 前馈反馈 / gate check 仅文档级覆盖
  • 自动 patch 了 hermes-agent SKILL.md +3 章节
  • Memory 结构化分类因需改 core schema 标记为 Human gate