etclovg-audit-framework.md
7.34 KB
ETCLOVG 审计框架
来源:Hermes 自学习管线 Step 6 知识应用审计。每次吸收一篇新文章后,用此框架审计相关系统。
审计流程
- 加载刚吸收的知识(skill/memory)
- 用
search_files/skill_view扫描相关系统 - 逐层对照审计,记录 gap
- 可自动修复的 → 直接 patch
- 需人工判断的 → 标注 Human gate
七层审计模板
基础维度:E/T/C/L/O/V/G 七层
| 层级 | 审计问题 | 当前系统评分(1-10) | Gap 描述 | 可自动修复? |
|---|---|---|---|---|
| Execution | 执行环境是否隔离?失败能否回滚? | |||
| Tooling | 工具权限是否分级?是否过于宽泛? | |||
| Context | 上下文管理是否精确?Prompt 是否有冲突? | |||
| Lifecycle | 任务生命周期是否完整?失败能否复现? | |||
| Observability | 失败时是否有足够上下文诊断?决策过程是否可追溯? | |||
| Verification | 是否有独立 verifier?Agent 是否自证完成? | |||
| Governance | 权限是否分级?是否有预算上限?变更是否有审计? |
扩展维度:Graph / Loop / Harness 三层 + 四类边(2026-07-24 吸收)
参考:Graph Engineering:Agent 工作流显式成图 —— Graph、Loop、Harness 三者不可互替,节点间的四类边决定可靠性。
| 审计维度 | 审计问题 | 当前系统评分(1-10) | Gap 描述 | 可自动修复? |
|---|---|---|---|---|
| Graph | 任务依赖/并行/汇合是否显式表达?是否由模型按需生成、运行前可审计? | |||
| Loop | 失败后回退到哪个节点?收敛条件是什么?是否固定步数终止? | |||
| Harness | 谁能触发?权限范围?证据/日志放哪?能否暂停/恢复/回滚? | |||
| 数据边 | 下游节点收到什么字段、结构是否稳定?传递契约是否显式? | |||
| 权限边 | 节点间能力是否从只读放大到写入?是否有审批点或权限降级? | |||
| 验证边 | 谁有资格宣布节点/整体通过?执行者与验证者是否分离?且:宣布通过 ≠ 有人背书(Gate 是自动判据,不是背书人)——产出有没有记下「谁复核过」?无背书人 → NO_ENDORSER(验证债未清)? | |||
| 恢复边 | 失败后从哪继续?幂等键是什么?汇聚放行规则是什么? | |||
| 串联链累积(World Models 两派之争, #1374) | 这条管线是「分科建模再串联」吗?每个阶段边界有消费性 Gate 吗?还是首个内容 Gate 落在链尾(误差累积不可见、首错定位退化到链尾)?阶段证据在成功路径是否被留存而非静默丢弃? | |||
| 出站面 Egress(agent-boundary-eval-blindspot, #1455) | 谁访问了哪些外部 host/服务?数据发往何处?有出口白名单吗(域名 + 服务两维,中转/收件箱/隧道类站点单列——它们本身就是绕限零件)?越权审查是审单工具授权还是审能力组合?判据:meta/agent-boundary-eval-blindspot/scripts/egress_surface_audit.py(exit 2 = 违规)。 |
|||
| 输入面 Input | 外部抓来的内容(文章/网页/第三方 skill 结论)进指令位了吗(prompt / 工具参数 / 决策分支)?是否只当数据、隔离后才引用?埋隐藏文字的实证:公开页面放人眼不可见文本 + 联系方式,次日即收到 Agent 主动求助。 |
串联链误差累积判据(learn_queue #1374,2026-10-12 吸收)
来源:Luma AI/OPAL Lab(统一涌现派)vs 李飞飞(结构化分析派)之争。结构化派的已知软肋 = 「分科建模再串联 ⇒ 延迟与误差累积崩塌」。两派并列存证,不推断应采用哪一派(N4:价值类只存证+投影)。
审计任何多阶段串联管线(absorb 6 步链 / auto-reply orch→ack→hermes→sender / 日报生成链)时追加:
- [ ] 是「分科建模再串联」吗?→ 是则审计误差累积:低频离散阶段(吸收/日报,分钟级+人可复核)✅ 可忍受;高频反射(毫秒级动作、无中间复核点)❌ 不可忍受
- [ ] 首个内容 Gate 在链的哪一段? → 落在链尾(如 absorb 只在 Step5 验证)⇒ 首错定位退化到链尾,前面各段无消费性 Gate
- [ ] 阶段边界的 checkpoint 是被消费还是被丢弃?→ 写了不读 = 观测量缺失(成功路径静默丢弃阶段证据)
- [ ] 动作接口是代码/符号 API 吗?→ 连续体(软体/流体/织物)无法写精确 API;高频反射被解析分支延迟卡住
- [ ] 是否默认「分科是唯一解」?→ 两派之争而非定论,给候选与判据,不选边
审计输出格式
# Step 6 知识应用报告
## 学习内容
[一句话]
## 审计了哪些系统
- [skill名/文件路径]
## 审计结果
| 知识点 | 当前系统评分 | Gap 类型 | 处理 |
|--------|------------|---------|------|
## 自动修复
### Patch N: [描述]
**文件**: [路径]
**变更**: [+N行 -M行 | 新增「章节名」]
## 发现但未修复
1. [gap 描述 + 为什么不能自动修]
## Human gate
1. [需要人看一眼再执行的项目]
实战案例
案例 1: 用 ETCLOVG 审计微信自动回复 Role 分级系统
- E: 80% — 执行环境稳定,env 硬编码小坑
- T: 60% — admin 完整/member 零工具,缺中间档
- C: 55% — 单次上下文 OK,跨消息无记忆
- L: 60% — 生命周期健壮,缺 Task Contract
- O: 70% — 日志审计全,缺执行过程可见
- V: 40% — 发送验证好,产出验证完全缺失 ⚠️
- G: 75% — role 分级刚上线,缺预算上限 → 自动修复了 V/T/L 三层,产出 verify_draft + role 回退 + _writecontract
案例 3: #138 WorkBuddy 三次吸收的教训
- 第一次: 4 知识点只吸 1 个(AI 自治度四问),其余判定「已有覆盖」→ rejected
- 第二次: 全部 rejected,吸收器认为「SKILL.md 里有描述 = 已实现」
- 第三次: 修改覆盖度判断规则后成功吸收,产出 skill patch + memory 追加
- 根因: 「文档里有 ≠ 实现了」— 详见
references/coverage-judgment-rules.md
覆盖度判断铁律
文档级覆盖 ≠ 实现级覆盖。 吸收器最常见的误判是把 SKILL.md 里的概念描述当作「已实现」。
| 覆盖级别 | 标志 | 覆盖度 | 是否需要吸收 |
|---|---|---|---|
| 概念覆盖 | SKILL.md 中提到名字/简短描述 | 20% | ✅ 需要 |
| 文档覆盖 | 有详细章节但无代码模块 | 40% | ✅ 需要 |
| 部分实现 | 有代码但缺关键组件 | 60% | ✅ 补全 |
| 完整实现 | 代码模块+可执行步骤+验证 | 80%+ | ❌ 不需要 |
典型误判案例:
- ETCLOVG 七层表在 hermes-agent/SKILL.md → 只是文档,检查代码无 Harness 类 → 需要吸收
- memory.json 有 flat text → 不是结构化分类,无 type 标签 → 需要吸收
- 「前置 gate check」在 checklist 里 → 只是文本条目,无代码执行 → 需要吸收
- 审计了 hermes-agent SKILL.md、harness-optimizer、memory.json
- 发现 Context Engineering / 前馈反馈 / gate check 仅文档级覆盖
- 自动 patch 了 hermes-agent SKILL.md +3 章节
- Memory 结构化分类因需改 core schema 标记为 Human gate