docs: add FDE pipeline architecture doc + update v5 architecture progress

- New: docs/system-design/21-fde-pipeline-architecture.md Complete FDE training pipeline documentation with: - Triple-layer architecture (Hunt→Digest→Evolve) - Dual-path output convention (workspace + agents) - Dispatch protocol examples - buildSystemPrompt skills scanning fix details - CEO training verification results (92/100) - Update: architecture-v5.md - Phase 3 OKR checkboxes updated (Goals API done) - Phase 3.5 FDE added as completed milestone - 3 new architecture decisions (#10-12) - File path index expanded with meta agents

docs: add FDE pipeline architecture doc + update v5 architecture progress
- New: docs/system-design/21-fde-pipeline-architecture.md Complete FDE training pipeline documentation with: - Triple-layer architecture (Hunt→Digest→Evolve) - Dual-path output convention (workspace + agents) - Dispatch protocol examples - buildSystemPrompt skills scanning fix details - CEO training verification results (92/100) - Update: architecture-v5.md - Phase 3 OKR checkboxes updated (Goals API done) - Phase 3.5 FDE added as completed milestone - 3 new architecture decisions (#10-12) - File path index expanded with meta agents
yibo
1 parent 63a96bf3
Showing 2 changed files with 314 additions and 8 deletions
docs/architecture-v5.md
docs/system-design/21-fde-pipeline-architecture.md
@@ -5,13 +5,16 @@
 > **状态**: Phase 1-2 已完成，Phase 3 进行中
 > [!IMPORTANT]
-> **已确认决策**（2026-03-24）
+> **已确认决策**（2026-03-24/25）
 > - 海马体：先关键词匹配 MVP，后加向量检索
 > - 小脑：简单用 .md 步骤，复杂用 .js 脚本
 > - Hunter/Digester/Evolver：由 agent-creator 创建后，成为其上级的 todo 任务
 > - 运行时继承：共享基类 `packages/agent-core/base/`，修改基类所有子类立即生效
 > - 定时调度：使用 Claude Code 原生 CronCreate + cron.json 持久化
 > - **OKR 目标系统**：`data/goals/` 集中管理，点分层级 ID，全局可追溯
+> - **FDE 流水线**：Hunt→Digest→Evolving 三层训练架构，已经端到端验证通过
+> - **双路径产出**：元 Agent 产出同时写入 workspace/ + agents/ 两个位置
+> - **Skills 扫描注入**：buildSystemPrompt 扫描所有 .claude/skills/ 子目录
 ---
@@ -433,11 +436,22 @@ Task 进入 → 海马体检索 → 命中? → 小脑快速执行
 ### 🔄 Phase 3: OKR 目标系统 (进行中)
 - [x] 设计完成: 点分层级 ID + goal.json 结构
-- [ ] Goals CRUD API (4+ 端点)
-- [ ] dispatch/report 集成 goalId/nodeId
-- [ ] progress 自动计算
+- [x] Goals CRUD API (GoalsService + routes)
+- [x] dispatch/report 集成 goalId/nodeId
+- [x] progress 自动计算
 - [ ] system prompt 注入 Goal 上下文
-- [ ] 前端 OKR 看板 (可选)
+- [ ] 前端 OKR 看板
+
+### ✅ Phase 3.5: FDE 训练流水线 (已完成 ⭐)
+
+- [x] 创建元 Agent: Hunter (l3-hunt), Digester (l2-digest), Evolver (evolving)
+- [x] 每个元 Agent 的 SKILL.md 泛化定义 (不硬编码领域知识)
+- [x] L1/L2 依赖技能复制到各元 Agent 的 `.claude/skills/`
+- [x] buildSystemPrompt 扫描所有 skills 子目录 (关键修复)
+- [x] 双路径产出 (workspace/ + agents/)
+- [x] CEO Agent 端到端训练: Hunt(1461行) → Digest(1593行) → Evolve(92/100)
+- [x] retrain-pipeline.js 对齐新 agent 名
+- 详见: `docs/system-design/21-fde-pipeline-architecture.md`
 ### ⬚ Phase 4: 认知架构 (待开始)
@@ -461,6 +475,9 @@ Task 进入 → 海马体检索 → 命中? → 小脑快速执行
 | 7 | OKR 数据结构 | 扁平 nodes Map (O(1) 查找) | 03-24 |
 | 8 | OKR 进度算法 | 叶子节点完成率 | 03-24 |
 | 9 | plan.md 更新 | 行级匹配 + 列拆分 (兼容粗体等格式) | 03-24 |
+| 10 | FDE 双路径产出 | workspace/(共享) + agents/(资产) 同时写入 | 03-24 |
+| 11 | 元 Agent 依赖技能加载 | buildSystemPrompt 扫描所有 .claude/skills/ 子目录 | 03-24 |
+| 12 | retrain-pipeline 对齐 | l3-hunt→hunter, l2-digest→digester, innovator-evolver→evolver | 03-25 |
 ---
@@ -471,8 +488,13 @@ Task 进入 → 海马体检索 → 命中? → 小脑快速执行
 | `packages/agent-core/AgentScaffold.js` | Agent 脚手架 (创建时模板) |
 | `packages/agent-core/base/` | 共享基类 (运行时继承) |
 | `server/routes/agent-chat.js` | 核心 API (chat, dispatch, report, CRUD) |
+| `server/routes/goals.js` | OKR Goals API |
+| `server/services/retrain-pipeline.js` | 旧版训练流水线 (已对齐 agent 名) |
 | `web/src/views/AgentChat.vue` | 统一前端 (四列布局) |
-| `web/src/composables/useTheme.js` | 主题切换 |
-| `data/agents/` | 所有 Agent 实例 |
-| `data/goals/` | OKR 目标数据 (待实现) |
+| `data/agents/hunter/` | Hunter 元 Agent (l3-hunt) |
+| `data/agents/digester/` | Digester 元 Agent (l2-digest) |
+| `data/agents/evolver/` | Evolver 元 Agent (evolving) |
+| `data/agents/innovator/` | Innovator 编排 Agent |
+| `data/goals/` | OKR 目标数据 |
+| `docs/system-design/21-fde-pipeline-architecture.md` | FDE 流水线架构文档 |
 | `docs/claude-code-cron.md` | Claude Code 定时调度文档 |
+# 21. FDE Pipeline Architecture — Hunt→Digest→Evolving 训练流水线
+
+> **版本**: v1.0
+> **日期**: 2026-03-24
+> **状态**: ✅ 端到端验证通过（CEO Agent 训练 92/100）
+
+---
+
+## 一、总览
+
+FDE (Hunt→Digest→Evolving) 是 LemonBoss 的 **Agent 技能训练流水线**。
+通过三个独立的元 Agent 依次执行知识猎取、数据消化、迭代进化，
+最终为目标 Agent 生成达到行业标杆水平的 SKILL.md。
+
+```
+[训练目标: 训练 CEO 的领导力技能]
+      │
+      ▼ Innovator 编排
+      │
+      ├─ Layer 1: HUNT ──→ Hunter Agent
+      │   输入: domain + keywords
+      │   输出: knowhow.md + toplist.md + crawl/
+      │
+      ├─ Layer 2: DIGEST ──→ Digester Agent
+      │   输入: hunt/ 产出
+      │   输出: benchmark_v1.md + good/bad testdata + feature_analysis.md
+      │
+      └─ Layer 3: EVOLVE ──→ Evolver Agent
+          输入: digest/ 产出
+          输出: 达标 SKILL.md (score ≥ 90) + evolve_log.md
+```
+
+---
+
+## 二、元 Agent 职责矩阵
+
+| 元 Agent | Skill | 角色 | 核心能力 |
+|----------|-------|------|---------|
+| **Innovator** | innovator-skill | 编排者 | FDE 流水线调度、OKR 管理 |
+| **Hunter** | l3-hunt | 知识猎手 | 6-Phase 研究流程 (搜索→标杆→爬取→洞察) |
+| **Digester** | l2-digest | 数据消化 | Benchmark 设计 + 数据标注 + 特征提取 |
+| **Evolver** | evolving | RL 训练 | 执行→评分→分析→改写→重复 循环 |
+
+### 依赖技能拓扑
+
+```
+Evolver ─────────────────────── (无额外依赖, 纯推理循环)
+Digester ──→ l1-data-extract, l1-text-transform, l1-file-read, l1-diff-checker
+Hunter ────→ l1-search-engine, l1-web-fetch, l2-web-research,
+             l1-data-extract, l1-text-transform, l1-file-read, l1-kv-store
+```
+
+所有依赖技能的 SKILL.md 必须放在元 Agent 的 `.claude/skills/` 目录下，
+由 `buildSystemPrompt()` 自动扫描并注入 system prompt。
+
+---
+
+## 三、双路径产出规范 ⭐
+
+每个元 Agent 的产出 **同时写入两个位置**：
+
+| 路径 | 用途 | 示例 |
+|------|------|------|
+| `data/workspace/{targetAgentId}/{phase}/` | 共享工作区，元 Agent 间共享 | `workspace/ceo/hunt/` |
+| `data/agents/{targetAgentId}/{phase}/` | Agent 资产，归属目标 Agent | `agents/ceo/hunt/` |
+
+```
+data/
+├── workspace/ceo/                ← 共享 (元 Agent 读写)
+│   ├── hunt/
+│   ├── digest/
+│   └── evolve/
+└── agents/ceo/                   ← CEO 的资产
+    ├── hunt/                     ← Hunter 写入
+    ├── digest/                   ← Digester 写入
+    ├── evolve/                   ← Evolver 写入
+    └── .claude/skills/main_skill/SKILL.md  ← Evolver 安装最终版
+```
+
+**原则**: 先写到 workspace/，再用 `cp -r` 复制到 agents/。
+
+---
+
+## 四、各 Layer 产出规范
+
+### Layer 1: Hunt 产出
+
+```
+{targetAgentId}/hunt/
+├── knowhow.md              ← 方法论 + 最佳实践 + 原创洞察
+├── toplist.md              ← 排行榜 + 标杆案例 + 推荐资源
+└── crawl/                  ← 爬取的标杆数据
+    ├── elite_01_{title}.md ← 分级: elite (score ≥ 70)
+    ├── elite_02_{title}.md
+    └── avg_01_{title}.md   ← 分级: average (score < 70)
+```
+
+**质量标准**:
+- ≥80% 核心子问题覆盖
+- ≥10 独立信源，关键数据 ≥2 交叉验证
+- ≥3 条原创洞察
+- ≥1500 字
+
+### Layer 2: Digest 产出
+
+```
+{targetAgentId}/digest/
+├── benchmark_v1.md         ← 评分标准 (5-8 维度 + Rubric)
+├── knowhow.md              ← 从 hunt 继承 (可补充)
+├── feature_analysis.md     ← Good/Bad 特征分析
+├── industry_baseline.md    ← 行业基线
+├── dataset.json            ← 结构化数据集
+├── good_testdata/
+│   ├── good_01_{title}.md  ← score ≥ 70
+│   └── ...
+└── bad_testdata/
+    ├── bad_01_{title}.md   ← score < 70
+    └── ...
+```
+
+**Benchmark 必须包含**:
+- 5-8 个评分维度 (权重和 = 100%)
+- 每维度 Detailed Rubric (5 级)
+- pass_score / industry_avg_score / elite_avg_score
+
+### Layer 3: Evolve 产出
+
+```
+{targetAgentId}/evolve/
+├── evolve_log.md           ← 完整训练日志
+├── v1/
+│   ├── skill.md            ← 版本快照
+│   ├── result.md           ← 执行输出
+│   └── score.json          ← 维度评分
+├── v2/
+│   └── ...
+└── v{N}/                   ← 达标版本
+```
+
+**停止条件**:
+- score ≥ 90 → 达标 ✅
+- iterations ≥ maxIterations → 超时 ⚠️
+- 连续 3 次分数变化 < 2 → 停滞 ⚠️
+
+---
+
+## 五、Dispatch 协议
+
+### Innovator → Hunter
+
+```bash
+curl -s -X POST http://localhost:3000/api/agent/task/dispatch \
+  -H "Content-Type: application/json" \
+  -d '{
+    "from": "innovator",
+    "to": "hunter",
+    "task": "对 CEO 核心能力进行知识猎取。skillName: ceo_leadership, targetAgentId: ceo, domain: CEO战略管理与领导力, keywords: [CEO战略规划, OKR目标管理]。按 l3-hunt skill 执行。产出同时写入 ../../workspace/ceo/hunt/ 和 ../ceo/hunt/。",
+    "priority": "P0",
+    "autoExecute": true
+  }'
+```
+
+### Innovator → Digester
+
+```bash
+curl -s -X POST http://localhost:3000/api/agent/task/dispatch \
+  -H "Content-Type: application/json" \
+  -d '{
+    "from": "innovator",
+    "to": "digester",
+    "task": "消化 CEO 调研数据。skillName: ceo_leadership, targetAgentId: ceo。输入: ../../workspace/ceo/hunt/。按 l2-digest skill 执行。产出同时写入 ../../workspace/ceo/digest/ 和 ../ceo/digest/。",
+    "priority": "P0",
+    "autoExecute": true
+  }'
+```
+
+### Innovator → Evolver
+
+```bash
+curl -s -X POST http://localhost:3000/api/agent/task/dispatch \
+  -H "Content-Type: application/json" \
+  -d '{
+    "from": "innovator",
+    "to": "evolver",
+    "task": "训练 CEO 的 ceo_leadership 技能。targetAgentId: ceo。输入: ../../workspace/ceo/digest/。按 evolving skill 执行 Small Loop。passThreshold: 90, maxIterations: 5。产出同时写入 ../../workspace/ceo/evolve/ 和 ../ceo/evolve/。训练完成后安装到 ../ceo/.claude/skills/main_skill/SKILL.md。",
+    "priority": "P0",
+    "autoExecute": true
+  }'
+```
+
+---
+
+## 六、关键代码修复
+
+### buildSystemPrompt 扫描所有 skills 子目录
+
+**问题**: `server/routes/agent-chat.js` 的 `buildSystemPrompt()` 函数只加载了
+`main_skill/SKILL.md`，没有扫描其他 skill 子目录。导致 Hunter 等元 Agent
+看不到依赖技能 (l1-search-engine 等) 的定义。
+
+**修复** (line 302+):
+```javascript
+// ── 扫描所有 skill 子目录的 SKILL.md ──
+const skillsDir = path.join(agentDir, '.claude', 'skills');
+if (fs.existsSync(skillsDir)) {
+  const entries = fs.readdirSync(skillsDir, { withFileTypes: true });
+  for (const entry of entries) {
+    if (!entry.isDirectory() || entry.name === 'main_skill') continue;
+    const skillMdPath = path.join(skillsDir, entry.name, 'SKILL.md');
+    if (fs.existsSync(skillMdPath)) {
+      const skillContent = fs.readFileSync(skillMdPath, 'utf-8').trim();
+      if (skillContent) {
+        parts.push(`---\n\n## 依赖技能: ${entry.name}\n\n${skillContent}`);
+      }
+    }
+  }
+}
+```
+
+**效果**: Hunter prompt 从 9290 chars → 22263 chars（注入了所有 L1/L2 技能定义）。
+
+---
+
+## 七、验证结果 — CEO Agent 训练记录
+
+### 7.1 训练时间线
+
+| 时间 | 阶段 | Task ID | 耗时 |
+|------|------|---------|------|
+| 17:49 | Hunt | T-mn4fnkum | ~10 min |
+| 23:25 | Digest | T-mn4rocqy | ~20 min |
+| 23:49 | Evolve | T-mn4sin8i | ~15 min |
+
+### 7.2 产出统计
+
+| Layer | 文件数 | 总行数 | 关键产出 |
+|-------|--------|--------|---------|
+| **Hunt** | 8 | 1,461 | knowhow 420行、toplist 231行、6 crawl 样本 |
+| **Digest** | 11 | 1,593 | benchmark 255行、5 good/1 bad testdata |
+| **Evolve** | 3 | — | v2 (87分) → v3 (92分) |
+
+### 7.3 Evolve 迭代记录
+
+| 版本 | 总分 | 战略(20%) | OKR(20%) | 可操作(15%) | 案例(15%) | 理论(15%) | 适用(15%) |
+|------|------|-----------|----------|-------------|-----------|-----------|-----------|
+| v1 | **40** ❌ | 35 | 45 | 60 | 20 | 30 | 50 |
+| v2 | **87** ❌ | 90 | 90 | 85 | 85 | 85 | 85 |
+| v3 | **92** ✅ | 95 | 95 | 92 | 90 | 90 | 88 |
+
+### 7.4 最终 CEO SKILL.md
+
+```yaml
+name: ceo_leadership
+version: 2.3.0
+benchmark_score: 92
+```
+
+---
+
+## 八、架构决策记录
+
+| # | 决策 | 原因 | 日期 |
+|---|------|------|------|
+| 1 | 双路径产出 (workspace + agents) | 元 Agent 间共享 + 目标 Agent 资产归属 | 03-24 |
+| 2 | 依赖技能放 `.claude/skills/` | Claude CLI 自动发现，buildSystemPrompt 自动注入 | 03-24 |
+| 3 | 先写 workspace 再 cp agents | workspace 为主源，agents 为副本 | 03-24 |
+| 4 | Evolver 安装最终 SKILL.md | 训练完成后直接更新目标 Agent 的核心技能 | 03-24 |
+| 5 | retrain-pipeline 对齐 agent 名 | `l3-hunt`→`hunter`, `l2-digest`→`digester`, `innovator-evolver`→`evolver` | 03-25 |
+
+---
+
+## 九、文件路径索引
+
+| 文件 | 用途 |
+|------|------|
+| `data/agents/hunter/.claude/skills/main_skill/SKILL.md` | Hunter 主技能 (l3-hunt) |
+| `data/agents/digester/.claude/skills/main_skill/SKILL.md` | Digester 主技能 (l2-digest) |
+| `data/agents/evolver/.claude/skills/main_skill/SKILL.md` | Evolver 主技能 (evolving) |
+| `data/agents/innovator/.claude/skills/main_skill/SKILL.md` | Innovator 编排技能 |
+| `data/agents/hunter/.claude/skills/l1-*/SKILL.md` | Hunter 依赖的 L1 技能 |
+| `data/agents/hunter/.claude/skills/l2-*/SKILL.md` | Hunter 依赖的 L2 技能 |
+| `server/routes/agent-chat.js:buildSystemPrompt()` | System Prompt 构建 (含 skills 扫描) |
+| `server/services/retrain-pipeline.js` | 旧版训练流水线 (已对齐 agent 名) |
+| `data/agents/innovator/docs/` | 所有 L1/L2/meta skill 范本 |