learn-pipeline-architecture.md
3.82 KB
学习吸收管线架构 (2026-07-11 v2)
完整流程
Cron(hourly) → TGO预摘要 → 分类器(learn-and-build)
│
├─ score ≥ 8 → _auto_absorb() → extract-learning-outline → absorb
│ ↓ 失败
│ status='failed' → /learn 失败tab → 手动重试
│
├─ score 4-7 → /learn 审核队列 → 人工审批 → absorb
│
└─ score 1-3 → /learn 审核队列(低分⚠️标记) → 人工判断
│
▼
吸收完成 → learning_results 记录:
- 创建了什么 skill
- 学到了什么方法论
- 做了什么架构改造
- 验证结果
│
▼
/learn-results 页面 → 人工 feedback
评分标准与路由 (v2)
| 分数 | 含义 | 路由 |
|---|---|---|
| 8-10 | 直接可用工具/API | 自动吸收 (auto_applied) |
| 4-7 | 方法论/行业动态 | 审核队列 (pending_review) |
| 1-3 | 一般/低价值 | 审核队列+低分标记 (pending_review, confidence=low) |
关键变更: 旧逻辑 score < 6 直接丢弃。v2 中低分也进队列,人工判断是否误判。
去重机制(三层)
- 摘要层:
check-summariesAPI → dedup_key - 分类层:
learn_find_by_dedup(dedup_key, learn_type)检查 - 吸收层:
learn_result_get_by_learn_id(learn_queue_id)→ 1:1
关键 API
| 端点 | 方法 | 作用 |
|---|---|---|
| /api/articles/check-summaries | POST | 批量查已缓存摘要 |
| /api/articles/summarize | POST | 生成单篇摘要(异步) |
| /api/learn/classify | POST | 运行分类器(异步) |
| /api/learn-queue | GET | 待审核列表 |
| /api/learn//approve | POST | 审批通过→执行吸收 |
| /api/learn//reject | POST | 拒绝 |
| /api/learn/stats | GET | 统计(含 auto_applied/failed/low_score) |
| /api/learn-results | GET | 学习结果列表 |
| /api/learn-result//feedback | POST | 人工 feedback |
验证集设计三控制条件(Evo-Bench, 2026-09-21 吸收)
来源:Evo-Bench(learn_queue #813,详见 meta/recursive-self-improvement SKILL.md)。为「验证用例怎么挑、能不能复用」给出评测设计规范,防止验证环节空转。
| 控制条件 | 含义 | 本管线对照 |
|---|---|---|
| ①Harness Sensitivity | 任务必须对 Harness 变化敏感(patch 前后成功率实测有变化) | Step 3 验证若用「改不改 skill 都通过」的存在性检查类任务,验证就是空转;挑回归用例优先选「patch 前失败/patch 后通过」的敏感任务 |
| ②Cross-split Generalization | 验证/评测样本互斥且响应分布一致 | 陷阱:Step 3 的「原题验证」(吸收时跑的用例)与后续 patch 回归复用同一批用例 = 验证集泄漏;回归用例应与吸收验证用例分开维护 |
| ③Long-horizon Evolution | 6 步 Loop 单次 ~30 分钟,测不到 48h 级长程进化 | 长程自改进效果(如 MAB 排期策略收益)需小时级以上观测窗口,不能以单次 Loop 结果下结论 |
对照锚点:GPT-5.6-Sol 46.3 / Claude Opus 4.8 45.8 vs 人工 Harness 47.5——前沿模型已接近但未超越人工调优。
新组件 (v2)
extract-learning-outlineskill: 从摘要提取结构化学习大纲(目标/内容/预期结果/验证方法)learning_results表: 记录实际学到什么,learn_queue 1:1_auto_absorb(): 高分自动吸收,失败status='failed'/learn-results页面: 学习成果展示 + 人工 feedback/learn改版: 低分标记、失败tab、自动吸收统计
代码实现位置
local_db.py: learn_queue + learning_results CRUDapp.py: on_classify_done (三档路由) + _autoabsorb + 吸收回调写结果templates/learn.html: 审核页(低分/失败/自动吸收)templates/learn_results.html: 学习结果页