learn-pipeline-architecture.md 3.82 KB

学习吸收管线架构 (2026-07-11 v2)

完整流程

Cron(hourly) → TGO预摘要 → 分类器(learn-and-build)
     │
     ├─ score ≥ 8 → _auto_absorb() → extract-learning-outline → absorb
     │                  ↓ 失败
     │              status='failed' → /learn 失败tab → 手动重试
     │
     ├─ score 4-7 → /learn 审核队列 → 人工审批 → absorb
     │
     └─ score 1-3 → /learn 审核队列(低分⚠️标记) → 人工判断
     │
     ▼
吸收完成 → learning_results 记录:
  - 创建了什么 skill
  - 学到了什么方法论
  - 做了什么架构改造
  - 验证结果
     │
     ▼
/learn-results 页面 → 人工 feedback

评分标准与路由 (v2)

分数 含义 路由
8-10 直接可用工具/API 自动吸收 (auto_applied)
4-7 方法论/行业动态 审核队列 (pending_review)
1-3 一般/低价值 审核队列+低分标记 (pending_review, confidence=low)

关键变更: 旧逻辑 score < 6 直接丢弃。v2 中低分也进队列,人工判断是否误判。

去重机制(三层)

  1. 摘要层: check-summaries API → dedup_key
  2. 分类层: learn_find_by_dedup(dedup_key, learn_type) 检查
  3. 吸收层: learn_result_get_by_learn_id(learn_queue_id) → 1:1

关键 API

端点 方法 作用
/api/articles/check-summaries POST 批量查已缓存摘要
/api/articles/summarize POST 生成单篇摘要(异步)
/api/learn/classify POST 运行分类器(异步)
/api/learn-queue GET 待审核列表
/api/learn//approve POST 审批通过→执行吸收
/api/learn//reject POST 拒绝
/api/learn/stats GET 统计(含 auto_applied/failed/low_score)
/api/learn-results GET 学习结果列表
/api/learn-result//feedback POST 人工 feedback

验证集设计三控制条件(Evo-Bench, 2026-09-21 吸收)

来源:Evo-Bench(learn_queue #813,详见 meta/recursive-self-improvement SKILL.md)。为「验证用例怎么挑、能不能复用」给出评测设计规范,防止验证环节空转。

控制条件 含义 本管线对照
①Harness Sensitivity 任务必须对 Harness 变化敏感(patch 前后成功率实测有变化) Step 3 验证若用「改不改 skill 都通过」的存在性检查类任务,验证就是空转;挑回归用例优先选「patch 前失败/patch 后通过」的敏感任务
②Cross-split Generalization 验证/评测样本互斥且响应分布一致 陷阱:Step 3 的「原题验证」(吸收时跑的用例)与后续 patch 回归复用同一批用例 = 验证集泄漏;回归用例应与吸收验证用例分开维护
③Long-horizon Evolution 6 步 Loop 单次 ~30 分钟,测不到 48h 级长程进化 长程自改进效果(如 MAB 排期策略收益)需小时级以上观测窗口,不能以单次 Loop 结果下结论

对照锚点:GPT-5.6-Sol 46.3 / Claude Opus 4.8 45.8 vs 人工 Harness 47.5——前沿模型已接近但未超越人工调优。

新组件 (v2)

  • extract-learning-outline skill: 从摘要提取结构化学习大纲(目标/内容/预期结果/验证方法)
  • learning_results 表: 记录实际学到什么,learn_queue 1:1
  • _auto_absorb(): 高分自动吸收,失败 status='failed'
  • /learn-results 页面: 学习成果展示 + 人工 feedback
  • /learn 改版: 低分标记、失败tab、自动吸收统计

代码实现位置

  • local_db.py: learn_queue + learning_results CRUD
  • app.py: on_classify_done (三档路由) + _autoabsorb + 吸收回调写结果
  • templates/learn.html: 审核页(低分/失败/自动吸收)
  • templates/learn_results.html: 学习结果页