pipeline-architecture.md 2.58 KB

学习吸收管线架构

完整数据流

WeChat 群消息
  │
  ▼
Cron Job (每小时) ─── wechat-group-digest skill
  │ 扫描新文章 → 提取 URL → check-summaries 去重
  │ 对未缓存文章 → POST /api/articles/summarize → hermes 子进程摘要
  │
  ▼
摘要缓存 (daily_reports, report_date='summary')
  │
  ▼
分类器 (POST /api/learn/classify) ─── learn-and-build skill
  │ 读取未分类摘要 → LLM 判断 learn_type
  │ 写入 learn_queue 表,status='pending_review'
  │
  ▼
Review Gate (/learn 页面)
  │ 用户审核每条待吸收项
  ├─ ✅ approve → spawn learn_absorb job
  └─ 🗑 reject  → 丢弃
  │
  ▼
吸收执行 (POST /api/learn/<id>/approve)
  │ learn_type=skill    → hermes chat -s learn-and-build → skill_manage
  │ learn_type=memory   → hermes chat → memory add
  │ learn_type=todo     → hermes chat → 生成待办
  │ learn_type=reference → hermes chat → 写入 skill references/
  │
  ▼
日报生成
  │ 所有摘要已缓存 → 编撰 Markdown → 秒级完成

DB 表

learn_queue

字段 类型 说明
id INTEGER PK
article_url TEXT 原文链接
title TEXT 文章标题
dedup_key TEXT 去重键
learn_type TEXT skill/memory/todo/reference/skip
learn_target TEXT 目标 skill 名/记忆键/待办标题
learn_content TEXT 要吸收的内容
confidence TEXT high/medium/low
status TEXT pending_review/approved/rejected/applied
error_msg TEXT 吸收结果反馈
created_at TEXT
reviewed_at TEXT

API 路由

方法 路径 说明
GET /learn 审核页面
GET /api/learn-queue?status= 待审核列表
POST /api/learn/classify 运行分类器(hermes 子进程)
POST /api/learn//approve 审批通过→执行吸收
POST /api/learn//reject 拒绝
GET /api/learn/stats 统计(unclassified/pending/approved/applied/rejected)

分类规则

分类器 prompt 核心逻辑:

  • 有 GitHub/PyPI 链接 + 可安装运行 → skill
  • 行业趋势/市场数据/竞品动态 → memory
  • 待跟进项目/产品发布/行动项 → todo
  • 技术架构/设计模式/方法论 → reference
  • 泛泛资讯 → skip

已知限制

  • 吸收执行依赖 hermes chat 子进程,受 300s timeout 限制
  • 分类器一次最多处理 20 篇未分类摘要
  • skill 创建后不自动验证可用性(需人工检查)
  • memory 写入无去重(同主题多次写入会累积)