pipeline-architecture.md
2.58 KB
学习吸收管线架构
完整数据流
WeChat 群消息
│
▼
Cron Job (每小时) ─── wechat-group-digest skill
│ 扫描新文章 → 提取 URL → check-summaries 去重
│ 对未缓存文章 → POST /api/articles/summarize → hermes 子进程摘要
│
▼
摘要缓存 (daily_reports, report_date='summary')
│
▼
分类器 (POST /api/learn/classify) ─── learn-and-build skill
│ 读取未分类摘要 → LLM 判断 learn_type
│ 写入 learn_queue 表,status='pending_review'
│
▼
Review Gate (/learn 页面)
│ 用户审核每条待吸收项
├─ ✅ approve → spawn learn_absorb job
└─ 🗑 reject → 丢弃
│
▼
吸收执行 (POST /api/learn/<id>/approve)
│ learn_type=skill → hermes chat -s learn-and-build → skill_manage
│ learn_type=memory → hermes chat → memory add
│ learn_type=todo → hermes chat → 生成待办
│ learn_type=reference → hermes chat → 写入 skill references/
│
▼
日报生成
│ 所有摘要已缓存 → 编撰 Markdown → 秒级完成
DB 表
learn_queue
| 字段 | 类型 | 说明 |
|---|---|---|
| id | INTEGER PK | |
| article_url | TEXT | 原文链接 |
| title | TEXT | 文章标题 |
| dedup_key | TEXT | 去重键 |
| learn_type | TEXT | skill/memory/todo/reference/skip |
| learn_target | TEXT | 目标 skill 名/记忆键/待办标题 |
| learn_content | TEXT | 要吸收的内容 |
| confidence | TEXT | high/medium/low |
| status | TEXT | pending_review/approved/rejected/applied |
| error_msg | TEXT | 吸收结果反馈 |
| created_at | TEXT | |
| reviewed_at | TEXT |
API 路由
| 方法 | 路径 | 说明 |
|---|---|---|
| GET | /learn | 审核页面 |
| GET | /api/learn-queue?status= | 待审核列表 |
| POST | /api/learn/classify | 运行分类器(hermes 子进程) |
| POST | /api/learn//approve | 审批通过→执行吸收 |
| POST | /api/learn//reject | 拒绝 |
| GET | /api/learn/stats | 统计(unclassified/pending/approved/applied/rejected) |
分类规则
分类器 prompt 核心逻辑:
- 有 GitHub/PyPI 链接 + 可安装运行 → skill
- 行业趋势/市场数据/竞品动态 → memory
- 待跟进项目/产品发布/行动项 → todo
- 技术架构/设计模式/方法论 → reference
- 泛泛资讯 → skip
已知限制
- 吸收执行依赖 hermes chat 子进程,受 300s timeout 限制
- 分类器一次最多处理 20 篇未分类摘要
- skill 创建后不自动验证可用性(需人工检查)
- memory 写入无去重(同主题多次写入会累积)