pipeline-design.md
4.44 KB
Dev-Test 自动化流水线设计模式
概述
飞书 To-Do 表可以驱动一条完整的「开发→测试→修复」闭环流水线。人工只需要录入需求,其余全部由 cron job 驱动的 Hermes agent 自动完成。
状态机
需求表: 待办 ──[Dev Agent]──> 待测 ──[Test Agent]──> 已完成
│
└── 测试失败 ──> Bug表: 待修复
│
┌──[Dev Agent 修复]───────┘
│
Bug表: 待修复 ──> 待测 ──[Test Agent]──> 已关闭
│
└── 仍失败 ──> 新子Bug(父记录关联)
Cron Job 编排
两个 cron job,错开执行避免竞态:
| Job | 周期 | 职责 |
|---|---|---|
| Dev Agent | 每 5min (:00) | 扫需求表 status='待办' + Bug表 status='待修复' → 写代码 → 改待测 |
| Test Agent | 每 5min (:02) | 扫需求表 status='待测' + Bug表 status='待测' → 测试 → 通过/失败处理 |
每次 cron 只处理 top 1 任务(按优先级排序),防止超时。
关键组件
- 状态流转 Skill — 封装改状态 + 读写的公共函数(claim_task / set_status / create_bug)
- Dev Agent — 读取任务描述(Why/What/Acceptance)→ 分配子 agent 写代码 → 改待测
- Test Agent — 读取验收标准 → 运行测试 → 通过改完成、失败调 Bug 反写 Skill
- Bug 反写 Skill — 把测试失败输出转化为结构化 Bug 记录(Why/What/Acceptance 三段式),自动关联父任务
- 子 Agent 调度器 — spawn Hermes sub-agent CLI,监控执行,超时保护
分阶段迭代(Loop 策略)
不要一次性实现全部。分 3-4 个可独立验证的 loop:
- Loop 1(最小闭环):需求表 only,不含 Bug 表。待办→Dev→待测→Test→完成。失败人工介入。
- Loop 2(加 Bug 闭环):测试失败自动写 Bug → Dev 修复 → 再测 → 关闭。
- Loop 3(加子 Agent):子 agent 调度 + 并发控制。
- Loop 4(自己吃自己):流水线开发完成后,用流水线来维护流水线。
Test Agent 操作细则
每次 cron 执行以下步骤(按优先级排序取 top 1 任务):
1. 查询待测任务
先查需求表 status='待测',没有则查 Bug 表 status='待测'。都没有 → 静默退出([SILENT])。
2. 分析验收标准
从任务描述中提取 Acceptance 部分,拆解为可逐条验证的检查项。
验收项类型:
- 文件存在性:指定路径的文件是否存在(如
prompt-gap-analysis.md) - 内容完整性:文件内容是否覆盖要求的模块/章节
- 代码测试:pytest / lint / Flask 路由可用性
- 结构验证:JSON/YAML 格式正确性、字段完整性
3. 运行验证
逐条执行验收项。每种验证类型对应不同工具:
| 验收类型 | 工具 |
|---------|------|
| 文件存在 | search_files(target='files') |
| 内容检查 | read_file / search_files(target='content') |
| 代码测试 | terminal('pytest ...') |
| Flask 路由 | terminal('curl ...') |
4. 判定与流转
全部通过:
- 需求表 → PUT 状态为「已完成」
- Bug 表 → PUT 状态为「已关闭」
有失败:
- 原任务保持「待测」不动(注意:需求表当前没有「测试中」选项,不要尝试改不存在的状态)
- 在 Bug 表创建新记录,包含:
- 标题:从失败信息中自动提取(格式:
[原任务标题前缀] 测试失败: <关键失败原因>) - 描述:Why(什么测试失败)/ What(具体错误日志)/ Acceptance(修复后应通过什么)
- 严重程度映射:
- 全部验收项失败 → 致命
- 部分失败 → 严重
- 仅 lint/warning → 一般
- 优先级:继承原任务
- 父记录:指向原需求或原 Bug
- 状态:「待修复」
- 标题:从失败信息中自动提取(格式:
5. 输出报告
报告格式:验收项表格(标准/结果/状态)+ 操作汇总(通过数、失败数、新建Bug ID、飞书链接)。
并发控制
认领任务用乐观锁:
# 只有状态=待办的才能被认领
UPDATE SET status='进行中' WHERE status='待办' AND record_id=xxx
# 如果 affected_rows=0,说明被别的 agent 抢了
简单方案:每次 cron 只取 top 1,执行完再取下一个。