pipeline-design.md 4.44 KB

Dev-Test 自动化流水线设计模式

概述

飞书 To-Do 表可以驱动一条完整的「开发→测试→修复」闭环流水线。人工只需要录入需求,其余全部由 cron job 驱动的 Hermes agent 自动完成。

状态机

需求表: 待办 ──[Dev Agent]──> 待测 ──[Test Agent]──> 已完成
                                │
                                └── 测试失败 ──> Bug表: 待修复
                                                  │
                        ┌──[Dev Agent 修复]───────┘
                        │
Bug表: 待修复 ──> 待测 ──[Test Agent]──> 已关闭
                        │
                        └── 仍失败 ──> 新子Bug(父记录关联)

Cron Job 编排

两个 cron job,错开执行避免竞态:

Job 周期 职责
Dev Agent 每 5min (:00) 扫需求表 status='待办' + Bug表 status='待修复' → 写代码 → 改待测
Test Agent 每 5min (:02) 扫需求表 status='待测' + Bug表 status='待测' → 测试 → 通过/失败处理

每次 cron 只处理 top 1 任务(按优先级排序),防止超时。

关键组件

  1. 状态流转 Skill — 封装改状态 + 读写的公共函数(claim_task / set_status / create_bug)
  2. Dev Agent — 读取任务描述(Why/What/Acceptance)→ 分配子 agent 写代码 → 改待测
  3. Test Agent — 读取验收标准 → 运行测试 → 通过改完成、失败调 Bug 反写 Skill
  4. Bug 反写 Skill — 把测试失败输出转化为结构化 Bug 记录(Why/What/Acceptance 三段式),自动关联父任务
  5. 子 Agent 调度器 — spawn Hermes sub-agent CLI,监控执行,超时保护

分阶段迭代(Loop 策略)

不要一次性实现全部。分 3-4 个可独立验证的 loop:

  • Loop 1(最小闭环):需求表 only,不含 Bug 表。待办→Dev→待测→Test→完成。失败人工介入。
  • Loop 2(加 Bug 闭环):测试失败自动写 Bug → Dev 修复 → 再测 → 关闭。
  • Loop 3(加子 Agent):子 agent 调度 + 并发控制。
  • Loop 4(自己吃自己):流水线开发完成后,用流水线来维护流水线。

Test Agent 操作细则

每次 cron 执行以下步骤(按优先级排序取 top 1 任务):

1. 查询待测任务

先查需求表 status='待测',没有则查 Bug 表 status='待测'。都没有 → 静默退出([SILENT])。

2. 分析验收标准

从任务描述中提取 Acceptance 部分,拆解为可逐条验证的检查项。

验收项类型:

  • 文件存在性:指定路径的文件是否存在(如 prompt-gap-analysis.md)
  • 内容完整性:文件内容是否覆盖要求的模块/章节
  • 代码测试:pytest / lint / Flask 路由可用性
  • 结构验证:JSON/YAML 格式正确性、字段完整性

3. 运行验证

逐条执行验收项。每种验证类型对应不同工具: | 验收类型 | 工具 | |---------|------| | 文件存在 | search_files(target='files') | | 内容检查 | read_file / search_files(target='content') | | 代码测试 | terminal('pytest ...') | | Flask 路由 | terminal('curl ...') |

4. 判定与流转

全部通过:

  • 需求表 → PUT 状态为「已完成」
  • Bug 表 → PUT 状态为「已关闭」

有失败:

  • 原任务保持「待测」不动(注意:需求表当前没有「测试中」选项,不要尝试改不存在的状态)
  • 在 Bug 表创建新记录,包含:
    • 标题:从失败信息中自动提取(格式:[原任务标题前缀] 测试失败: <关键失败原因>)
    • 描述:Why(什么测试失败)/ What(具体错误日志)/ Acceptance(修复后应通过什么)
    • 严重程度映射:
    • 全部验收项失败 → 致命
    • 部分失败 → 严重
    • 仅 lint/warning → 一般
    • 优先级:继承原任务
    • 父记录:指向原需求或原 Bug
    • 状态:「待修复」

5. 输出报告

报告格式:验收项表格(标准/结果/状态)+ 操作汇总(通过数、失败数、新建Bug ID、飞书链接)。

并发控制

认领任务用乐观锁:

# 只有状态=待办的才能被认领
UPDATE SET status='进行中' WHERE status='待办' AND record_id=xxx
# 如果 affected_rows=0,说明被别的 agent 抢了

简单方案:每次 cron 只取 top 1,执行完再取下一个。