benchmark_v1.md
5.79 KB
Agent-Creator Benchmark v1
目标 Agent: agent-creator (Agent Creator & Skill Installer) 版本: v1 目标得分: ≥95 创建时间: 2026-04-09
1. 评分维度与权重
| 维度 | 权重 | 名称 | 说明 |
|---|---|---|---|
| D1 | 20% | 需求解析与技能匹配 | 正确理解岗位需求,按「四层漏斗」优先顺序找到最合适的技能来源 |
| D2 | 25% | 技能获取与安装 | 正确下载/安装依赖、放置文件到目标路径,脚本可运行 |
| D3 | 25% | Token 兜底与异常处理 | 所有依赖外部 API 的技能必须植入 human request 逻辑,禁止因缺 Token 而 Crash |
| D4 | 15% | Innovator Dispatch | 装配完成后必须强制向 innovator-001 发起训练任务,不能跳过 |
| D5 | 15% | 文档更新与交付汇报 | 更新 SKILL.md/tools.md,汇报清晰完整 |
总分计算公式: 总得分 = D1×0.20 + D2×0.25 + D3×0.25 + D4×0.15 + D5×0.15,结果四舍五入到整数。
2. 各维度评分标准 (1-10 分)
D1: 需求解析与技能匹配 (20%)
| 得分 | 标准 |
|---|---|
| 10 | 完美理解需求;优先检查组织内部复用,再按官方 SDK → 高星 GitHub → 包管理器的顺序选择;选择的技能与岗位 100% 匹配 |
| 8-9 | 理解需求正确,选择了可用技能,但优先顺序有 1 处偏差(如未检查内部复用直接下载 GitHub) |
| 6-7 | 理解基本正确,但技能选择有瑕疵(如选择了一个过时/不稳定的库) |
| 4-5 | 需求理解有偏差,技能与岗位匹配度不足 |
| 1-3 | 严重误解需求,安装完全无关的技能 |
| 0 | 未进行任何搜索或选择 |
D2: 技能获取与安装 (25%)
| 得分 | 标准 |
|---|---|
| 10 | 安装命令正确、依赖完整、文件放置到 data/agents/<agentId>/.claude/skills/<skill_name>/;若为 npm/pip 包,正确创建局部环境;脚本可直接运行 |
| 8-9 | 安装基本正确,但存在小瑕疵(如缺少 README、路径拼写稍有不规范) |
| 6-7 | 安装成功但依赖处理不完善(如全局安装而非局部安装,可能导致版本冲突) |
| 4-5 | 文件放置错误或缺少关键依赖,脚本无法直接运行 |
| 1-3 | 仅下载了部分文件,或安装命令严重错误 |
| 0 | 未执行任何安装操作 |
D3: Token 兜底与异常处理 (25%)
| 得分 | 标准 |
|---|---|
| 10 | 所有需要外部 API Key 的技能均植入了 node bin/lemon.js human request 标准模板;检测逻辑在入口脚本最前端;无硬编码 Token;多个 Key 依次独立检测 |
| 8-9 | 植入了请援逻辑,但位置偏后或在异常捕获块内部(非最优) |
| 6-7 | 有部分 Token 检测,但缺少 human request 调用,仅打印警告 |
| 4-5 | 仅对部分 API Key 做了检测,遗漏明显 |
| 1-3 | 有检测但调用方式错误,或仍可能抛出未捕获异常 |
| 0 | 完全未考虑 Token 缺失场景 |
D4: Innovator Dispatch (15%)
| 得分 | 标准 |
|---|---|
| 10 | 装配完成后立即向 innovator-001 发起 task dispatch;命令中包含技能名称、目标 Agent ID、存放路径、优化目标(如 Benchmark 90+);优先级设置合理 |
| 8-9 | 发起了 dispatch,但命令中缺少路径或优化目标等关键信息 |
| 6-7 | 发起了 dispatch,但发给错误的接收方或优先级不合理 |
| 4-5 | dispatch 命令存在明显错误,可能导致任务无法被 Innovator 识别 |
| 1-3 | 口头提及但未实际执行 dispatch 命令 |
| 0 | 完全未发起 Innovator 训练请求 |
D5: 文档更新与交付汇报 (15%)
| 得分 | 标准 |
|---|---|
| 10 | SKILL.md 更新完整(含来源、路径、触发场景、入口命令、环境变量清单);tools.md 按需更新;向 CTO/上级的汇报包含技能来源、安装路径、授权处理、训练任务状态 |
| 8-9 | 文档更新基本完整,但汇报缺少 1 项次要信息 |
| 6-7 | 更新了 SKILL.md 但结构不规范;汇报较简略 |
| 4-5 | 仅更新了 1 个文档,或汇报缺失关键信息(如路径、训练任务) |
| 1-3 | 文档更新严重不全,汇报模糊 |
| 0 | 未更新任何文档,也未汇报 |
3. 达标标准 (≥95 分)
要达到 ≥95 分,必须同时满足:
- D3 (Token 兜底) ≥ 9 分 — 这是安全红线,不允许因缺 API Key 导致 Crash。
- D4 (Innovator Dispatch) = 10 分 — 必须强制发起训练请求,这是 Agent Creator 的兜底动作,不可跳过。
- D2 (技能获取与安装) ≥ 8 分 — 技能必须实质可用。
- 总分 ≥ 95 — 通过加权计算。
4. 常见失分点与改进建议
| 失分点 | 改进建议 |
|---|---|
未优先检查 data/skills/ 或 system/templates/ 的内部复用 |
每次搜索前先执行 ls / grep 检查内部资源 |
Token 检测写在 catch 块里而非入口最前端 |
将 process.env 检测放在脚本执行的第一行 |
发起 dispatch 时缺少 存放路径 |
使用相对路径 data/agents/<agentId>/... |
| SKILL.md 未更新或格式不统一 | 统一使用「来源/路径/触发场景/入口命令/环境变量」五段式 |
| 安装完技能后未汇报就结束对话 | 强制在收尾阶段向 CTO 发送结构化汇报 |
5. 自动化评分提示 (供 Evaluator 使用)
在自动评分时,建议检查以下关键词/模式:
- D2 检查: 输出中是否包含
mkdir -p data/agents/、npm install、pip install、curl -L或git clone等安装动作。 - D3 检查: 输出脚本中是否包含
node bin/lemon.js human request以及process.env.SKILL_模式。 - D4 检查: 输出中是否包含
node bin/lemon.js task dispatch和--to innovator-001。 - D5 检查: 输出中是否包含
SKILL.md更新内容以及向 CTO 的总结性汇报语句。