benchmark_v1.md 5.79 KB

Agent-Creator Benchmark v1

目标 Agent: agent-creator (Agent Creator & Skill Installer) 版本: v1 目标得分: ≥95 创建时间: 2026-04-09


1. 评分维度与权重

维度 权重 名称 说明
D1 20% 需求解析与技能匹配 正确理解岗位需求,按「四层漏斗」优先顺序找到最合适的技能来源
D2 25% 技能获取与安装 正确下载/安装依赖、放置文件到目标路径,脚本可运行
D3 25% Token 兜底与异常处理 所有依赖外部 API 的技能必须植入 human request 逻辑,禁止因缺 Token 而 Crash
D4 15% Innovator Dispatch 装配完成后必须强制向 innovator-001 发起训练任务,不能跳过
D5 15% 文档更新与交付汇报 更新 SKILL.md/tools.md,汇报清晰完整

总分计算公式: 总得分 = D1×0.20 + D2×0.25 + D3×0.25 + D4×0.15 + D5×0.15,结果四舍五入到整数。


2. 各维度评分标准 (1-10 分)

D1: 需求解析与技能匹配 (20%)

得分 标准
10 完美理解需求;优先检查组织内部复用,再按官方 SDK → 高星 GitHub → 包管理器的顺序选择;选择的技能与岗位 100% 匹配
8-9 理解需求正确,选择了可用技能,但优先顺序有 1 处偏差(如未检查内部复用直接下载 GitHub)
6-7 理解基本正确,但技能选择有瑕疵(如选择了一个过时/不稳定的库)
4-5 需求理解有偏差,技能与岗位匹配度不足
1-3 严重误解需求,安装完全无关的技能
0 未进行任何搜索或选择

D2: 技能获取与安装 (25%)

得分 标准
10 安装命令正确、依赖完整、文件放置到 data/agents/<agentId>/.claude/skills/<skill_name>/;若为 npm/pip 包,正确创建局部环境;脚本可直接运行
8-9 安装基本正确,但存在小瑕疵(如缺少 README、路径拼写稍有不规范)
6-7 安装成功但依赖处理不完善(如全局安装而非局部安装,可能导致版本冲突)
4-5 文件放置错误或缺少关键依赖,脚本无法直接运行
1-3 仅下载了部分文件,或安装命令严重错误
0 未执行任何安装操作

D3: Token 兜底与异常处理 (25%)

得分 标准
10 所有需要外部 API Key 的技能均植入了 node bin/lemon.js human request 标准模板;检测逻辑在入口脚本最前端;无硬编码 Token;多个 Key 依次独立检测
8-9 植入了请援逻辑,但位置偏后或在异常捕获块内部(非最优)
6-7 有部分 Token 检测,但缺少 human request 调用,仅打印警告
4-5 仅对部分 API Key 做了检测,遗漏明显
1-3 有检测但调用方式错误,或仍可能抛出未捕获异常
0 完全未考虑 Token 缺失场景

D4: Innovator Dispatch (15%)

得分 标准
10 装配完成后立即向 innovator-001 发起 task dispatch;命令中包含技能名称、目标 Agent ID、存放路径、优化目标(如 Benchmark 90+);优先级设置合理
8-9 发起了 dispatch,但命令中缺少路径或优化目标等关键信息
6-7 发起了 dispatch,但发给错误的接收方或优先级不合理
4-5 dispatch 命令存在明显错误,可能导致任务无法被 Innovator 识别
1-3 口头提及但未实际执行 dispatch 命令
0 完全未发起 Innovator 训练请求

D5: 文档更新与交付汇报 (15%)

得分 标准
10 SKILL.md 更新完整(含来源、路径、触发场景、入口命令、环境变量清单);tools.md 按需更新;向 CTO/上级的汇报包含技能来源、安装路径、授权处理、训练任务状态
8-9 文档更新基本完整,但汇报缺少 1 项次要信息
6-7 更新了 SKILL.md 但结构不规范;汇报较简略
4-5 仅更新了 1 个文档,或汇报缺失关键信息(如路径、训练任务)
1-3 文档更新严重不全,汇报模糊
0 未更新任何文档,也未汇报

3. 达标标准 (≥95 分)

要达到 ≥95 分,必须同时满足:

  1. D3 (Token 兜底) ≥ 9 分 — 这是安全红线,不允许因缺 API Key 导致 Crash。
  2. D4 (Innovator Dispatch) = 10 分 — 必须强制发起训练请求,这是 Agent Creator 的兜底动作,不可跳过。
  3. D2 (技能获取与安装) ≥ 8 分 — 技能必须实质可用。
  4. 总分 ≥ 95 — 通过加权计算。

4. 常见失分点与改进建议

失分点 改进建议
未优先检查 data/skills/ 或 system/templates/ 的内部复用 每次搜索前先执行 ls / grep 检查内部资源
Token 检测写在 catch 块里而非入口最前端 将 process.env 检测放在脚本执行的第一行
发起 dispatch 时缺少 存放路径 使用相对路径 data/agents/<agentId>/...
SKILL.md 未更新或格式不统一 统一使用「来源/路径/触发场景/入口命令/环境变量」五段式
安装完技能后未汇报就结束对话 强制在收尾阶段向 CTO 发送结构化汇报

5. 自动化评分提示 (供 Evaluator 使用)

在自动评分时,建议检查以下关键词/模式:

  • D2 检查: 输出中是否包含 mkdir -p data/agents/、npm install、pip install、curl -L 或 git clone 等安装动作。
  • D3 检查: 输出脚本中是否包含 node bin/lemon.js human request 以及 process.env.SKILL_ 模式。
  • D4 检查: 输出中是否包含 node bin/lemon.js task dispatch 和 --to innovator-001。
  • D5 检查: 输出中是否包含 SKILL.md 更新内容以及向 CTO 的总结性汇报语句。