# Agent-Creator Benchmark v1 > 目标 Agent: agent-creator (Agent Creator & Skill Installer) > 版本: v1 > 目标得分: ≥95 > 创建时间: 2026-04-09 --- ## 1. 评分维度与权重 | 维度 | 权重 | 名称 | 说明 | |------|------|------|------| | D1 | 20% | 需求解析与技能匹配 | 正确理解岗位需求,按「四层漏斗」优先顺序找到最合适的技能来源 | | D2 | 25% | 技能获取与安装 | 正确下载/安装依赖、放置文件到目标路径,脚本可运行 | | D3 | 25% | Token 兜底与异常处理 | 所有依赖外部 API 的技能必须植入 `human request` 逻辑,禁止因缺 Token 而 Crash | | D4 | 15% | Innovator Dispatch | 装配完成后必须强制向 `innovator-001` 发起训练任务,不能跳过 | | D5 | 15% | 文档更新与交付汇报 | 更新 `SKILL.md`/`tools.md`,汇报清晰完整 | **总分计算公式**: `总得分 = D1×0.20 + D2×0.25 + D3×0.25 + D4×0.15 + D5×0.15`,结果四舍五入到整数。 --- ## 2. 各维度评分标准 (1-10 分) ### D1: 需求解析与技能匹配 (20%) | 得分 | 标准 | |------|------| | 10 | 完美理解需求;优先检查组织内部复用,再按官方 SDK → 高星 GitHub → 包管理器的顺序选择;选择的技能与岗位 100% 匹配 | | 8-9 | 理解需求正确,选择了可用技能,但优先顺序有 1 处偏差(如未检查内部复用直接下载 GitHub) | | 6-7 | 理解基本正确,但技能选择有瑕疵(如选择了一个过时/不稳定的库) | | 4-5 | 需求理解有偏差,技能与岗位匹配度不足 | | 1-3 | 严重误解需求,安装完全无关的技能 | | 0 | 未进行任何搜索或选择 | ### D2: 技能获取与安装 (25%) | 得分 | 标准 | |------|------| | 10 | 安装命令正确、依赖完整、文件放置到 `data/agents//.claude/skills//`;若为 npm/pip 包,正确创建局部环境;脚本可直接运行 | | 8-9 | 安装基本正确,但存在小瑕疵(如缺少 README、路径拼写稍有不规范) | | 6-7 | 安装成功但依赖处理不完善(如全局安装而非局部安装,可能导致版本冲突) | | 4-5 | 文件放置错误或缺少关键依赖,脚本无法直接运行 | | 1-3 | 仅下载了部分文件,或安装命令严重错误 | | 0 | 未执行任何安装操作 | ### D3: Token 兜底与异常处理 (25%) | 得分 | 标准 | |------|------| | 10 | 所有需要外部 API Key 的技能均植入了 `node bin/lemon.js human request` 标准模板;检测逻辑在入口脚本最前端;无硬编码 Token;多个 Key 依次独立检测 | | 8-9 | 植入了请援逻辑,但位置偏后或在异常捕获块内部(非最优) | | 6-7 | 有部分 Token 检测,但缺少 `human request` 调用,仅打印警告 | | 4-5 | 仅对部分 API Key 做了检测,遗漏明显 | | 1-3 | 有检测但调用方式错误,或仍可能抛出未捕获异常 | | 0 | 完全未考虑 Token 缺失场景 | ### D4: Innovator Dispatch (15%) | 得分 | 标准 | |------|------| | 10 | 装配完成后**立即**向 `innovator-001` 发起 `task dispatch`;命令中包含技能名称、目标 Agent ID、存放路径、优化目标(如 Benchmark 90+);优先级设置合理 | | 8-9 | 发起了 dispatch,但命令中缺少路径或优化目标等关键信息 | | 6-7 | 发起了 dispatch,但发给错误的接收方或优先级不合理 | | 4-5 | dispatch 命令存在明显错误,可能导致任务无法被 Innovator 识别 | | 1-3 | 口头提及但未实际执行 dispatch 命令 | | 0 | 完全未发起 Innovator 训练请求 | ### D5: 文档更新与交付汇报 (15%) | 得分 | 标准 | |------|------| | 10 | `SKILL.md` 更新完整(含来源、路径、触发场景、入口命令、环境变量清单);`tools.md` 按需更新;向 CTO/上级的汇报包含技能来源、安装路径、授权处理、训练任务状态 | | 8-9 | 文档更新基本完整,但汇报缺少 1 项次要信息 | | 6-7 | 更新了 `SKILL.md` 但结构不规范;汇报较简略 | | 4-5 | 仅更新了 1 个文档,或汇报缺失关键信息(如路径、训练任务) | | 1-3 | 文档更新严重不全,汇报模糊 | | 0 | 未更新任何文档,也未汇报 | --- ## 3. 达标标准 (≥95 分) 要达到 **≥95 分**,必须同时满足: 1. **D3 (Token 兜底) ≥ 9 分** — 这是安全红线,不允许因缺 API Key 导致 Crash。 2. **D4 (Innovator Dispatch) = 10 分** — 必须强制发起训练请求,这是 Agent Creator 的兜底动作,不可跳过。 3. **D2 (技能获取与安装) ≥ 8 分** — 技能必须实质可用。 4. **总分 ≥ 95** — 通过加权计算。 --- ## 4. 常见失分点与改进建议 | 失分点 | 改进建议 | |--------|----------| | 未优先检查 `data/skills/` 或 `system/templates/` 的内部复用 | 每次搜索前先执行 `ls` / `grep` 检查内部资源 | | Token 检测写在 `catch` 块里而非入口最前端 | 将 `process.env` 检测放在脚本执行的第一行 | | 发起 dispatch 时缺少 `存放路径` | 使用相对路径 `data/agents//...` | | SKILL.md 未更新或格式不统一 | 统一使用「来源/路径/触发场景/入口命令/环境变量」五段式 | | 安装完技能后未汇报就结束对话 | 强制在收尾阶段向 CTO 发送结构化汇报 | --- ## 5. 自动化评分提示 (供 Evaluator 使用) 在自动评分时,建议检查以下关键词/模式: - **D2 检查**: 输出中是否包含 `mkdir -p data/agents/`、`npm install`、`pip install`、`curl -L` 或 `git clone` 等安装动作。 - **D3 检查**: 输出脚本中是否包含 `node bin/lemon.js human request` 以及 `process.env.SKILL_` 模式。 - **D4 检查**: 输出中是否包含 `node bin/lemon.js task dispatch` 和 `--to innovator-001`。 - **D5 检查**: 输出中是否包含 `SKILL.md` 更新内容以及向 CTO 的总结性汇报语句。