SKILL.md 4.74 KB

Edit Raw Blame History



name: benchmark
description: >
  Benchmark 标准生成 & 评估 Skill。两大职责：
  (1) 根据 knowhow.md 和爬取的数据生成评判标准 (benchmark.md)，包含评分维度、权重和详细 Rubric。
  (2) 针对 Skill 产生的结果，按 benchmark.md 逐维度评分，输出各维度得分、加权总分和改进建议。
  Use when: 需要建立或评估 benchmark 标准，Innovator 的 Digest 步骤和 Evolving 循环的评分步骤。
version: 2.0.0
Benchmark Skill
根据 knowhow + 爬取数据生成 benchmark 评分标准，并可评估 Skill 输出的质量。


模式一：生成 Benchmark 标准
输入

skillName: Skill 名称
domain: 领域名称
knowhow: knowhow.md 完整内容
crawlData: 爬取的标杆案例内容 (前几个精选)
toplist: toplist.md 内容

执行流程

分析 knowhow: 从方法论中提取可量化的质量维度
分析标杆案例: 从 crawl 数据中识别 elite/average 的差异
补充研究: 调用 deep-research (direction=benchmark) 获取评判领域的专业知识
生成 benchmark: 综合所有信息，生成评分标准

输出格式
# {Skill Name} — Benchmark v1.0.0
Last updated: {date}
Benchmark version: 1.0.0
Trigger: initial_creation

## Scoring Dimensions

| # | Dimension | Weight | What It Measures |
|---|-----------|--------|------------------|
| 1 | {dim}     | {%}    | {description}    |
...
(5-8 个维度，权重总和 = 100%)

## Detailed Rubric

### Dimension 1: {name} ({weight}%)
| Score Range | Label     | Criteria |
|-------------|-----------|----------|
| 90–100      | Excellent | {具体可观察的标准} |
| 70–89       | Good      | {具体可观察的标准} |
| 50–69       | Acceptable| {具体可观察的标准} |
| 30–49       | Poor      | {具体可观察的标准} |
| 0–29        | Failing   | {具体可观察的标准} |

(每个维度都要有完整的评分标准)

## Scoring Formula
Final Score = Σ (dimension_score × dimension_weight)

## Pass Thresholds
- pass_score: 90
- industry_avg_score: 65
- elite_avg_score: 85

## Elite vs Average Examples
### Elite 特征
[从 crawl 数据中提取的 elite 案例共性特征]

### Average 特征
[从 crawl 数据中提取的 average 案例共性特征]


模式二：评估 Skill 输出
输入

skillName: Skill 名称
benchmarkDef: benchmark.md 完整内容（评分维度和标准）
taskOutput: Skill 的实际输出内容
testTask: 测试任务描述

执行流程

解析 benchmark: 提取所有评分维度、权重和标准
逐维度评分: 对每个维度，对照 Detailed Rubric 评分
计算总分: Final Score = Σ (dimension_score × dimension_weight)
生成反馈: 每个维度的具体反馈（优点 + 改进建议）

输出格式
严格输出以下 JSON：
{
  "totalScore": 72,
  "passThreshold": 90,
  "passed": false,
  "dimensions": [
    {
      "name": "维度名",
      "weight": 0.20,
      "score": 85,
      "weightedScore": 17.0,
      "label": "Good",
      "feedback": "具体反馈: 做得好的地方 + 改进建议"
    }
  ],
  "overallFeedback": "总体反馈：主要优点和最需要改进的方向",
  "weakDimensions": ["维度2", "维度5"],
  "strongDimensions": ["维度1", "维度3"]
}

评分规则


分数区间
Label
含义


90-100
Excellent
超越行业标杆


70-89
Good
达到专业水准


50-69
Acceptable
基本合格


30-49
Poor
明显不足


0-29
Failing
严重缺陷


关键原则

可量化: 所有维度必须可测量（如 "每千字至少 2 个伏笔"），不能主观模糊
有区分度: elite 和 average 在每个维度上有明确差异
基于数据: 评分标准来自真实标杆案例的分析，不是凭空编造
阈值保守: pass_score 设为 90，industry_avg 设为 65
严格对标: 评估时必须逐条对照 benchmark 的 Detailed Rubric
可验证: 反馈要引用输出中的具体内容作为证据
建设性: weakDimensions 的反馈要给出改进方向
诚实: 不要因为是自我评估就给高分


输出协议（系统必须）
你的输出最后必须以 [RESULT: DONE/PASS/FAIL/ERROR]...[/RESULT] 标记收尾。

生成模式 - 成功：
[RESULT: DONE]
完成说明：
- 评分维度: N 个
- 权重总和: 100%
[/RESULT]


评估模式 - 通过（得分 >= 70）：
[RESULT: PASS]
评分: {score}/100
优点: xxx
建议改进: xxx
[/RESULT]


评估模式 - 未通过（得分 
[RESULT: FAIL]
评分: {score}/100
主要问题:
- 问题1: xxx
改进建议:
- 建议1: xxx
[/RESULT]