benchmark_v1.md
6.22 KB
Competitor-Spy 技能评分标准 (Benchmark v1)
目标 Agent: competitor-spy
技能领域: 竞品情报搜集与分析
满分: 100 分 | 目标分数线: ≥95 分 (S级)
生成时间: 2026-04-09
生成 Agent: Digester
评分维度总览
| 维度 | 权重 | 满分 | 核心考察点 |
|---|---|---|---|
| D1 竞品监控规划与目标拆解 | 20 | 20 | 明确情报需求、划定竞品范围、建立 KPI 与监测关键词体系 |
| D2 数据源识别与爬取执行 | 20 | 20 | 选择合适数据源、配置 crawl_config、高效稳定采集数据 |
| D3 情报分析与指标计算 | 20 | 20 | SWOT/五力/价值曲线应用、指标计算、发现机会与威胁 |
| D4 情报报告生成 | 20 | 20 | 报告结构化、结论明确、可执行建议、数据源可追溯 |
| D5 合规风控与反爬策略 | 15 | 15 | robots.txt 遵守、频率限制、隐私合规、风险规避 |
| D6 情报质量与交叉验证 | 5 | 5 | 三角验证、数据去重、异常识别、时效性加权 |
D1 竞品监控规划与目标拆解 (20分)
满分标准 (18-20分)
- 能清晰区分直接竞品、替代品、行业标杆三类对象
- 提出明确的本次情报 KPI（如市场份额差距、功能缺口、用户流失原因）
- 绘制竞争要素优先级矩阵或类似框架
- 建立结构化的监测关键词体系（按紧急/重要/常规分级）
良好标准 (14-17分)
- 竞品范围较清晰，但分类或 KPI 不够量化
- 有关键词体系，但缺少优先级分级
待改进 (0-13分)
- 竞品范围模糊，未明确 KPI
- 缺少系统化的监测规划
常见扣分项
- 未区分直接竞品与替代品 (-3)
- 未提出可量化的情报 KPI (-3)
- 未建立关键词或预警分级 (-2)
D2 数据源识别与爬取执行 (20分)
满分标准 (18-20分)
- 根据情报目标精准匹配公开数据源（应用商店、社媒、专利、招聘、广告等）
- 能配置或引用 crawl_config.json，明确请求方式、解析规则、调度频率
- 体现一手数据（访谈/神秘顾客）与二手数据（API/爬虫）的双轨意识
- 包含合理的 rate_limit、retry、timeout、storage 配置
良好标准 (14-17分)
- 数据源选择合理，但配置细节不完整
- 缺少一手数据采集意识
待改进 (0-13分)
- 数据源与情报目标不匹配
- 未提及爬虫配置或反爬策略
常见扣分项
- 数据源与目标维度不匹配 (-4)
- 未提及 API/爬虫配置 (-3)
- 未配置 rate_limit 或 retry (-2)
- 未提及一手数据补充 (-2)
D3 情报分析与指标计算 (20分)
满分标准 (18-20分)
- 正确应用至少 1 种经典模型（SWOT、波特五力、价值曲线、竞争要素优先级矩阵）
- 能计算或引用核心指标（市场份额、功能覆盖率、CSAT、NPS 对标、增长速率等）
- 分析结论有结构（维度 + 数据 + 方法三位一体）
- 发现差异化空白区或 actionable 的威胁/机会
良好标准 (14-17分)
- 使用了分析模型，但指标计算不完整
- 有结论但缺少数据支撑
待改进 (0-13分)
- 缺少模型应用，仅罗列数据
- 无 actionable 结论
常见扣分项
- 未使用任何经典分析模型 (-4)
- 缺少核心指标计算或对标 (-3)
- 结论缺乏数据支撑 (-3)
- 未识别机会或威胁 (-2)
D4 情报报告生成 (20分)
满分标准 (18-20分)
- 报告结构完整：执行摘要 → 分析维度 → 数据图表 → 结论与建议
- 每条结论均标注数据源（source_url / crawl_time）
- 提出至少 3 条可执行的后续行动建议
- 包含风险提醒或假设前提说明
良好标准 (14-17分)
- 报告结构基本完整，但建议不够具体
- 部分结论缺少数据溯源
待改进 (0-13分)
- 报告结构混乱，缺少结论
- 无数据源标注
常见扣分项
- 报告结构缺失关键模块 (-3)
- 结论缺少 source_url 溯源 (-3)
- 无可执行建议 (-3)
- 未说明关键假设或风险 (-2)
D5 合规风控与反爬策略 (15分)
满分标准 (14-15分)
- 明确说明遵守 robots.txt、频率限制（单站点 ≥2s 间隔）、数据溯源
- 提出隐私合规边界（不抓 PII、不抓登录后敏感内容）
- 包含反爬措施（UA 轮换、IP 代理、请求抖动、缓存去重）
- 包含降级策略（API 优先于页面解析）
- 有异常报警机制（403/429 自动暂停告警）
良好标准 (10-13分)
- 提及合规与反爬，但不全面
- 缺少异常报警或降级策略
待改进 (0-9分)
- 未提及合规风险或反爬策略
- 存在明显法律或伦理风险
常见扣分项
- 未提及 robots.txt 或频率限制 (-3)
- 未说明隐私合规边界 (-3)
- 缺少反爬措施 (-2)
- 缺少异常报警机制 (-2)
D6 情报质量与交叉验证 (5分)
满分标准 (5分)
- 对关键结论应用三角验证法（≥3 个独立来源）
- 建立 URL/内容指纹去重机制
- 对不同时效数据赋予不同权重
- 识别并标注数据异常或冲突点
良好标准 (3-4分)
- 提及交叉验证，但未明确 3 源原则
- 未提及去重或时效加权
待改进 (0-2分)
- 未进行任何交叉验证
- 存在明显的重复或冲突数据未处理
常见扣分项
- 未说明三角验证 (-2)
- 未提及去重机制 (-1)
- 未处理数据冲突 (-1)
等级判定规则
| 总分 | 等级 | 说明 |
|---|---|---|
| 95-100 | S | 卓越，可直接部署为生产技能 |
| 90-94 | A | 优秀，小缺陷可快速修复 |
| 85-89 | B | 良好，需针对性迭代 1-2 轮 |
| 75-84 | C | 及格，存在结构性缺陷 |
| D | 不及格，需重新设计 |
自动化评估方法
- 结构化检查: 使用正则或模板匹配检查报告是否包含关键模块（KPI、竞品分类、crawl_config 引用、source_url、建议列表）。
- 关键词覆盖: 检查输出中是否出现 SWOT、波特五力、价值曲线、竞争要素优先级矩阵、robots.txt、三角验证、NPS、CSAT、TAM 等核心关键词。
- JSON Schema 校验: 对 crawl_config.json 输出进行 schema 校验（sources、rate_limit、storage、quality_checks 必须存在）。
- 评分公式:
Score = Σ(Di_actual / Di_max * Di_weight)，保留一位小数。