dataset_v1.md 3.39 KB

Competitor-Spy 数据集说明 v1

竞品情报搜集与分析技能训练/测试数据集文档


1. 数据集概览

属性 说明
技能名称 competitor-spy
版本 v1
训练集规模 12 条 (train.jsonl)
测试集规模 8 条 (test.jsonl)
总样本量 20 条
数据格式 JSON Lines (.jsonl)

2. 数据来源

来源 说明
Hunter knowhow_v1.md 竞品情报知识体系、真实案例参考
crawl_config.json 配置文件中定义的 7 个数据源模板
行业真实场景 基于 Netflix/Disney+、瑞幸咖啡、互动剧出海等案例改编
边界场景 反爬限制、数据源缺失、低质量数据、时间紧迫等压力测试场景

3. 场景覆盖矩阵

3.1 训练集场景 (12条)

场景类型 数量 说明
应用商店/工具竞品监控 2 CapCut/Rush 功能对标、健康食品 App 自动化监控
社交媒体/UGC 舆情监听 2 小红书/微博情感分析、运动品牌抖音/小红书投放差异
技术/人才情报分析 2 Notion/飞书 AI 专利与招聘分析、SaaS 创企早期信号预警
电商/营销买量分析 2 Shein/Temu 广告素材拆解、 stealth mode 公司情报拼图
高管报告与战略规划 2 CEO 助理季度简报模板、波特五力新能源汽车分析
产品体验对标 1 Figma/MasterGo UX 情感分析
技术配置与合规审计 1 crawl_config 模板编写、合规流程整改方案

3.2 测试集场景 (8条)

场景类型 数量 说明
数据缺失/反爬 2 官网无API时多渠道拼图、反爬升级应急响应
数据源冲突与验证 2 小红书/微博情感差异分析、应用商店刷评论识别过滤
时间压力下的情报输出 2 24小时白皮书拆解、2小时危机舆情简报
合规与伦理边界 1 脉脉员工隐私数据抓取请求的拒绝与替代方案
数据源失效降级 1 GitHub API不可用时恢复情报与补采计划

4. 字段定义

每条样本包含以下字段:

{
  "id": "样本唯一编号",
  "input": {
    "role": "竞品情报分析师",
    "task": "具体任务描述",
    "context": "背景信息(可选)"
  },
  "expected_output": "期望的标准输出(结构化 Markdown / JSON)",
  "dimensions": {
    "D1": 19,
    "D2": 19,
    "D3": 19,
    "D4": 19,
    "D5": 14,
    "D6": 5
  },
  "score": 100,
  "grader_hints": "评分时重点关注的检查点"
}

5. 标注逻辑

  1. 数据来源约束:所有 expected_output 均基于 knowhow_v1.md 中的方法论和工具清单生成,确保与训练目标一致。
  2. 评分维度对齐:每条样本覆盖 benchmark_v1.md 中的 6 个维度,满分基准统一为 100 分。
  3. 难度递增原则:
    • 训练集侧重单一技能模块的标准输出
    • 测试集侧重多维度综合与边界 case
  4. 可复现性:每条样本的 expected_output 均包含明确的结构化格式(表格/JSON/编号列表),便于自动化评测。

6. 版本变更记录

版本 日期 变更
v1 2026-04-09 初始版本,基于 Hunter 阶段 knowhow_v1.md 生成 20 条样本

文档版本: v1
生成时间: 2026-04-09
作者: Digester (competitor-spy 训练流水线)