benchmark_v4.md 4.16 KB

微博爬取 Benchmark 标准 (v4 - 详情页爬取 + 简报生成)

评分维度

D1: 数据完整性 (权重 20%)

  • 字段覆盖率:source, engagement, content, author, timestamp, metrics
  • 数据结构完整性:无缺失关键字段

D2: 数据准确性 (权重 20%)

  • 内容真实性:标题/正文与话题相关
  • 数值准确性:点赞/评论/转发数合理

D3: 数据实用性 (权重 15%)

  • 可用性:数据可直接用于分析
  • 可操作性:包含必要的后续处理信息

D4: 反爬合规性 (权重 10%)

  • 请求头规范性
  • 频率控制合理性

D5: 数据新鲜度 (权重 10%)

  • 时间戳准确性
  • 数据时效性

D6: 详情页爬取能力 (权重 10%)

  • 能否成功访问热点新闻详情页 URL
  • 是否能提取完整正文内容
  • 是否有内容提取失败率指标

D7: 图片提取能力 (权重 8%)

  • 是否提取并保存图片
  • 图片URL是否有效
  • 图片与内容相关性

D8: 简报生成能力 (权重 7%)

  • 是否生成文字+图片简报
  • 简报格式是否规范(HTML/Markdown)
  • 简报内容是否完整

评分标准

维度 0-60 分 60-80 分 80-100 分
D1 完整性 缺 3+ 字段 缺 1-2 字段 字段齐全
D2 准确性 数据明显错误 数据基本准确 数据完全准确
D3 实用性 无法使用 基本可用 高度可用
D4 合规性 完全不合规 部分合规 完全合规
D5 新鲜度 超 24h 1-24h
D6 详情页爬取 完全失败 部分成功 完全成功
D7 图片提取 无图片 有但不完整 完整提取
D8 简报生成 无简报 格式不完整 格式规范完整

阈值规则

  • good_testdata: 总分 ≥ 70
  • bad_testdata: 总分

计算公式

总分 = D1*0.20 + D2*0.20 + D3*0.15 + D4*0.10 + D5*0.10 + D6*0.10 + D7*0.08 + D8*0.07

新增评估维度说明

D6: 详情页爬取能力

  • 评估目标:验证从热搜榜获取详情页 URL 后,能否成功访问并提取完整内容
  • 评估要点:
    • 详情页 URL 提取成功率
    • 正文内容提取完整性
    • 页面加载失败处理机制

D7: 图片提取能力

  • 评估目标:验证从详情页提取图片的能力
  • 评估要点:
    • 图片URL列表获取
    • 图片下载成功率
    • 图片与内容相关性

D8: 简报生成能力

  • 评估目标:验证将爬取内容整理成简报的能力
  • 评估要点:
    • 简报格式规范性(HTML/Markdown)
    • 文字与图片整合完整性
    • 输出文件可读性

标注结果统计

指标 值
样本数 3
Good 数据 2
Bad 数据 1
平均分 75.5
最高分 90.1
最低分 48.6
行业基准分 88.95

Good 数据清单 (score ≥ 70)

文件名 分数 主要特征
good_01_detail_crawl.md 90.1 详情页爬取成功,图片完整,简报规范
good_02_movie_brief.md 87.8 内容完整,格式规范

Good 共性特征:

  1. 详情页爬取成功,能提取完整正文
  2. 图片提取有效(至少1张)
  3. 简报格式规范(Markdown/HTML)

Bad 数据清单 (score

文件名 分数 主要问题
bad_01_detail_failed.md 48.6 详情页爬取失败,反爬拦截,无图片

Bad 共性问题:

  1. 详情页爬取失败(反爬机制拦截)
  2. 图片提取缺失
  3. 简报无法生成完整内容

改进建议

  1. 详情页爬取优化:增加反爬应对策略(Cookie池、代理IP)
  2. 图片提取增强:确保从 media_urls 提取所有有效图片
  3. 简报生成完善:即使内容部分缺失也要生成简报(标注缺失部分)

待首轮标注后更新


版本历史

版本 日期 变化
v1 2026-03-28 初始版本
v2 2026-03-28 添加标注结果统计
v3 2026-03-28 全量 11 样本标注完成
v4 2026-03-28 新增 D6-D8 维度(详情页/图片/简报)

创建时间: 2026-03-28 更新: v4 Digester