benchmark_v4.md
4.16 KB
微博爬取 Benchmark 标准 (v4 - 详情页爬取 + 简报生成)
评分维度
D1: 数据完整性 (权重 20%)
- 字段覆盖率:source, engagement, content, author, timestamp, metrics
- 数据结构完整性:无缺失关键字段
D2: 数据准确性 (权重 20%)
- 内容真实性:标题/正文与话题相关
- 数值准确性:点赞/评论/转发数合理
D3: 数据实用性 (权重 15%)
- 可用性:数据可直接用于分析
- 可操作性:包含必要的后续处理信息
D4: 反爬合规性 (权重 10%)
- 请求头规范性
- 频率控制合理性
D5: 数据新鲜度 (权重 10%)
- 时间戳准确性
- 数据时效性
D6: 详情页爬取能力 (权重 10%)
- 能否成功访问热点新闻详情页 URL
- 是否能提取完整正文内容
- 是否有内容提取失败率指标
D7: 图片提取能力 (权重 8%)
- 是否提取并保存图片
- 图片URL是否有效
- 图片与内容相关性
D8: 简报生成能力 (权重 7%)
- 是否生成文字+图片简报
- 简报格式是否规范(HTML/Markdown)
- 简报内容是否完整
评分标准
| 维度 | 0-60 分 | 60-80 分 | 80-100 分 |
|---|---|---|---|
| D1 完整性 | 缺 3+ 字段 | 缺 1-2 字段 | 字段齐全 |
| D2 准确性 | 数据明显错误 | 数据基本准确 | 数据完全准确 |
| D3 实用性 | 无法使用 | 基本可用 | 高度可用 |
| D4 合规性 | 完全不合规 | 部分合规 | 完全合规 |
| D5 新鲜度 | 超 24h | 1-24h | |
| D6 详情页爬取 | 完全失败 | 部分成功 | 完全成功 |
| D7 图片提取 | 无图片 | 有但不完整 | 完整提取 |
| D8 简报生成 | 无简报 | 格式不完整 | 格式规范完整 |
阈值规则
- good_testdata: 总分 ≥ 70
- bad_testdata: 总分
计算公式
总分 = D1*0.20 + D2*0.20 + D3*0.15 + D4*0.10 + D5*0.10 + D6*0.10 + D7*0.08 + D8*0.07
新增评估维度说明
D6: 详情页爬取能力
- 评估目标:验证从热搜榜获取详情页 URL 后,能否成功访问并提取完整内容
- 评估要点:
- 详情页 URL 提取成功率
- 正文内容提取完整性
- 页面加载失败处理机制
D7: 图片提取能力
- 评估目标:验证从详情页提取图片的能力
- 评估要点:
- 图片URL列表获取
- 图片下载成功率
- 图片与内容相关性
D8: 简报生成能力
- 评估目标:验证将爬取内容整理成简报的能力
- 评估要点:
- 简报格式规范性(HTML/Markdown)
- 文字与图片整合完整性
- 输出文件可读性
标注结果统计
| 指标 | 值 |
|---|---|
| 样本数 | 3 |
| Good 数据 | 2 |
| Bad 数据 | 1 |
| 平均分 | 75.5 |
| 最高分 | 90.1 |
| 最低分 | 48.6 |
| 行业基准分 | 88.95 |
Good 数据清单 (score ≥ 70)
| 文件名 | 分数 | 主要特征 |
|---|---|---|
| good_01_detail_crawl.md | 90.1 | 详情页爬取成功,图片完整,简报规范 |
| good_02_movie_brief.md | 87.8 | 内容完整,格式规范 |
Good 共性特征:
- 详情页爬取成功,能提取完整正文
- 图片提取有效(至少1张)
- 简报格式规范(Markdown/HTML)
Bad 数据清单 (score
| 文件名 | 分数 | 主要问题 |
|---|---|---|
| bad_01_detail_failed.md | 48.6 | 详情页爬取失败,反爬拦截,无图片 |
Bad 共性问题:
- 详情页爬取失败(反爬机制拦截)
- 图片提取缺失
- 简报无法生成完整内容
改进建议
- 详情页爬取优化:增加反爬应对策略(Cookie池、代理IP)
- 图片提取增强:确保从 media_urls 提取所有有效图片
- 简报生成完善:即使内容部分缺失也要生成简报(标注缺失部分)
待首轮标注后更新
版本历史
| 版本 | 日期 | 变化 |
|---|---|---|
| v1 | 2026-03-28 | 初始版本 |
| v2 | 2026-03-28 | 添加标注结果统计 |
| v3 | 2026-03-28 | 全量 11 样本标注完成 |
| v4 | 2026-03-28 | 新增 D6-D8 维度(详情页/图片/简报) |
创建时间: 2026-03-28 更新: v4 Digester