微博爬取 Benchmark 标准 (v3 - 最终版)

评分维度

D1: 数据完整性 (权重 25%)

• 字段覆盖率：source, engagement, content, author, timestamp, metrics
• 数据结构完整性：无缺失关键字段

D2: 数据准确性 (权重 25%)

• 内容真实性：标题/正文与话题相关
• 数值准确性：点赞/评论/转发数合理

D3: 数据实用性 (权重 20%)

• 可用性：数据可直接用于分析
• 可操作性：包含必要的后续处理信息

D4: 反爬合规性 (权重 15%)

• 请求头规范性
• 频率控制合理性

D5: 数据新鲜度 (权重 15%)

• 时间戳准确性
• 数据时效性

---

评分标准

维度	0-60 分	60-80 分	80-100 分
D1 完整性	缺 3+ 字段	缺 1-2 字段	字段齐全
D2 准确性	数据明显错误	数据基本准确	数据完全准确
D3 实用性	无法使用	基本可用	高度可用
D4 合规性	完全不合规	部分合规	完全合规
D5 新鲜度	超 24h	1-24h

---

阈值规则

• good_testdata: 总分 ≥ 70
• bad_testdata: 总分

---

计算公式

总分 = D1*0.25 + D2*0.25 + D3*0.20 + D4*0.15 + D5*0.15

---

标注结果统计

指标	值
样本数	11
Good 数据	6
Bad 数据	5
平均分	74.32
最高分	88.0
最低分	48.0

---

Good 数据清单 (score ≥ 70)

文件名	分数	主要特征
good_06_api_reference.md	88.0	API 参考完整，5 个端点全覆盖
good_01_hotsearch.json	87.5	热搜数据完整，字段齐全
good_04_anticrawling.md	85.0	反爬机制全，解决方案详尽
good_05_dataclean.md	82.5	数据清洗代码示例完整
good_02_mobile_api.json	80.5	移动端数据结构化
good_03_github_projects.md	78.5	项目对比分析完整

Good 共性特征：

1. 字段结构完整（6 个主要字段全覆盖）
2. 包含可直接使用的代码/示例
3. 时间戳新鲜或内容具有长期价值

---

Bad 数据清单 (score

文件名	分数	主要问题
bad_04_stale_data.json	48.0	数据过期 7 天以上
bad_03_incomplete_fields.json	55.0	严重缺字段（仅 2 个）
bad_01_engagement_missing.json	58.0	完全缺失 engagement
bad_02_author_empty.json	62.5	author 信息为空
bad_05_invalid_data.json	52.0	数据明显错误（负数、空值）

Bad 共性问题：

1. 字段严重缺失或不完整
2. 数据过期或无效
3. engagement/author 信息缺失

---

改进建议

1. 数据增强：补充缺失的 engagement 字段 (comments/shares/read_count)
2. 作者信息：获取完整的 author 信息 (username/followers/verified)
3. 数据验证：增加数值合理性检查（负数检测、空值检测）
4. 新鲜度保障：确保数据时间戳

---

版本历史

版本	日期	变化
v1	2026-03-28	初始版本
v2	2026-03-28	添加标注结果统计
v3	2026-03-28	全量 11 样本标注完成

---

创建时间: 2026-03-28 更新: v3 Digester