benchmark_v1.md
3.32 KB
微博热点新闻抓取 + 简报生成 - Benchmark v1
评分维度(8维度)
| 维度 | 权重 | 说明 |
|---|---|---|
| API可用性 | 20% | 热点新闻 API 接口可用性、稳定性 |
| 数据完整性 | 15% | 字段齐全度(标题/正文/图片/作者/热度) |
| 二次请求处理 | 15% | 详情页extend API调用、完整正文获取 |
| 字段覆盖率 | 15% | mblog核心字段覆盖程度 |
| 反爬合规性 | 10% | 请求频率控制、UA轮换、Cookie管理 |
| 图片处理 | 10% | CDN域名、Referer设置、图片下载 |
| 简报质量 | 10% | 输出格式规范性、内容可读性 |
| 扩展性 | 5% | 代码结构、模块化程度 |
评分标准
API可用性 (20分)
| 分数 | 标准 |
|---|---|
| 16-20 | 主API type=brief 稳定可用,有完整错误处理 |
| 10-15 | API基本可用,有简单错误处理 |
| 0-9 | API不稳定或无法访问 |
数据完整性 (15分)
| 分数 | 标准 |
|---|---|
| 12-15 | 包含 标题+正文+图片+作者+热度 全部字段 |
| 6-11 | 包含 3-4 个核心字段 |
| 0-5 | 字段缺失严重 |
二次请求处理 (15分)
| 分数 | 标准 |
|---|---|
| 12-15 | 完整实现 extend API 调用,获取完整正文 |
| 6-11 | 部分实现二次请求 |
| 0-5 | 未实现二次请求 |
字段覆盖率 (15分)
| 分数 | 标准 |
|---|---|
| 12-15 | mblog 核心字段(id/text/pics/user/reposts_count/comments_count/attitudes_count)全覆盖 |
| 6-11 | 覆盖 4-6 个核心字段 |
| 0-5 | 字段覆盖不足 |
反爬合规性 (10分)
| 分数 | 标准 |
|---|---|
| 8-10 | 有频率控制(3-5秒)、UA轮换、Referer设置 |
| 4-7 | 有基本频率控制 |
| 0-3 | 无合规措施 |
图片处理 (10分)
| 分数 | 标准 |
|---|---|
| 8-10 | 正确处理 CDN 域名(wx1-4.sinaimg.cn)、设置正确 Referer(m.weibo.cn) |
| 4-7 | 基本图片处理 |
| 0-3 | 未处理图片或处理错误 |
简报质量 (10分)
| 分数 | 标准 |
|---|---|
| 8-10 | Markdown/HTML格式规范,内容完整,有数据示例 |
| 4-7 | 格式基本规范 |
| 0-3 | 格式混乱 |
扩展性 (5分)
| 分数 | 标准 |
|---|---|
| 4-5 | 代码模块化,配置驱动 |
| 1-3 | 基本模块化 |
| 0 | 硬编码,无扩展 |
合格标准
- 总分 ≥ 70 进入 good_testdata
- 总分 进入 bad_testdata
行业基准 (Industry Baseline)
标注结果汇总
| 样本 | 分数 | API可用性 | 数据完整性 | 二次请求 | 字段覆盖 | 反爬合规 | 图片处理 | 简报质量 | 扩展性 | 结果 |
|---|---|---|---|---|---|---|---|---|---|---|
| elite_04_hotnews_briefing_api.json | 82 | 18 | 12 | 12 | 12 | 8 | 8 | 8 | 4 | good |
| elite_01_hotsearch_api.json | 62 | 16 | 6 | 10 | 6 | 6 | 6 | 6 | 4 | bad |
| elite_02_topic_detail_api.json | 58 | 14 | 6 | 6 | 6 | 6 | 8 | 6 | 4 | bad |
| elite_03_weibo_image_cdn.json | 63 | 12 | 8 | 0 | 4 | 8 | 14 | 4 | 3 | bad |
统计
| 指标 | 值 |
|---|---|
| 样本总数 | 4 |
| Good 数量 | 1 |
| Bad 数量 | 3 |
| 平均分 | 66.25 |
| 最高分 | 82 |
| 最低分 | 58 |
版本历史
| 版本 | 日期 | 说明 |
|---|---|---|
| v1 | 2026-03-28 | 热点新闻抓取+简报生成评分标准 |
创建时间: 2026-03-28