benchmark_v1.md
2.56 KB
微博热点新闻抓取 + 简报生成 - Benchmark v1
评分维度
| 维度 | 权重 | 说明 |
|---|---|---|
| 热搜榜获取完整性 | 15% | 热搜数据获取的数量和质量 |
| 详情页内容提取 | 15% | 话题/微博正文提取准确性 |
| 图片提取成功率 | 12% | 图片URL获取和下载能力 |
| 简报生成质量 | 15% | 输出格式规范性、内容完整性 |
| 数据分类准确性 | 10% | 话题分类、标签提取准确性 |
| 反爬合规性 | 13% | UA轮换、频率控制、Cookie管理 |
| 错误处理容错 | 10% | API异常处理、降级能力 |
| 输出格式规范 | 10% | JSON/Markdown/HTML格式标准 |
评分标准
热搜榜获取完整性 (15分)
| 分数 | 标准 |
|---|---|
| 12-15 | 获取50+热搜,数据字段完整(排名/热度/关键词/URL) |
| 8-11 | 获取20-50热搜,字段基本完整 |
| 0-7 | 热搜数量少或字段缺失严重 |
详情页内容提取 (15分)
| 分数 | 标准 |
|---|---|
| 12-15 | 成功提取正文+图片+作者+发布时间,解析准确 |
| 8-11 | 提取3项核心内容,部分字段缺失 |
| 0-7 | 解析失败或内容严重缺失 |
图片提取成功率 (12分)
| 分数 | 标准 |
|---|---|
| 10-12 | 图片URL获取率>90%,支持多种尺寸 |
| 6-9 | 图片获取率60-90% |
| 0-5 | 图片获取率 |
简报生成质量 (15分)
| 分数 | 标准 |
|---|---|
| 12-15 | Markdown/HTML格式规范,内容完整可读 |
| 6-11 | 格式基本规范,内容完整度一般 |
| 0-5 | 格式混乱或内容严重缺失 |
数据分类准确性 (10分)
| 分数 | 标准 |
|---|---|
| 8-10 | 话题分类准确,标签提取正确 |
| 4-7 | 分类基本准确 |
| 0-3 | 分类错误或缺失 |
反爬合规性 (13分)
| 分数 | 标准 |
|---|---|
| 10-13 | 有完整UA轮换、频率控制(3-5秒)、Cookie管理 |
| 5-9 | 有基础频率控制 |
| 0-4 | 无合规措施 |
错误处理容错 (10分)
| 分数 | 标准 |
|---|---|
| 8-10 | 完整异常捕获、降级方案、重试机制 |
| 4-7 | 基本错误处理 |
| 0-3 | 无错误处理 |
输出格式规范 (10分)
| 分数 | 标准 |
|---|---|
| 8-10 | JSON/Markdown/HTML格式完全符合规范 |
| 4-7 | 格式基本规范 |
| 0-3 | 格式混乱 |
合格标准
- 总分 ≥ 70 进入 good_testdata
- 总分 进入 bad_testdata
版本历史
| 版本 | 日期 | 说明 |
|---|---|---|
| v1 | 2026-03-28 | 热点新闻抓取+简报生成评分标准 |
创建时间: 2026-03-28