benchmark_v1.md
3.3 KB
Data Harvester Benchmark v1
数据抓取能力评分标准 v1.0
一、评分维度
| 维度 | 权重 | 说明 |
|---|---|---|
| API完整性 | 20% | 平台 API 支持数量和质量 |
| 数据覆盖度 | 20% | 能获取的数据字段范围 |
| 技术可行性 | 20% | 实现难度和稳定性 |
| 代码质量 | 15% | 代码规范和可维护性 |
| 文档完整性 | 15% | 文档和示例质量 |
| 准确性 | 10% | 数据准确性和时效性 |
二、评分标准
2.1 API完整性 (20%)
| 分数 | 标准 |
|---|---|
| 90-100 | 官方完整 API 支持 (OAuth + 视频 + 评论 + 粉丝) |
| 70-89 | 官方主要 API 支持 (视频 + 数据统计) |
| 50-69 | 部分 API 支持 (仅公开接口) |
| 0-49 | 无 API 支持或仅手动 |
2.2 数据覆盖度 (20%)
| 分数 | 标准 |
|---|---|
| 90-100 | 支持 5+ 数据维度 (播放/互动/深度/情感/粉丝) |
| 70-89 | 支持 3-4 数据维度 |
| 50-69 | 支持 1-2 数据维度 |
| 0-49 | 仅基础数据 |
2.3 技术可行性 (20%)
| 分数 | 标准 |
|---|---|
| 90-100 | 开箱即用,有完整示例代码 |
| 70-89 | 有官方文档,需要少量适配 |
| 50-69 | 需要自行研究,缺少示例 |
| 0-49 | 无文档或实现困难 |
2.4 代码质量 (15%)
| 分数 | 标准 |
|---|---|
| 90-100 | 代码规范,有异常处理,有测试 |
| 70-89 | 结构清晰,基础错误处理 |
| 50-69 | 基本可运行 |
| 0-49 | 缺乏规范或无法运行 |
2.5 文档完整性 (15%)
| 分数 | 标准 |
|---|---|
| 90-100 | 完整 API 文档 + 示例 + 部署指南 |
| 70-89 | 有主要文档和示例 |
| 50-69 | 仅有基础文档 |
| 0-49 | 文档缺失或过时 |
2.6 准确性 (10%)
| 分数 | 标准 |
|---|---|
| 90-100 | 官方数据,延迟 |
| 70-89 | 官方数据,延迟 |
| 50-69 | 第三方或估计数据 |
| 0-49 | 数据准确性无法保证 |
三、平台评分实例
3.1 抖音 (总分: 88)
| 维度 | 分数 | 说明 |
|---|---|---|
| API完整性 | 95 | 完整 OAuth + 视频/评论/粉丝 API |
| 数据覆盖度 | 90 | 播放/互动/完播/粉丝/情感 |
| 技术可行性 | 85 | 文档完善,有示例代码 |
| 代码质量 | 85 | 有完整类实现 |
| 文档完整性 | 90 | 官方文档完整 |
| 准确性 | 95 | 官方 API,15min 延迟 |
3.2 B站 (总分: 85)
| 维度 | 分数 | 说明 |
|---|---|---|
| API完整性 | 85 | 主要 API 支持 |
| 数据覆盖度 | 85 | 播放/三连/弹幕/评论 |
| 技术可行性 | 85 | 文档清晰,示例丰富 |
| 代码质量 | 85 | 有类封装 |
| 文档完整性 | 85 | 文档完善 |
| 准确性 | 90 | 实时数据 |
3.3 快手 (总分: 65)
| 维度 | 分数 | 说明 |
|---|---|---|
| API完整性 | 50 | 仅开放部分 API |
| 数据覆盖度 | 70 | 播放/互动/粉丝 |
| 技术可行性 | 60 | 需手动导出 |
| 代码质量 | 70 | 有开源工具 |
| 文档完整性 | 65 | 文档一般 |
| 准确性 | 80 | 官方导出数据 |
四、数据质量基线
行业平均水平
| 指标 | 基线值 |
|---|---|
| API 覆盖率 | 60% |
| 数据完整率 | 75% |
| 技术可行性 | 70% |
| 综合得分 | 70分 |
五、版本历史
| 版本 | 日期 | 变更 |
|---|---|---|
| v1.0 | 2026-03-30 | 初始版本 |