benchmark.md 4.94 KB

YouTube 数据抓取专家 - Benchmark 评分标准

评分目标

  • target_score: 90
  • 满分: 100
  • 及格线: 85

评分维度

维度 1: 功能完整性 (30分)

得分 标准
28-30 实现视频详情、频道详情、搜索、播放列表、分页、配额追踪全部功能
23-27 缺少 1 个次要功能(如配额追踪显示)
18-22 缺少 2 个功能(如缺少搜索或分页)
缺少核心功能(如缺少视频或频道获取)

必需功能清单:

  • [ ] videos.list - 批量获取视频详情 (snippet, statistics, contentDetails)
  • [ ] channels.list - 批量获取频道详情
  • [ ] search.list - 关键词搜索视频/频道
  • [ ] playlistItems.list - 获取播放列表视频
  • [ ] 分页处理 - 自动处理 nextPageToken
  • [ ] 配额追踪 - 实时显示 API 配额使用
  • [ ] 数据导出 - 支持 JSON/CSV 格式

维度 2: 技术实现 (25分)

批量请求优化 (10分) | 得分 | 标准 | |------|------| | 9-10 | 正确使用批量请求(每批50个ID),最小化 API 调用次数 | | 7-8 | 使用批量但偶有单次请求 | | 5-6 | 批量使用不当,仍有大量单次请求 | |

错误处理 (10分) | 错误码 | 正确处理 | |--------|----------| | 400 | 检查参数,不重试或修复后重试 | | 403 | 配额耗尽,立即停止并报告 | | 404 | 资源不存在,跳过并记录 | | 429 | 指数退避重试 (1s, 2s, 4s, 8s) | | 500+ | 延迟 3s 后重试一次 |

边界处理 (5分)

  • videoCount = 0: 正确处理,避免除零
  • hiddenSubscriberCount = true: 使用替代指标估算
  • 超长文本: 截断处理
  • 缺失字段: 返回默认值

维度 3: 数据质量 (20分)

字段完整性 (10分)

  • 必需字段必须存在: id, title, publishedAt, channelId
  • 统计字段正确处理: viewCount, likeCount (可能缺失或为0)
  • 可选字段优雅降级: description, tags

数据清洗 (5分)

  • ISO 8601 时长正确转换为秒数
  • 数字字符串正确解析为整数
  • 日期格式统一为 ISO 8601

数据验证 (5分)

  • 视频ID格式验证 (11字符)
  • 频道ID格式验证 (UC开头)
  • URL格式验证

维度 4: 性能与配额管理 (15分)

配额管理 (10分) | 得分 | 标准 | |------|------| | 9-10 | 精确追踪每次 API 调用的配额消耗,提供配额使用报告 | | 7-8 | 追踪配额但不够精确 | | 5-6 | 有配额意识但无精确追踪 | |

并发控制 (5分)

  • 合理并发数 (建议 3-5)
  • 有速率限制保护
  • 请求间隔控制

维度 5: 代码质量与文档 (10分)

代码质量 (5分)

  • 模块化设计
  • 清晰的函数命名
  • 适当的注释
  • 错误日志记录

文档完整 (5分)

  • 使用说明清晰
  • 参数说明完整
  • 输出格式说明
  • 示例代码

测试用例评分

测试集 1: 基础功能测试

用例 描述 通过标准
TC-001 获取单个视频详情 返回完整视频对象,包含所有必需字段
TC-002 批量获取 50 个视频 单次 API 调用,返回 50 条数据
TC-003 获取频道详情 返回频道统计信息,处理隐藏订阅数
TC-004 搜索视频 按关键词返回视频列表,支持分页
TC-005 获取上传列表 获取频道 uploads 播放列表

测试集 2: 边界条件测试

用例 描述 通过标准
TC-006 处理 videoCount=0 不抛出异常,返回默认值
TC-007 处理隐藏订阅数 使用 viewCount/videoCount 估算
TC-008 处理超长描述 正确截断或保留完整内容
TC-009 处理缺失字段 返回合理的默认值
TC-010 解析各种时长格式 PT3M33S, PT1H, PT30S 都正确解析

测试集 3: 错误处理测试

用例 描述 通过标准
TC-011 无效视频ID 返回错误信息,不崩溃
TC-012 配额耗尽 (403) 停止执行,报告配额状态
TC-013 速率限制 (429) 自动重试,指数退避
TC-014 服务器错误 (500) 重试一次后报告错误
TC-015 网络超时 捕获异常,返回超时错误

测试集 4: 配额管理测试

用例 描述 通过标准
TC-016 追踪单次请求配额 正确计算 search(100) vs videos(1)
TC-017 批量请求配额计算 50 个视频 = 1 unit
TC-018 配额警告 接近 8000 时发出警告
TC-019 配额报告 输出详细的配额使用报告
TC-020 分页配额计算 多页请求正确累加配额

评分方法

  1. 对每个测试用例执行,记录 pass/fail
  2. 维度得分 = (通过用例数 / 总用例数) × 维度满分
  3. 总分 = 各维度得分之和
  4. 判定:
    • 总分 >= 90: 通过,进入 Deploy
    • 85 <= 总分 < 90: 进入 Small Loop 迭代
    • 总分 < 85: 进入 Large Loop,重新审查