benchmark.md
4.94 KB
YouTube 数据抓取专家 - Benchmark 评分标准
评分目标
- target_score: 90
- 满分: 100
- 及格线: 85
评分维度
维度 1: 功能完整性 (30分)
| 得分 | 标准 |
|---|---|
| 28-30 | 实现视频详情、频道详情、搜索、播放列表、分页、配额追踪全部功能 |
| 23-27 | 缺少 1 个次要功能(如配额追踪显示) |
| 18-22 | 缺少 2 个功能(如缺少搜索或分页) |
| 缺少核心功能(如缺少视频或频道获取) |
必需功能清单:
- [ ]
videos.list- 批量获取视频详情 (snippet, statistics, contentDetails) - [ ]
channels.list- 批量获取频道详情 - [ ]
search.list- 关键词搜索视频/频道 - [ ]
playlistItems.list- 获取播放列表视频 - [ ] 分页处理 - 自动处理 nextPageToken
- [ ] 配额追踪 - 实时显示 API 配额使用
- [ ] 数据导出 - 支持 JSON/CSV 格式
维度 2: 技术实现 (25分)
批量请求优化 (10分) | 得分 | 标准 | |------|------| | 9-10 | 正确使用批量请求(每批50个ID),最小化 API 调用次数 | | 7-8 | 使用批量但偶有单次请求 | | 5-6 | 批量使用不当,仍有大量单次请求 | |
错误处理 (10分) | 错误码 | 正确处理 | |--------|----------| | 400 | 检查参数,不重试或修复后重试 | | 403 | 配额耗尽,立即停止并报告 | | 404 | 资源不存在,跳过并记录 | | 429 | 指数退避重试 (1s, 2s, 4s, 8s) | | 500+ | 延迟 3s 后重试一次 |
边界处理 (5分)
videoCount = 0: 正确处理,避免除零hiddenSubscriberCount = true: 使用替代指标估算- 超长文本: 截断处理
- 缺失字段: 返回默认值
维度 3: 数据质量 (20分)
字段完整性 (10分)
- 必需字段必须存在: id, title, publishedAt, channelId
- 统计字段正确处理: viewCount, likeCount (可能缺失或为0)
- 可选字段优雅降级: description, tags
数据清洗 (5分)
- ISO 8601 时长正确转换为秒数
- 数字字符串正确解析为整数
- 日期格式统一为 ISO 8601
数据验证 (5分)
- 视频ID格式验证 (11字符)
- 频道ID格式验证 (UC开头)
- URL格式验证
维度 4: 性能与配额管理 (15分)
配额管理 (10分) | 得分 | 标准 | |------|------| | 9-10 | 精确追踪每次 API 调用的配额消耗,提供配额使用报告 | | 7-8 | 追踪配额但不够精确 | | 5-6 | 有配额意识但无精确追踪 | |
并发控制 (5分)
- 合理并发数 (建议 3-5)
- 有速率限制保护
- 请求间隔控制
维度 5: 代码质量与文档 (10分)
代码质量 (5分)
- 模块化设计
- 清晰的函数命名
- 适当的注释
- 错误日志记录
文档完整 (5分)
- 使用说明清晰
- 参数说明完整
- 输出格式说明
- 示例代码
测试用例评分
测试集 1: 基础功能测试
| 用例 | 描述 | 通过标准 |
|---|---|---|
| TC-001 | 获取单个视频详情 | 返回完整视频对象,包含所有必需字段 |
| TC-002 | 批量获取 50 个视频 | 单次 API 调用,返回 50 条数据 |
| TC-003 | 获取频道详情 | 返回频道统计信息,处理隐藏订阅数 |
| TC-004 | 搜索视频 | 按关键词返回视频列表,支持分页 |
| TC-005 | 获取上传列表 | 获取频道 uploads 播放列表 |
测试集 2: 边界条件测试
| 用例 | 描述 | 通过标准 |
|---|---|---|
| TC-006 | 处理 videoCount=0 | 不抛出异常,返回默认值 |
| TC-007 | 处理隐藏订阅数 | 使用 viewCount/videoCount 估算 |
| TC-008 | 处理超长描述 | 正确截断或保留完整内容 |
| TC-009 | 处理缺失字段 | 返回合理的默认值 |
| TC-010 | 解析各种时长格式 | PT3M33S, PT1H, PT30S 都正确解析 |
测试集 3: 错误处理测试
| 用例 | 描述 | 通过标准 |
|---|---|---|
| TC-011 | 无效视频ID | 返回错误信息,不崩溃 |
| TC-012 | 配额耗尽 (403) | 停止执行,报告配额状态 |
| TC-013 | 速率限制 (429) | 自动重试,指数退避 |
| TC-014 | 服务器错误 (500) | 重试一次后报告错误 |
| TC-015 | 网络超时 | 捕获异常,返回超时错误 |
测试集 4: 配额管理测试
| 用例 | 描述 | 通过标准 |
|---|---|---|
| TC-016 | 追踪单次请求配额 | 正确计算 search(100) vs videos(1) |
| TC-017 | 批量请求配额计算 | 50 个视频 = 1 unit |
| TC-018 | 配额警告 | 接近 8000 时发出警告 |
| TC-019 | 配额报告 | 输出详细的配额使用报告 |
| TC-020 | 分页配额计算 | 多页请求正确累加配额 |
评分方法
- 对每个测试用例执行,记录 pass/fail
- 维度得分 = (通过用例数 / 总用例数) × 维度满分
- 总分 = 各维度得分之和
- 判定:
总分 >= 90: 通过,进入 Deploy85 <= 总分 < 90: 进入 Small Loop 迭代总分 < 85: 进入 Large Loop,重新审查