# YouTube 数据抓取专家 - Benchmark 评分标准 ## 评分目标 - **target_score**: 90 - **满分**: 100 - **及格线**: 85 ## 评分维度 ### 维度 1: 功能完整性 (30分) | 得分 | 标准 | |------|------| | 28-30 | 实现视频详情、频道详情、搜索、播放列表、分页、配额追踪全部功能 | | 23-27 | 缺少 1 个次要功能(如配额追踪显示) | | 18-22 | 缺少 2 个功能(如缺少搜索或分页) | | <18 | 缺少核心功能(如缺少视频或频道获取) | **必需功能清单**: - [ ] `videos.list` - 批量获取视频详情 (snippet, statistics, contentDetails) - [ ] `channels.list` - 批量获取频道详情 - [ ] `search.list` - 关键词搜索视频/频道 - [ ] `playlistItems.list` - 获取播放列表视频 - [ ] 分页处理 - 自动处理 nextPageToken - [ ] 配额追踪 - 实时显示 API 配额使用 - [ ] 数据导出 - 支持 JSON/CSV 格式 --- ### 维度 2: 技术实现 (25分) **批量请求优化 (10分)** | 得分 | 标准 | |------|------| | 9-10 | 正确使用批量请求(每批50个ID),最小化 API 调用次数 | | 7-8 | 使用批量但偶有单次请求 | | 5-6 | 批量使用不当,仍有大量单次请求 | | <5 | 未使用批量请求 | **错误处理 (10分)** | 错误码 | 正确处理 | |--------|----------| | 400 | 检查参数,不重试或修复后重试 | | 403 | 配额耗尽,立即停止并报告 | | 404 | 资源不存在,跳过并记录 | | 429 | 指数退避重试 (1s, 2s, 4s, 8s) | | 500+ | 延迟 3s 后重试一次 | **边界处理 (5分)** - `videoCount = 0`: 正确处理,避免除零 - `hiddenSubscriberCount = true`: 使用替代指标估算 - 超长文本: 截断处理 - 缺失字段: 返回默认值 --- ### 维度 3: 数据质量 (20分) **字段完整性 (10分)** - 必需字段必须存在: id, title, publishedAt, channelId - 统计字段正确处理: viewCount, likeCount (可能缺失或为0) - 可选字段优雅降级: description, tags **数据清洗 (5分)** - ISO 8601 时长正确转换为秒数 - 数字字符串正确解析为整数 - 日期格式统一为 ISO 8601 **数据验证 (5分)** - 视频ID格式验证 (11字符) - 频道ID格式验证 (UC开头) - URL格式验证 --- ### 维度 4: 性能与配额管理 (15分) **配额管理 (10分)** | 得分 | 标准 | |------|------| | 9-10 | 精确追踪每次 API 调用的配额消耗,提供配额使用报告 | | 7-8 | 追踪配额但不够精确 | | 5-6 | 有配额意识但无精确追踪 | | <5 | 无视配额限制 | **并发控制 (5分)** - 合理并发数 (建议 3-5) - 有速率限制保护 - 请求间隔控制 --- ### 维度 5: 代码质量与文档 (10分) **代码质量 (5分)** - 模块化设计 - 清晰的函数命名 - 适当的注释 - 错误日志记录 **文档完整 (5分)** - 使用说明清晰 - 参数说明完整 - 输出格式说明 - 示例代码 --- ## 测试用例评分 ### 测试集 1: 基础功能测试 | 用例 | 描述 | 通过标准 | |------|------|----------| | TC-001 | 获取单个视频详情 | 返回完整视频对象,包含所有必需字段 | | TC-002 | 批量获取 50 个视频 | 单次 API 调用,返回 50 条数据 | | TC-003 | 获取频道详情 | 返回频道统计信息,处理隐藏订阅数 | | TC-004 | 搜索视频 | 按关键词返回视频列表,支持分页 | | TC-005 | 获取上传列表 | 获取频道 uploads 播放列表 | ### 测试集 2: 边界条件测试 | 用例 | 描述 | 通过标准 | |------|------|----------| | TC-006 | 处理 videoCount=0 | 不抛出异常,返回默认值 | | TC-007 | 处理隐藏订阅数 | 使用 viewCount/videoCount 估算 | | TC-008 | 处理超长描述 | 正确截断或保留完整内容 | | TC-009 | 处理缺失字段 | 返回合理的默认值 | | TC-010 | 解析各种时长格式 | PT3M33S, PT1H, PT30S 都正确解析 | ### 测试集 3: 错误处理测试 | 用例 | 描述 | 通过标准 | |------|------|----------| | TC-011 | 无效视频ID | 返回错误信息,不崩溃 | | TC-012 | 配额耗尽 (403) | 停止执行,报告配额状态 | | TC-013 | 速率限制 (429) | 自动重试,指数退避 | | TC-014 | 服务器错误 (500) | 重试一次后报告错误 | | TC-015 | 网络超时 | 捕获异常,返回超时错误 | ### 测试集 4: 配额管理测试 | 用例 | 描述 | 通过标准 | |------|------|----------| | TC-016 | 追踪单次请求配额 | 正确计算 search(100) vs videos(1) | | TC-017 | 批量请求配额计算 | 50 个视频 = 1 unit | | TC-018 | 配额警告 | 接近 8000 时发出警告 | | TC-019 | 配额报告 | 输出详细的配额使用报告 | | TC-020 | 分页配额计算 | 多页请求正确累加配额 | --- ## 评分方法 1. 对每个测试用例执行,记录 pass/fail 2. 维度得分 = (通过用例数 / 总用例数) × 维度满分 3. 总分 = 各维度得分之和 4. 判定: - `总分 >= 90`: 通过,进入 Deploy - `85 <= 总分 < 90`: 进入 Small Loop 迭代 - `总分 < 85`: 进入 Large Loop,重新审查