# YouTube 爬虫 Skill Benchmark ## 评分维度与权重 | 维度 | 权重 | 说明 | |------|------|------| | 功能完整性 | 20% | 核心字段覆盖、功能实现完整度 | | 代码质量 | 20% | 代码结构、可读性、文档、测试覆盖 | | API/工具使用规范 | 15% | API 参数正确性、配额管理、反爬策略 | | 数据完整性 | 15% | 数据字段完整、类型正确、格式标准 | | 扩展性 | 10% | 地区/分类可配置、功能可扩展 | | 错误处理与稳定性 | 10% | 异常处理、降级方案、重试机制 | | 性能与效率 | 10% | 缓存策略、请求频率、响应时间 | **权重总和:100%** --- ## 评分标准(0-100 分制) ### 1. 功能完整性(20%) | 分数 | 标准 | |------|------| | 90-100 | 完整提取 6 个核心字段(videoId、title、viewCount、channelTitle、thumbnails、publishedAt),支持多地区多分类 | | 80-89 | 提取 5 个核心字段,基本功能完整 | | 70-79 | 提取 4 个核心字段,主要功能可用 | | 60-69 | 提取 3 个以下字段,功能缺失明显 | | <60 | 功能严重缺失,无法正常使用 | **检查项:** - [ ] 是否返回 videoId - [ ] 是否返回 title - [ ] 是否返回 viewCount - [ ] 是否返回 channelTitle - [ ] 是否返回 thumbnails - [ ] 是否返回 publishedAt(可选但推荐) --- ### 2. 代码质量(20%) | 分数 | 标准 | |------|------| | 90-100 | 模块化设计、函数拆分合理、有完整 docstring 和类型注解、单元测试覆盖率 >80% | | 80-89 | 代码结构清晰、有基本注释、有测试 | | 70-79 | 代码可读、少量注释、无明显坏味道 | | 60-69 | 代码较乱、函数过长、缺少注释 | | <60 | 代码混乱、无注释、难以维护 | **检查项:** - [ ] 是否模块化设计 - [ ] 是否有函数 docstring - [ ] 是否有类型注解 - [ ] 变量名是否有意义 - [ ] 是否有单元测试 - [ ] 测试覆盖率是否 >80% --- ### 3. API/工具使用规范(15%) | 分数 | 标准 | |------|------| | 90-100 | API 参数正确、配额监控完善、有降级方案、请求频率合理 | | 80-89 | API 使用正确、有基本错误处理、有请求间隔 | | 70-79 | API 基本正确、少量参数问题 | | 60-69 | API 使用有问题、配额管理缺失 | | <60 | 严重违反 API 规范、无配额意识 | **检查项:** - [ ] part 参数是否包含 snippet,statistics - [ ] chart=mostPopular 是否正确设置 - [ ] maxResults 是否在 1-50 范围内 - [ ] 是否有配额监控 - [ ] 是否有降级方案(yt-dlp 备用) - [ ] 请求间隔是否合理(API: 100ms, yt-dlp: 2s) --- ### 4. 数据完整性(15%) | 分数 | 标准 | |------|------| | 90-100 | 数据字段完整、类型转换正确、时间格式标准、schema 校验完善 | | 80-89 | 数据完整、基本类型处理正确 | | 70-79 | 少量数据问题、类型处理基本正确 | | 60-69 | 数据缺失或类型问题明显 | | <60 | 数据严重不完整、类型错误 | **检查项:** - [ ] viewCount 是否转为整数(非字符串) - [ ] publishedAt 是否转为 datetime 对象 - [ ] thumbnails 是否包含多分辨率 - [ ] 空值/边界数据是否处理 - [ ] 是否有 schema 校验 --- ### 5. 扩展性(10%) | 分数 | 标准 | |------|------| | 90-100 | regionCode/videoCategoryId 可配置、支持批量获取、易于扩展新功能 | | 80-89 | 主要参数可配置、有一定扩展性 | | 70-79 | 部分参数硬编码、扩展性一般 | | 60-69 | 大量硬编码、扩展性差 | | <60 | 完全写死、无法扩展 | **检查项:** - [ ] regionCode 是否可配置 - [ ] videoCategoryId 是否可配置 - [ ] maxResults 是否可配置 - [ ] 是否支持批量获取 - [ ] 是否易于添加新功能 --- ### 6. 错误处理与稳定性(10%) | 分数 | 标准 | |------|------| | 90-100 | 完善的异常处理、自动降级、指数退避重试、友好的错误提示 | | 80-89 | 有异常处理、有重试机制 | | 70-79 | 基本错误处理、不会崩溃 | | 60-69 | 错误处理不完善、可能崩溃 | | <60 | 无错误处理、程序易崩溃 | **检查项:** - [ ] API 错误是否捕获 - [ ] 网络错误是否处理 - [ ] 是否有重试机制 - [ ] 是否有降级方案 - [ ] 错误提示是否友好 - [ ] 空结果是否处理 --- ### 7. 性能与效率(10%) | 分数 | 标准 | |------|------| | 90-100 | 缓存策略完善(15-30分钟)、并发控制合理、响应快速 | | 80-89 | 有缓存机制、性能良好 | | 70-79 | 基本的性能考虑 | | 60-69 | 性能问题明显、无缓存 | | <60 | 频繁请求、快速耗尽配额 | **检查项:** - [ ] 是否有缓存机制 - [ ] 缓存时间是否合理(15-30分钟) - [ ] 并发请求是否控制 - [ ] 是否避免重复请求 - [ ] 响应时间是否可接受 --- ## 通过阈值 | 等级 | 总分 | 说明 | |------|------|------| | 优秀 | ≥90 | 生产就绪,可直接部署 | | 良好 | 80-89 | 基本可用,有优化空间 | | 及格 | 70-79 | 功能可用,有明显改进点 | | 不及格 | <70 | 不推荐上线,需大量改进 | --- ## 自动化测试用例 ### 基础功能测试 ```python # TC-001: API 基础调用 test_api_basic() # 预期:返回包含 6 个核心字段的视频列表 # TC-002: 参数验证 test_invalid_part() # 预期:正确处理缺少 part 参数的错误 # TC-003: 字段完整性 test_field_completeness() # 预期:所有 6 个核心字段都存在且非空 # TC-004: 边界值测试 test_max_results_boundary() # 预期:maxResults=50 成功,maxResults=100 报错 ``` ### 错误处理测试 ```python # TC-005: 无效 API Key test_invalid_api_key() # 预期:返回友好错误提示,不崩溃 # TC-006: 配额超限 test_quota_exceeded() # 预期:触发降级方案,切换到 yt-dlp # TC-007: 网络超时 test_network_timeout() # 预期:重试 3 次后优雅失败 ``` ### 数据质量测试 ```python # TC-008: 数据类型 test_viewcount_type() # 预期:viewCount 为 int 类型 # TC-009: 时间格式 test_datetime_format() # 预期:publishedAt 为 datetime 对象 # TC-010: 空值处理 test_empty_thumbnail() # 预期:无缩略图时返回占位图,不报错 ``` --- ## 评分公式 ``` 总分 = Σ(维度分数 × 维度权重) 示例: 功能完整性: 95 × 0.20 = 19 代码质量: 90 × 0.20 = 18 API规范: 95 × 0.15 = 14.25 数据完整性: 95 × 0.15 = 14.25 扩展性: 85 × 0.10 = 8.5 错误处理: 90 × 0.10 = 9 性能效率: 90 × 0.10 = 9 总分 = 92 (优秀) ``` --- *Generated by digester-youtube-crawler | 2026-04-01*