benchmark.md 6.49 KB

YouTube 爬虫 Skill Benchmark

评分维度与权重

维度 权重 说明
功能完整性 20% 核心字段覆盖、功能实现完整度
代码质量 20% 代码结构、可读性、文档、测试覆盖
API/工具使用规范 15% API 参数正确性、配额管理、反爬策略
数据完整性 15% 数据字段完整、类型正确、格式标准
扩展性 10% 地区/分类可配置、功能可扩展
错误处理与稳定性 10% 异常处理、降级方案、重试机制
性能与效率 10% 缓存策略、请求频率、响应时间

权重总和:100%


评分标准(0-100 分制)

1. 功能完整性(20%)

分数 标准
90-100 完整提取 6 个核心字段(videoId、title、viewCount、channelTitle、thumbnails、publishedAt),支持多地区多分类
80-89 提取 5 个核心字段,基本功能完整
70-79 提取 4 个核心字段,主要功能可用
60-69 提取 3 个以下字段,功能缺失明显
功能严重缺失,无法正常使用

检查项:

  • [ ] 是否返回 videoId
  • [ ] 是否返回 title
  • [ ] 是否返回 viewCount
  • [ ] 是否返回 channelTitle
  • [ ] 是否返回 thumbnails
  • [ ] 是否返回 publishedAt(可选但推荐)

2. 代码质量(20%)

分数 标准
90-100 模块化设计、函数拆分合理、有完整 docstring 和类型注解、单元测试覆盖率 >80%
80-89 代码结构清晰、有基本注释、有测试
70-79 代码可读、少量注释、无明显坏味道
60-69 代码较乱、函数过长、缺少注释
代码混乱、无注释、难以维护

检查项:

  • [ ] 是否模块化设计
  • [ ] 是否有函数 docstring
  • [ ] 是否有类型注解
  • [ ] 变量名是否有意义
  • [ ] 是否有单元测试
  • [ ] 测试覆盖率是否 >80%

3. API/工具使用规范(15%)

分数 标准
90-100 API 参数正确、配额监控完善、有降级方案、请求频率合理
80-89 API 使用正确、有基本错误处理、有请求间隔
70-79 API 基本正确、少量参数问题
60-69 API 使用有问题、配额管理缺失
严重违反 API 规范、无配额意识

检查项:

  • [ ] part 参数是否包含 snippet,statistics
  • [ ] chart=mostPopular 是否正确设置
  • [ ] maxResults 是否在 1-50 范围内
  • [ ] 是否有配额监控
  • [ ] 是否有降级方案(yt-dlp 备用)
  • [ ] 请求间隔是否合理(API: 100ms, yt-dlp: 2s)

4. 数据完整性(15%)

分数 标准
90-100 数据字段完整、类型转换正确、时间格式标准、schema 校验完善
80-89 数据完整、基本类型处理正确
70-79 少量数据问题、类型处理基本正确
60-69 数据缺失或类型问题明显
数据严重不完整、类型错误

检查项:

  • [ ] viewCount 是否转为整数(非字符串)
  • [ ] publishedAt 是否转为 datetime 对象
  • [ ] thumbnails 是否包含多分辨率
  • [ ] 空值/边界数据是否处理
  • [ ] 是否有 schema 校验

5. 扩展性(10%)

分数 标准
90-100 regionCode/videoCategoryId 可配置、支持批量获取、易于扩展新功能
80-89 主要参数可配置、有一定扩展性
70-79 部分参数硬编码、扩展性一般
60-69 大量硬编码、扩展性差
完全写死、无法扩展

检查项:

  • [ ] regionCode 是否可配置
  • [ ] videoCategoryId 是否可配置
  • [ ] maxResults 是否可配置
  • [ ] 是否支持批量获取
  • [ ] 是否易于添加新功能

6. 错误处理与稳定性(10%)

分数 标准
90-100 完善的异常处理、自动降级、指数退避重试、友好的错误提示
80-89 有异常处理、有重试机制
70-79 基本错误处理、不会崩溃
60-69 错误处理不完善、可能崩溃
无错误处理、程序易崩溃

检查项:

  • [ ] API 错误是否捕获
  • [ ] 网络错误是否处理
  • [ ] 是否有重试机制
  • [ ] 是否有降级方案
  • [ ] 错误提示是否友好
  • [ ] 空结果是否处理

7. 性能与效率(10%)

分数 标准
90-100 缓存策略完善(15-30分钟)、并发控制合理、响应快速
80-89 有缓存机制、性能良好
70-79 基本的性能考虑
60-69 性能问题明显、无缓存
频繁请求、快速耗尽配额

检查项:

  • [ ] 是否有缓存机制
  • [ ] 缓存时间是否合理(15-30分钟)
  • [ ] 并发请求是否控制
  • [ ] 是否避免重复请求
  • [ ] 响应时间是否可接受

通过阈值

等级 总分 说明
优秀 ≥90 生产就绪,可直接部署
良好 80-89 基本可用,有优化空间
及格 70-79 功能可用,有明显改进点
不及格 不推荐上线,需大量改进

自动化测试用例

基础功能测试

# TC-001: API 基础调用
test_api_basic()
# 预期:返回包含 6 个核心字段的视频列表

# TC-002: 参数验证
test_invalid_part()
# 预期:正确处理缺少 part 参数的错误

# TC-003: 字段完整性
test_field_completeness()
# 预期:所有 6 个核心字段都存在且非空

# TC-004: 边界值测试
test_max_results_boundary()
# 预期:maxResults=50 成功,maxResults=100 报错

错误处理测试

# TC-005: 无效 API Key
test_invalid_api_key()
# 预期:返回友好错误提示,不崩溃

# TC-006: 配额超限
test_quota_exceeded()
# 预期:触发降级方案,切换到 yt-dlp

# TC-007: 网络超时
test_network_timeout()
# 预期:重试 3 次后优雅失败

数据质量测试

# TC-008: 数据类型
test_viewcount_type()
# 预期:viewCount 为 int 类型

# TC-009: 时间格式
test_datetime_format()
# 预期:publishedAt 为 datetime 对象

# TC-010: 空值处理
test_empty_thumbnail()
# 预期:无缩略图时返回占位图,不报错

评分公式

总分 = Σ(维度分数 × 维度权重)

示例:
功能完整性: 95 × 0.20 = 19
代码质量: 90 × 0.20 = 18
API规范: 95 × 0.15 = 14.25
数据完整性: 95 × 0.15 = 14.25
扩展性: 85 × 0.10 = 8.5
错误处理: 90 × 0.10 = 9
性能效率: 90 × 0.10 = 9

总分 = 92 (优秀)

Generated by digester-youtube-crawler | 2026-04-01