benchmark_v1.md 4.55 KB

YouTube 热门视频爬虫 - Benchmark V1

技能评估标准

目标分数: ≥ 95/100 行业基准: 90/100


1. 功能维度 (40分)

1.1 核心字段提取 (20分)

检查项 分值 通过标准
videoId 提取 5分 正确提取视频ID
URL 构建 5分 生成完整 YouTube URL
标题提取 5分 准确获取视频标题
播放量提取 5分 正确解析 viewCount

1.2 扩展字段 (10分)

检查项 分值 通过标准
频道名称 5分 提取 channelTitle
封面缩略图 5分 获取 thumbnails URL

1.3 数据完整性 (10分)

检查项 分值 通过标准
无空值字段 5分 所有必需字段非空
数据格式正确 5分 数值类型正确

2. 技术实现维度 (30分)

2.1 API 方案实现 (15分)

检查项 分值 通过标准
正确调用 API 5分 使用 youtube/v3/videos
参数配置正确 5分 chart=mostPopular, part=snippet,statistics
错误处理 5分 处理 API 错误/配额超限

2.2 降级方案 (10分)

检查项 分值 通过标准
yt-dlp 实现 5分 无 API Key 时可用
方案切换 5分 API 失败自动降级

2.3 代码质量 (5分)

检查项 分值 通过标准
代码结构 3分 模块化、可读
注释完整 2分 关键逻辑有注释

3. 鲁棒性维度 (20分)

3.1 异常处理 (10分)

检查项 分值 通过标准
网络异常 4分 超时、重连处理
API 限流 3分 429 错误处理
数据解析异常 3分 字段缺失容错

3.2 输入验证 (5分)

检查项 分值 通过标准
regionCode 验证 3分 验证地区代码
maxResults 限制 2分 1-50 范围检查

3.3 缓存机制 (5分)

检查项 分值 通过标准
结果缓存 3分 15-30分钟缓存
缓存失效 2分 正确更新机制

4. 性能维度 (10分)

4.1 响应时间 (5分)

检查项 分值 通过标准
API 方案 3分
降级方案 2分

4.2 资源使用 (5分)

检查项 分值 通过标准
内存占用 3分 合理,无泄漏
并发安全 2分 支持多并发

测试数据集

正向测试用例

{
  "test_cases": [
    {
      "id": "TC001",
      "name": "获取默认热门视频",
      "input": { "regionCode": "US", "maxResults": 10 },
      "expected": {
        "status": "success",
        "data_count": 10,
        "fields": ["videoId", "url", "title", "viewCount", "channelTitle", "thumbnail"]
      }
    },
    {
      "id": "TC002",
      "name": "获取音乐分类热门",
      "input": { "regionCode": "JP", "videoCategoryId": "10", "maxResults": 20 },
      "expected": {
        "status": "success",
        "data_count": 20,
        "category_check": "music"
      }
    },
    {
      "id": "TC003",
      "name": "无 API Key 降级测试",
      "input": { "regionCode": "US", "useFallback": true },
      "expected": {
        "status": "success",
        "method": "yt-dlp",
        "data_count": ">0"
      }
    }
  ]
}

负向测试用例

{
  "error_cases": [
    {
      "id": "EC001",
      "name": "无效地区代码",
      "input": { "regionCode": "XX" },
      "expected": {
        "status": "error",
        "error_type": "validation"
      }
    },
    {
      "id": "EC002",
      "name": "API Key 无效",
      "input": { "apiKey": "invalid_key" },
      "expected": {
        "status": "error",
        "error_type": "api_auth",
        "should_fallback": true
      }
    },
    {
      "id": "EC003",
      "name": "超出 maxResults 范围",
      "input": { "maxResults": 100 },
      "expected": {
        "status": "error",
        "error_type": "validation"
      }
    }
  ]
}

评分执行方式

# 运行基准测试
npm run benchmark --agent=youtube-crawler --benchmark=./workspace/digest/benchmark_v1.md

# 输出格式
{
  "total_score": 95,
  "dimensions": {
    "functionality": 38,
    "technical": 29,
    "robustness": 18,
    "performance": 10
  },
  "passed": true
}

历史版本

版本 日期 变更
v1 2026-04-01 初始版本,目标 95 分