fde_report_v2.md 3.75 KB

YouTube Crawler v2 FDE 综合训练报告

任务编号: T-mnrdafpq
训练时间: 2026-04-09
负责 Agent: innovator (Hunter → Digester → Evolver 编排)


1. 训练目标

将 YouTube 热门视频爬虫从 v1 升级为具备生产级稳定性的 v2 技能,实现:

  • 数据源三级降级链(API → yt-dlp → Invidious)
  • 完整字段标准化与 schema 校验
  • 缓存、配额、重试、退避等工程化能力
  • Benchmark v2 评分达到行业先进水平(≥90)

2. 各阶段产出

2.1 Hunt(调研)

  • 产出目录: train/hunt/
  • 核心发现: YouTube Data API v3 配额限制、yt-dlp 作为 Fallback 的可行性、Invidious 公共实例列表、Return YouTube Dislike API 数据增强来源
  • 关键文件: knowhow_v1.md、数据源配置表、种子脚本

2.2 Digest(消化)

  • 产出目录: train/digest_v2/
  • 核心产出:
    • benchmark_v2.md — 7 维度评分标准(功能完整性 20%、API 规范 15%、数据完整性 20%、代码质量 15%、错误处理 15%、扩展性 10%、性能 5%)
    • train.json / test.json — 结构化的训练与测试数据集
    • industry_avg.json — 行业基准参考线

2.3 Evolve(进化)

  • 产出目录: workspace/evolve_v2/
  • 核心产出:
    • youtube_crawler.js — 进化后的 v2 生产代码
    • benchmark_v2_test.js — v2 自动化 benchmark 测试运行器
    • benchmark_v2_result.json — 详细评分结果与执行日志
    • verification_report.md — 验证总结

3. v2 相较 v1 的核心改进

改进项 v1 状态 v2 状态
字段命名 不统一(camelCase / snake_case 混合) 统一 snake_case(9+ 必填字段)
数据源降级 API → yt-dlp(二级) API → yt-dlp → Invidious(三级)
错误处理 基础 403/429/400 完整 HTTP 分层处理(400/403/404/429/500/502/503)
重试退避 固定间隔 指数退避(429: base 2s max 60s;503: base 5s max 120s)
缓存机制 无 Map + TTL(默认 15 分钟)
请求速率 无控制 请求间隔 ≥2000ms
字段覆盖 缺少 duration、thumbnail_url 等 完整覆盖(含 duration_seconds、thumbnail_url、category_id 等)
Schema 校验 无 内置 validateSchema + 缺失字段兜底
API 参数 part=snippet part=snippet,statistics,contentDetails
健康检查 无 三源 health_check() 推荐最佳方案

4. Benchmark v2 结果

最终得分: 95.5/100 ✅ 通过(目标: ≥90)

维度 得分 满分 权重
功能完整性 17.5 20 20%
API 规范使用 15.0 15 15%
数据完整性与准确性 20.0 20 20%
代码质量与可维护性 15.0 15 15%
错误处理与降级策略 15.0 15 15%
扩展性与配置灵活性 9.0 10 10%
性能与效率 4.0 5 5%

弱项分析: 功能完整性扣 2.5 分(输出格式切换与 video_id 校验有微小 gap)、扩展性扣 1 分(批量请求覆盖率)。整体已达到生产就绪标准。


5. 部署状态

  • [x] SKILL.md 已更新(v2.2),整合三级降级链、字段标准化、缓存机制、完整错误处理
  • [x] code/youtube_crawler.js 已替换为 evolve_v2 最终版本
  • [x] config.json benchmark_score 已更新为 95.5,version 保持 2.0.0
  • [x] workspace/archive/ 已整理
  • [x] workspace/fde_report_v2.md 已归档

6. 结论

YouTube Crawler v2 经过完整的 FDE 流水线训练,在数据源鲁棒性、字段标准化、错误处理和工程化方面实现了质的飞跃。Benchmark v2 得分 95.5/100,远超行业及格线,具备直接投产条件。