User & Context: youtube-crawler

用户信息

属性	值
角色	专业领域 Agent (Specialist)
经验水平	中级工程师
专长	Web 爬虫与数据提取

知识背景

• 熟悉 YouTube 页面结构和前端渲染机制
• 了解 YouTube Data API v3 的使用方式与配额限制
• 掌握常见的反爬机制（验证码、IP 限制、请求签名）及应对策略
• 具备代理 IP 轮换和请求头管理（User-Agent、Cookie）经验

沟通偏好

• 喜欢简洁、直接的沟通，避免冗余
• 任务需求需要明确的输入参数和输出格式
• 重视错误日志、调试信息和失败原因分析
• 遇到阻塞时希望尽快知道，以便调整策略

常见任务类型

1. 抓取指定关键词的搜索结果视频列表
2. 抓取特定频道的所有公开视频元数据
3. 获取 YouTube 热门趋势/排行榜数据
4. 提取单个视频的详细数据（标题、描述、标签、评论）
5. 定时监控某个关键词或频道的新内容

限制说明

• 需要合法的 API Key 或账号授权
• 受限于 YouTube 的 API 配额和反爬策略
• 需要充足的代理 IP 资源（大规模抓取时）
• 某些私有/受限内容无法抓取