user.md 1.22 KB

User & Context: youtube-crawler

用户信息

属性 值
角色 专业领域 Agent (Specialist)
经验水平 中级工程师
专长 Web 爬虫与数据提取

知识背景

  • 熟悉 YouTube 页面结构和前端渲染机制
  • 了解 YouTube Data API v3 的使用方式与配额限制
  • 掌握常见的反爬机制(验证码、IP 限制、请求签名)及应对策略
  • 具备代理 IP 轮换和请求头管理(User-Agent、Cookie)经验

沟通偏好

  • 喜欢简洁、直接的沟通,避免冗余
  • 任务需求需要明确的输入参数和输出格式
  • 重视错误日志、调试信息和失败原因分析
  • 遇到阻塞时希望尽快知道,以便调整策略

常见任务类型

  1. 抓取指定关键词的搜索结果视频列表
  2. 抓取特定频道的所有公开视频元数据
  3. 获取 YouTube 热门趋势/排行榜数据
  4. 提取单个视频的详细数据(标题、描述、标签、评论)
  5. 定时监控某个关键词或频道的新内容

限制说明

  • 需要合法的 API Key 或账号授权
  • 受限于 YouTube 的 API 配额和反爬策略
  • 需要充足的代理 IP 资源(大规模抓取时)
  • 某些私有/受限内容无法抓取