SKILL.md 3.86 KB

热点抓取技能 (Trend Hunting) v1.0.4

概述

从各大平台抓取热点话题,构建选题库。为 AI 互动剧公司提供时事热点素材。

输入规范

必填参数

  • platforms: 要抓取的平台列表 (weibo, baidu, zhihu, douyin, bilibili)
  • category: 热点类别 (entertainment, tech, sports, military, all)
  • limit: 最大抓取数量 (默认 50)

输入示例

{
  "platforms": ["weibo", "baidu", "zhihu"],
  "category": "all",
  "limit": 50
}

输出规范

JSON Schema

{
  "trends": [
    {
      "title": "string - 热点标题",
      "url": "string - 热点链接",
      "source": "string - 来源平台 (weibo/baidu/zhihu/douyin/bilibili)",
      "hot_value": "number - 热度值",
      "timestamp": "string - ISO8601 时间戳",
      "category": "string - 分类 (entertainment/tech/sports/military/social)"
    }
  ],
  "metadata": {
    "total_count": "number - 总数",
    "platforms": "array - 抓取平台",
    "fetch_time": "string - 抓取时间"
  }
}

爬虫配置

平台配置

平台 API 端点 特殊配置
微博 https://weibo.com/ajax/statuses/hot/total User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)
百度 https://top.baidu.com/board?tab=realtime HTML 解析,使用 lxml
知乎 https://www.zhihu.com/api/v3/feed/topstory/hot-lists/total Cookie: 需模拟登录态
抖音 https://www.douyin.com/aweme/v1/web/hot/search/list/ User-Agent + Accept-Language
B站 https://api.bilibili.com/x/web-interface/popular Referer: https://www.bilibili.com

请求配置

  • 超时: 10 秒 (socket timeout)
  • 重试: 3 次,每次间隔 2 秒 (指数退避: 2s, 4s, 8s)
  • 并发: 最多 3 个平台并行 (asyncio.gather)
  • Header 伪装: python headers = { "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36", "Accept": "application/json, text/html", "Accept-Language": "zh-CN,zh;q=0.9", "Referer": "https://www.bilibili.com" }

数据清洗规则

  1. 去除 HTML 标签: re.sub(r'<[^>]+>', '', text)
  2. 去除多余空白: re.sub(r'\s+', ' ', text).strip()
  3. 去除表情符号: re.sub(r'\[.*?\]', '', text) (微博表情如 [哈哈])
  4. URL 规范化:
    • 相对路径拼接: urljoin(base_url, relative_path)
    • 短链转换: 使用 API 展开 t.cn, url.cn
  5. 时间戳标准化: 转为 ISO 8601 格式 (UTC+8) python from datetime import datetime, timezone, timedelta dt = datetime.now(timezone(timedelta(hours=8)))
  6. 热度值归一化:
    • "100万" → 1000000
    • "100W" → 1000000
    • "热度 1234" → 1234

错误处理

错误类型 处理方式
超时 重试 3 次,记录 timeout_error
解析失败 跳过该条,记录 parse_error
429 限流 等待 60 秒后重试
网络错误 返回空列表,记录 network_error
反爬拦截 切换 User-Agent,更换代理

质量标准

准确性 (40%)

  • ✓ JSON 解析无错误
  • ✓ 无乱码或特殊字符
  • ✓ 去重准确 (title 去重)

完整性 (30%)

  • ✓ 字段完整率 100%
  • ✓ 每个平台最少抓取 10 条
  • ✓ 分类标签正确

效率 (30%)

  • ✓ 单平台 ≤10 秒
  • ✓ 总耗时 ≤30 秒
  • ✓ 内存占用 ≤200MB
  • ✓ CPU 占用 ≤50%

评分维度 (Benchmark)

维度 权重 评分标准
准确性 40% 平台覆盖、数据解析、去重
完整性 30% 字段完整、数量达标、分类覆盖
效率 30% 响应时间、错误处理、资源占用

输出路径

  • 数据输出: workspace/data/output/trends.json
  • 日志文件: workspace/data/output/trends.log

依赖

# requirements.txt
requests>=2.28.0
beautifulsoup4>=4.11.0
lxml>=4.9.0
aiohttp>=3.8.0