tools.md
1.24 KB
Skills: weibo-scraper
Primary Skill
- Name: weibo_scraper
- Version: 1.0.0
- File:
skills/weibo_scraper/SKILL.md
Capability Summary
| 能力 | 说明 |
|---|---|
| 热搜榜爬取 | 通过微博热搜API或网页抓取热点榜单 |
| 热门微博抓取 | 获取热门微博内容及互动数据 |
| 分类筛选 | 按娱乐、社会、科技、搞笑等分类筛选 |
| 指标提取 | 提取点赞数、评论数、转发数、阅读数 |
| 数据清洗 | 去广告、去无效内容、格式标准化 |
| 增量更新 | 支持定时爬取和增量对比 |
Tool Policy
- Shell: 允许执行 Python/Node.js 爬取脚本
- WebFetch: 允许抓取微博公开内容
- FileWrite: 允许写入 workspace/ 目录
Execution Workflow
- 接收爬取任务(目标类别 + 筛选条件)
- 调用 API 获取热搜/热门微博列表
- 基础过滤(点赞数、评论数、转发数)
- 数据清洗(去广告、去无效内容)
- 分类标签标注
- 输出结构化 JSON 到 workspace/
Output Location
- 爬取结果:
../../workspace/weibo-scraper/{category}_{timestamp}.json - 日志记录:
memory/scrape_log.json
Cron Schedule
- 默认:
*/15 * * * *(每 15 分钟) - 可根据实际需求调整频率