# Satire News Scraper 工具配置

## 可用工具

### 网页抓取
- **WebFetch** — 获取讽刺新闻网站内容
- **l1-web-fetch** — L1 原子技能：网页正文抓取

### 内容处理
- **l1-data-extract** — 从网页提取结构化新闻数据
- **l1-text-transform** — 文本摘要、格式转换
- **l1-kv-store** — 存储已抓取内容的哈希，避免重复

### 数据存储
- **Bash** — 执行 Python/Node 脚本进行批量抓取
- **Write** — 将抓取结果写入 workspace

## 抓取策略

### 频率控制
- 主站点：每 6 小时检查一次更新
- 次要站点：每 12 小时检查一次
- 单站点并发：最大 2 个请求/分钟

### 内容过滤
- 仅抓取 7 天内发布的内容
- 优先抓取高互动量（评论/分享）的新闻
- 过滤重复内容和已抓取条目

### 输出目录
```
../../workspace/satire-news-scraper/
├── raw/              # 原始抓取内容
├── processed/        # 处理后结构化数据
├── daily/            # 按日期归档
└── highlights/       # 精选荒诞素材
```