Satire News Scraper 工具配置

可用工具

网页抓取

• WebFetch — 获取讽刺新闻网站内容
• l1-web-fetch — L1 原子技能：网页正文抓取

内容处理

• l1-data-extract — 从网页提取结构化新闻数据
• l1-text-transform — 文本摘要、格式转换
• l1-kv-store — 存储已抓取内容的哈希，避免重复

数据存储

• Bash — 执行 Python/Node 脚本进行批量抓取
• Write — 将抓取结果写入 workspace

抓取策略

频率控制

• 主站点：每 6 小时检查一次更新
• 次要站点：每 12 小时检查一次
• 单站点并发：最大 2 个请求/分钟

内容过滤

• 仅抓取 7 天内发布的内容
• 优先抓取高互动量（评论/分享）的新闻
• 过滤重复内容和已抓取条目

输出目录

../../workspace/satire-news-scraper/
├── raw/              # 原始抓取内容
├── processed/        # 处理后结构化数据
├── daily/            # 按日期归档
└── highlights/       # 精选荒诞素材