Tools: data-harvester

Primary Skill

• Name: data_harvester
• Version: 1.0.0
• File: skills/data_harvester/SKILL.md

Capability Summary

能力	说明
网页爬取	支持静态/动态网页内容抓取
API 调用	RESTful API 数据获取
文件解析	CSV、JSON、XML、Excel 等格式
数据清洗	去重、去噪、格式标准化
增量采集	支持定时任务和增量更新
反爬应对	User-Agent 轮换、请求延迟

Tool Policy

• Shell: 允许执行 Python/Node.js 采集脚本
• WebFetch: 允许抓取公开网页内容
• FileWrite: 允许写入 workspace/ 目录
• FileRead: 允许读取 workspace/ 和 data/ 目录

Execution Workflow

1. 接收采集任务（数据源 + 采集参数）
2. 识别数据源类型并选择采集策略
3. 执行数据采集
4. 数据清洗和标准化
5. 分类标注
6. 输出结构化数据到 workspace/

Output Location

• 采集结果: ../../workspace/data-harvester/{source}_{timestamp}.json
• 日志记录: memory/harvest_log.json

Cron Schedule

• 默认: */30 * * * * (每 30 分钟)
• 可根据实际需求调整频率

Environment Variables

变量	说明	必需
HARVESTER_PROXY	代理服务器地址	否
HARVESTER_USER_AGENT	自定义 User-Agent	否
HARVESTER_TIMEOUT	请求超时时间(秒)	否

Skill Dependencies

• requests - Python HTTP 库
• cheerio - Node.js HTML 解析
• csv-parse - CSV 文件解析
• xlsx - Excel 文件解析