Tools: data-harvester

Primary Skill

• Name: data_harvester
• Version: 1.0.0
• File: skills/data_harvester/SKILL.md

Capability Summary

能力	说明
网页爬取	支持静态/动态网页内容抓取
API 调用	RESTful API 数据获取
文件解析	CSV、JSON、XML、Excel 等格式
数据清洗	去重、去噪、格式标准化
增量采集	支持定时任务和增量更新
反爬应对	User-Agent 轮换、请求延迟

Tool Policy

• Shell: 允许执行 Python/Node.js 采集脚本
• WebFetch: 允许抓取公开网页内容
• FileWrite: 只写 $W/ 下（$W = 提示词开头「运行时坐标」里「你的交付物必须写到」那一行给的绝对路径）
• FileRead: 允许读取 $W/ 下的同事产出
• ⚠️ cwd 是任务态目录：一次性、会被清理、同事看不见。写相对路径照样写得成功，只是没人读得到

Execution Workflow

1. 接收采集任务（数据源 + 采集参数）
2. 识别数据源类型并选择采集策略
3. 执行数据采集
4. 数据清洗和标准化
5. 分类标注
6. 输出结构化数据到 $W/

Output Location

（<共享工作区> = 提示词开头「运行时坐标 / 公司环境上下文」里给的那个绝对路径。 这里不写相对路径：cwd 随公司/任务变（system/agents/{你的ID}/{公司ID}/{任务ID}/）， 写死上跳式相对路径会落进你自己的本体目录里 —— 能写、不报错、同事读不到。）

• 采集结果: <共享工作区>/data-harvester/{source}_{timestamp}.json
• 日志记录: memory/harvest_log.json

Cron Schedule

• 默认: */30 * * * * (每 30 分钟)
• 可根据实际需求调整频率

Environment Variables

变量	说明	必需
HARVESTER_PROXY	代理服务器地址	否
HARVESTER_USER_AGENT	自定义 User-Agent	否
HARVESTER_TIMEOUT	请求超时时间(秒)	否

Skill Dependencies

• requests - Python HTTP 库
• cheerio - Node.js HTML 解析
• csv-parse - CSV 文件解析
• xlsx - Excel 文件解析