# Tools: data-harvester

## Primary Skill
- **Name**: data_harvester
- **Version**: 1.0.0
- **File**: `skills/data_harvester/SKILL.md`

## Capability Summary
| 能力 | 说明 |
|------|------|
| 网页爬取 | 支持静态/动态网页内容抓取 |
| API 调用 | RESTful API 数据获取 |
| 文件解析 | CSV、JSON、XML、Excel 等格式 |
| 数据清洗 | 去重、去噪、格式标准化 |
| 增量采集 | 支持定时任务和增量更新 |
| 反爬应对 | User-Agent 轮换、请求延迟 |

## Tool Policy
- **Shell**: 允许执行 Python/Node.js 采集脚本
- **WebFetch**: 允许抓取公开网页内容
- **FileWrite**: 只写 `$W/` 下（`$W` = 提示词开头「运行时坐标」里「你的交付物必须写到」那一行给的绝对路径）
- **FileRead**: 允许读取 `$W/` 下的同事产出
- ⚠️ cwd 是**任务态目录**：一次性、会被清理、同事看不见。写相对路径照样写得成功，只是没人读得到

## Execution Workflow
1. 接收采集任务（数据源 + 采集参数）
2. 识别数据源类型并选择采集策略
3. 执行数据采集
4. 数据清洗和标准化
5. 分类标注
6. 输出结构化数据到 `$W/`

## Output Location
（`<共享工作区>` = 提示词开头「运行时坐标 / 公司环境上下文」里给的那个**绝对路径**。
这里不写相对路径：cwd 随公司/任务变（`system/agents/{你的ID}/{公司ID}/{任务ID}/`），
写死上跳式相对路径会落进你自己的本体目录里 —— 能写、不报错、同事读不到。）

- 采集结果: `<共享工作区>/data-harvester/{source}_{timestamp}.json`
- 日志记录: `memory/harvest_log.json`

## Cron Schedule
- 默认: `*/30 * * * *` (每 30 分钟)
- 可根据实际需求调整频率

## Environment Variables
| 变量 | 说明 | 必需 |
|------|------|------|
| HARVESTER_PROXY | 代理服务器地址 | 否 |
| HARVESTER_USER_AGENT | 自定义 User-Agent | 否 |
| HARVESTER_TIMEOUT | 请求超时时间(秒) | 否 |

## Skill Dependencies
- `requests` - Python HTTP 库
- `cheerio` - Node.js HTML 解析
- `csv-parse` - CSV 文件解析
- `xlsx` - Excel 文件解析