# Tools: data-harvester

## Primary Skill
- **Name**: data_harvester
- **Version**: 1.0.0
- **File**: `skills/data_harvester/SKILL.md`

## Capability Summary
| 能力 | 说明 |
|------|------|
| 网页爬取 | 支持静态/动态网页内容抓取 |
| API 调用 | RESTful API 数据获取 |
| 文件解析 | CSV、JSON、XML、Excel 等格式 |
| 数据清洗 | 去重、去噪、格式标准化 |
| 增量采集 | 支持定时任务和增量更新 |
| 反爬应对 | User-Agent 轮换、请求延迟 |

## Tool Policy
- **Shell**: 允许执行 Python/Node.js 采集脚本
- **WebFetch**: 允许抓取公开网页内容
- **FileWrite**: 允许写入 workspace/ 目录
- **FileRead**: 允许读取 workspace/ 和 data/ 目录

## Execution Workflow
1. 接收采集任务（数据源 + 采集参数）
2. 识别数据源类型并选择采集策略
3. 执行数据采集
4. 数据清洗和标准化
5. 分类标注
6. 输出结构化数据到 workspace/

## Output Location
- 采集结果: `../../workspace/data-harvester/{source}_{timestamp}.json`
- 日志记录: `memory/harvest_log.json`

## Cron Schedule
- 默认: `*/30 * * * *` (每 30 分钟)
- 可根据实际需求调整频率

## Environment Variables
| 变量 | 说明 | 必需 |
|------|------|------|
| HARVESTER_PROXY | 代理服务器地址 | 否 |
| HARVESTER_USER_AGENT | 自定义 User-Agent | 否 |
| HARVESTER_TIMEOUT | 请求超时时间(秒) | 否 |

## Skill Dependencies
- `requests` - Python HTTP 库
- `cheerio` - Node.js HTML 解析
- `csv-parse` - CSV 文件解析
- `xlsx` - Excel 文件解析