# Data Harvester 知识合成 > 基于 hunt 产出的知识整合 --- ## 一、核心能力图谱 ### 平台数据获取能力矩阵 | 平台 | 推荐方案 | 优先级 | 技术可行性 | 评分 | |------|---------|--------|---------|---------| | 🥇 抖音 | 官方 API | P0 | ⭐⭐ | 88 | | 🥈 B站 | Open API | P0 | ⭐⭐ | 85 | | 🥉 快手 | 手动导出 | P1 | ⭐⭐⭐ | 65 | | 4 小红书 | 手动+OCR | P2 | ⭐⭐⭐⭐ | 55 | | 5 视频号 | 企业微信 | P2 | ⭐⭐⭐⭐⭐ | 待评估 | --- ## 二、技术实现规范 ### 2.1 架构设计 ``` 数据采集层 ├── 定时任务 (node-cron) ├── API 调用 (axios) ├── 登录管理 (cheerio/puppeteer) └── 数据存储 (sqlite) ``` ### 2.2 统一数据模型 ```typescript interface PlatformMetrics { platform: 'douyin' | 'kuaishou' | 'bilibili' | 'xiaohongshu' | 'weixin'; video_id: string; video_title: string; publish_time: number; // 基础数据 views: number; unique_viewers: number; // 互动数据 likes: number; comments: number; shares: number; favorites: number; // 深度数据 completion_rate?: number; avg_watch_time?: number; ctr?: number; // 情感数据 sentiment_score?: number; top_comments?: string[]; } ``` ### 2.3 字段映射表 | 字段名 | 抖音 | 快手 | B站 | 小红书 | 视频号 | |--------|------|-----|-----|-------|--------| | 播放量 | play_count | play | play |曝光 | 播放量 | | 完播率 | finish_rate | finish_rate | - | - | - | | 点赞 | like_count | like | like | 点赞 | 点赞 | | 评论 | comment_count | comment | reply | 评论 | 评论 | | 转发 | share_count | share | coins | 分享 | 转发 | --- ## 三、情感分析方案 ### 3.1 推荐方案 | 方案 | 模型 | 准确率 | 部署难度 | 评分 | |------|------|--------|---------|------| | SnowNLP | RNN | 75% | ⭐ | ⭐⭐⭐⭐⭐ | | TextBlob | 规则 | 70% | ⭐ | ⭐⭐⭐⭐ | | ChatAPI | LLM | 85% | ⭐⭐ | ⭐⭐⭐⭐ | | 百度情感倾向分析 | REST | 90% | 免费 | ⭐⭐⭐⭐⭐ | ### 3.2 批量分析实现 ```javascript const SnowNLP = require('snownlp'); function analyzeSentiment(text) { const sn = new SnowNLP(text); return { sentiment: sn.sentiments > 0.5 ? 'positive' : 'negative', score: sn.sentiments }; } function batchAnalyze(comments) { const results = comments.map(c => ({ text: c, ...analyzeSentiment(c) })); const positive = results.filter(r => r.sentiment === 'positive').length; return { results, positive, positiveRate: positive / results.length }; } ``` --- ## 四、定时任务配置 | 平台 | Cron 表达式 | 说明 | |------|-------------|------| | 抖音 | `0 2 * * *` | 每日凌晨2点 | | B站 | `0 3 * * *` | 每日凌晨3点 | | 快手 | `0 4 * * 0` | 每周日凌晨4点 | --- ## 五、Benchmark 基线 ### 行业平均水平 | 指标 | 基线值 | |------|--------| | API 覆盖率 | 60% | | 数据完整率 | 75% | | 技术可行性 | 70% | | 综合得分 | 70分 | ### 达标要求 - **Good**: score >= 70 - **Bad**: score < 70 --- ## 六、实施建议 ### Week 1: 抖音 API 接入 - [ ] 注册抖音开放平台开发者 - [ ] 创建应用获取 client_id - [ ] 实现 OAuth 授权流程 - [ ] 调用 video/list 接口 - [ ] 存储数据到本地 ### Week 2: B站 API 接入 - [ ] 阅读 B站 API 文档 - [ ] 实现视频信息获取 - [ ] 获取评论数据 - [ ] 对接情感分析 ### Week 3: 自动化采集 - [ ] 搭建定时任务系统 - [ ] 实现多平台数据聚合 - [ ] 构建数据看板 - [ ] 添加告警机制 --- ## 七、避坑指南 ### ❌ 不推荐 1. **硬爬抖音页面** - 反爬严格,易封号 2. **使用未知第三方工具** - 数据安全风险 3. **高频请求** - 违反平台规则 ### ✅ 推荐 1. **使用官方 API** - 合规稳定 2. **定时采集** - 避免高频 3. **本地缓存** - 减少请求 4. **官方文档优先** - 最准确 --- ## 八、验收标准 | 指标 | 目标值 | |------|--------| | 平台接入数 | >= 3 | | 数据覆盖率 | >= 80% | | 自动化程度 | 定时任务 | | 综合评分 | >= 75 | --- ## 九、版本信息 - **版本**: v1.0 - **日期**: 2026-03-30 - **基于**: hunt/knowhow.md, hunt/toplist.md, hunt/crawl/api_config.md