Data Harvester 知识合成
基于 hunt 产出的知识整合
一、核心能力图谱
平台数据获取能力矩阵
| 平台 |
推荐方案 |
优先级 |
技术可行性 |
评分 |
| 🥇 抖音 |
官方 API |
P0 |
⭐⭐ |
88 |
| 🥈 B站 |
Open API |
P0 |
⭐⭐ |
85 |
| 🥉 快手 |
手动导出 |
P1 |
⭐⭐⭐ |
65 |
| 4 小红书 |
手动+OCR |
P2 |
⭐⭐⭐⭐ |
55 |
| 5 视频号 |
企业微信 |
P2 |
⭐⭐⭐⭐⭐ |
待评估 |
二、技术实现规范
2.1 架构设计
数据采集层
├── 定时任务 (node-cron)
├── API 调用 (axios)
├── 登录管理 (cheerio/puppeteer)
└── 数据存储 (sqlite)
2.2 统一数据模型
interface PlatformMetrics {
platform: 'douyin' | 'kuaishou' | 'bilibili' | 'xiaohongshu' | 'weixin';
video_id: string;
video_title: string;
publish_time: number;
// 基础数据
views: number;
unique_viewers: number;
// 互动数据
likes: number;
comments: number;
shares: number;
favorites: number;
// 深度数据
completion_rate?: number;
avg_watch_time?: number;
ctr?: number;
// 情感数据
sentiment_score?: number;
top_comments?: string[];
}
2.3 字段映射表
| 字段名 |
抖音 |
快手 |
B站 |
小红书 |
视频号 |
| 播放量 |
play_count |
play |
play |
曝光 |
播放量 |
| 完播率 |
finish_rate |
finish_rate |
- |
- |
- |
| 点赞 |
like_count |
like |
like |
点赞 |
点赞 |
| 评论 |
comment_count |
comment |
reply |
评论 |
评论 |
| 转发 |
share_count |
share |
coins |
分享 |
转发 |
三、情感分析方案
3.1 推荐方案
| 方案 |
模型 |
准确率 |
部署难度 |
评分 |
| SnowNLP |
RNN |
75% |
⭐ |
⭐⭐⭐⭐⭐ |
| TextBlob |
规则 |
70% |
⭐ |
⭐⭐⭐⭐ |
| ChatAPI |
LLM |
85% |
⭐⭐ |
⭐⭐⭐⭐ |
| 百度情感倾向分析 |
REST |
90% |
免费 |
⭐⭐⭐⭐⭐ |
3.2 批量分析实现
const SnowNLP = require('snownlp');
function analyzeSentiment(text) {
const sn = new SnowNLP(text);
return {
sentiment: sn.sentiments > 0.5 ? 'positive' : 'negative',
score: sn.sentiments
};
}
function batchAnalyze(comments) {
const results = comments.map(c => ({
text: c,
...analyzeSentiment(c)
}));
const positive = results.filter(r => r.sentiment === 'positive').length;
return { results, positive, positiveRate: positive / results.length };
}
四、定时任务配置
| 平台 |
Cron 表达式 |
说明 |
| 抖音 |
0 2 * * * |
每日凌晨2点 |
| B站 |
0 3 * * * |
每日凌晨3点 |
| 快手 |
0 4 * * 0 |
每周日凌晨4点 |
五、Benchmark 基线
行业平均水平
| 指标 |
基线值 |
| API 覆盖率 |
60% |
| 数据完整率 |
75% |
| 技术可行性 |
70% |
| 综合得分 |
70分 |
达标要求
- Good: score >= 70
- Bad: score
六、实施建议
Week 1: 抖音 API 接入
- [ ] 注册抖音开放平台开发者
- [ ] 创建应用获取 client_id
- [ ] 实现 OAuth 授权流程
- [ ] 调用 video/list 接口
- [ ] 存储数据到本地
Week 2: B站 API 接入
- [ ] 阅读 B站 API 文档
- [ ] 实现视频信息获取
- [ ] 获取评论数据
- [ ] 对接情感分析
Week 3: 自动化采集
- [ ] 搭建定时任务系统
- [ ] 实现多平台数据聚合
- [ ] 构建数据看板
- [ ] 添加告警机制
七、避坑指南
❌ 不推荐
- 硬爬抖音页面 - 反爬严格,易封号
- 使用未知第三方工具 - 数据安全风险
- 高频请求 - 违反平台规则
✅ 推荐
- 使用官方 API - 合规稳定
- 定时采集 - 避免高频
- 本地缓存 - 减少请求
- 官方文档优先 - 最准确
八、验收标准
| 指标 |
目标值 |
| 平台接入数 |
>= 3 |
| 数据覆盖率 |
>= 80% |
| 自动化程度 |
定时任务 |
| 综合评分 |
>= 75 |
九、版本信息
- 版本: v1.0
- 日期: 2026-03-30
- 基于: hunt/knowhow.md, hunt/toplist.md, hunt/crawl/api_config.md