Data Harvester 知识手册
训练使用 OpenClaw 登录各平台后台,抓取播放量、完播率、CTR 及用户评论情感的能力
概述
Data Harvester 是 LemonAI 系统中的数据猎取专家,专门负责从各大短视频平台(抖音、快手、B站、小红书、视频号)后台获取关键运营数据:播放量、完播率、CTR、用户评论及情感分析。
一、平台数据获取全景图
1.1 核心平台对比
| 平台 |
数据后台 |
登录方式 |
API支持 |
数据字段 |
难度 |
| 抖音 |
创作者服务平台 |
抖音账号 OAuth |
开放 |
播放/完播/粉丝 |
⭐⭐ |
| 快手 |
快手创作者服务平台 |
手机/邮箱 |
部分开放 |
播放/互动 |
⭐⭐⭐ |
| B站 |
创作中心 |
账号密码/OAuth |
Open API |
播放/三连/弹幕 |
⭐⭐ |
| 小红书 |
专业号后台 |
账号密码 |
受限 |
笔记数据 |
⭐⭐⭐⭐ |
| 视频号 |
微信视频号后台 |
微信扫码 |
企业微信 |
播放/分享 |
⭐⭐⭐⭐⭐ |
1.2 数据类型矩阵
数据维度
├── 基础数据
│ ├── 播放量 (Views)
│ ├── 播放人数 (Unique Viewers)
│ └── 粉丝数 (Followers)
├── 互动数据
│ ├── 点赞 (Likes)
│ ├── 评论 (Comments)
│ ├── 转发/分享 (Shares)
│ └── 收藏 (Favorites)
├── 深度数据
│ ├── 完播率 (Completion Rate)
│ ├── 平均观看时长 (Avg Watch Time)
│ ├── CTR (Click-Through Rate)
│ └── 留存率 (Retention)
└── 情感数据
├── 评论文本 (Comment Text)
├── 情感倾向 (Sentiment)
└── 热点话题 (Hot Topics)
二、各平台数据获取方案
2.1 抖音开放平台
官方 API
| 接口 |
路径 |
权限 |
数据 |
| 视频数据 |
/video/list |
scope |
播放量、点赞、评论 |
| 粉丝数据 |
/fans/list |
scope |
粉丝画像 |
| 作品分析 |
/poi/video/analytics |
scope |
地域分布 |
| 评论数据 |
/video/comment/list |
scope |
评论文本 |
登录流程
1. 注册应用 → 获取 client_id/client_secret
2. 引导用户授权 → redirect_uri
3. 获取授权码 → code
4. 换取访问令牌 → access_token
5. 调用 API → 获取数据
关键字段
{
"play_count": "播放量",
"like_count": "点赞数",
"comment_count": "评论数",
"share_count": "分享数",
"finish_rate": "完播率",
"avg_time": "平均观看时长(秒)"
}
2.2 快手创作者服务平台
登录方式
数据字段
- 播放量、粉丝数、收益数据
- 作品表现详情
- 粉丝画像(年龄、地域)
注意事项
- 快手对爬虫限制严格
- 建议使用官方后台导出功能
- 可申请数据开放接口
2.3 B站创作中心
Open API
| 接口 |
说明 |
| /x/vinfo |
视频信息 |
| /x/stat |
播放/点赞/收藏/弹幕 |
| /x/reply |
评论列表 |
| /x/v/dashboard |
数据看板 |
数据亮点
- 三连数据(投币、点赞、收藏)
- 弹幕数据
- 实时在线观看
2.4 小红书专业号
后台数据
获取方式
- 后台手动导出(csv/json)
- 按月/按篇查询
- 暂未开放公开API
2.5 视频号
企业微信获取
- 方式: 视频号助手 + 企业微信
- 数据: 播放量、转发、社交裂变
- 限制: 需绑定企业微信
三、OpenClaw 集成方案
3.1 架构设计
OpenClaw 集成层
├── 登录管理器 (Login Manager)
│ ├── 抖音 OAuth 处理器
│ ├── 快手 Cookie 管理
│ ├── B站 Token 管理
│ └── 小红书 Session 管理
├── 数据采集器 (Data Collector)
│ ├── 定时任务调度
│ ├── API 调用封装
│ └── 页面解析引擎
├── 数据处理层 (Data Processor)
│ ├── 数据清洗
│ ├── 字段映射
│ └── 情感分析
└── 存储层 (Storage)
├── SQLite 本地存储
└── 云端同步
3.2 登录认证最佳实践
抖音 OAuth 实现
// Step 1: 生成授权链接
const authUrl = `https://open.douyin.com/oauth/authorize/?client_id=${CLIENT_ID}&redirect_uri=${REDIRECT_URI}&scope=user_info_baseinfo`;
// Step 2: 交换令牌
const tokenResponse = await fetch('https://open.douyin.com/oauth/access_token/', {
method: 'POST',
body: JSON.stringify({
client_key: CLIENT_ID,
client_secret: CLIENT_SECRET,
code: authCode,
grant_type: 'authorization_code'
})
});
3.3 定时采集策略
| 平台 |
采集频率 |
推荐时段 |
备注 |
| 抖音 |
每日1次 |
02:00 |
API限流 |
| 快手 |
每周1次 |
手动导出 |
限制较严 |
| B站 |
每日1次 |
03:00 |
API稳定 |
| 小红书 |
每周1次 |
手动 |
无API |
| 视频号 |
每日1次 |
01:00 |
需企业微信 |
四、评论情感分析
4.1 分析流程
评论数据 → 预处理 → 分词 → 情感判定 → 聚合统计
↓ ↓ ↓ ↓
获取 清洗去噪 TF-IDF 正面/中性/负面
4.2 情感模型
| 类别 |
特征词 |
权重 |
| 正面 |
喜欢、太棒了、爱上、感动 |
+1.0 |
| 中性 |
不错、还行、一般 |
0 |
| 负面 |
失望、垃圾、无语、后悔 |
-1.0 |
4.3 实现示例
function analyzeSentiment(comments) {
const positiveWords = ['喜欢', '太棒', '爱上', '感动', '支持'];
const negativeWords = ['失望', '垃圾', '无语', '后悔', '坑'];
return comments.map(comment => {
const score = calculateScore(comment, positiveWords, negativeWords);
return { text: comment, sentiment: score > 0 ? 'positive' : score < 0 ? 'negative' : 'neutral' };
});
}
五、数据字段规范
5.1 统一数据模型
interface PlatformMetrics {
platform: 'douyin' | 'kuaishou' | 'bilibili' | 'xiaohongshu' | 'weixin';
video_id: string;
video_title: string;
publish_time: number;
// 基础数据
views: number;
unique_viewers: number;
// 互动数据
likes: number;
comments: number;
shares: number;
favorites: number;
// 深度数据
completion_rate?: number;
avg_watch_time?: number;
ctr?: number;
// 情感数据
sentiment_score?: number;
top_comments?: string[];
}
5.2 字段映射表
| 字段名 |
抖音 |
快手 |
B站 |
小红书 |
视频号 |
| 播放量 |
play_count |
play |
play |
曝光 |
播放量 |
| 完播率 |
finish_rate |
finish_rate |
- |
- |
- |
| 点赞 |
like_count |
like |
like |
点赞 |
点赞 |
| 评论 |
comment_count |
comment |
reply |
评论 |
评论 |
| 转发 |
share_count |
share |
coins |
分享 |
转发 |
六、常见陷���与规避
6.1 平台限制
| 平台 |
限制 |
规避方案 |
| 抖音 |
API限流 |
轮询+缓存 |
| 快手 |
反爬 |
使用官方后台导出 |
| B站 |
登录态 |
定期刷新cookie |
| 小红书 |
无API |
手动+OCR辅助 |
| 视频号 |
企业微信绑定 |
按企业微信要求操作 |
6.2 数据一致性
- 时区问题: 统一使用 UTC+8
- 计数差异: 以各平台官方数据为准
- 延迟问题: 数据有 15min-24h 延迟
七、学习路径
入门 (Week 1)
- 完成抖音开放平台开发者入驻
- 实现 OAuth 登录流程
- 获取基础 video list 数据
进阶 (Week 2)
- 接入 B站 Open API
- 实现定时数据采集
- 构建本地数据存储
精通 (Week 3)
- 扩展快手/小红书后台
- 实现评论情感分析
- 构建数据看板
八、参考资料
九、核心洞察
9.1 平台选择优先级
推荐优先级: 抖音 > B站 > 快手 > 小红书 > 视频号
原因:
- 抖音API最完善,文档最清晰
- B站数据最实时且稳定
- 快手/小红书需要手动操作
- 视频号限制最多
9.2 登录认证关键点
- 抖音 OAuth: 最标准,需提前在开放平台注册应用
- B站 Cookie: 只需 SESSDATA,无需复杂授权
- 快手: 建议手动后台导出
- 小红书: 无公开API,考虑 OCR 方案
- 视频号: 必须企业微信绑定
9.3 数据准确性陷阱
- 各平台计数口径不同: 抖音"播放"vs B站"播放"定义不同
- 完播率计算: 各平台算法不一致
- 数据延迟: 抖音15min,B站实时,快手1h
- 去重策略: Unique viewers vs 播放次数
9.4 情感分析建议
- 简单场景: 使用 SnowNLP (75%准确率)
- 商业场景: 使用百度文心/阿里NLP API (90%准确率)
- 实时性: 建议每日采集后定时分析
9.5 自动化实施建议
- 先从抖音 API 接入开始,成功率高
- B站作为第二接入目标,数据互补
- 定时任务建议凌晨执行,避免限流
- 做好数据缓存,减少API调用
- 建议本地 SQLite 存储,逐步扩展云端