# Data Harvester 知识手册 > 训练使用 OpenClaw 登录各平台后台,抓取播放量、完播率、CTR 及用户评论情感的能力 ## 概述 Data Harvester 是 LemonAI 系统中的数据猎取专家,专门负责从各大短视频平台(抖音、快手、B站、小红书、视频号)后台获取关键运营数据:播放量、完播率、CTR、用户评论及情感分析。 --- ## 一、平台数据获取全景图 ### 1.1 核心平台对比 | 平台 | 数据后台 | 登录方式 | API支持 | 数据字段 | 难度 | |------|---------|---------|--------|---------|------| | 抖音 | 创作者服务平台 | 抖音账号 OAuth | 开放 | 播放/完播/粉丝 | ⭐⭐ | | 快手 | 快手创作者服务平台 | 手机/邮箱 | 部分开放 | 播放/互动 | ⭐⭐⭐ | | B站 | 创作中心 | 账号密码/OAuth | Open API | 播放/三连/弹幕 | ⭐⭐ | | 小红书 | 专业号后台 | 账号密码 | 受限 | 笔记数据 | ⭐⭐⭐⭐ | | 视频号 | 微信视频号后台 | 微信扫码 | 企业微信 | 播放/分享 | ⭐⭐⭐⭐⭐ | ### 1.2 数据类型矩阵 ``` 数据维度 ├── 基础数据 │ ├── 播放量 (Views) │ ├── 播放人数 (Unique Viewers) │ └── 粉丝数 (Followers) ├── 互动数据 │ ├── 点赞 (Likes) │ ├── 评论 (Comments) │ ├── 转发/分享 (Shares) │ └── 收藏 (Favorites) ├── 深度数据 │ ├── 完播率 (Completion Rate) │ ├── 平均观看时长 (Avg Watch Time) │ ├── CTR (Click-Through Rate) │ └── 留存率 (Retention) └── 情感数据 ├── 评论文本 (Comment Text) ├── 情感倾向 (Sentiment) └── 热点话题 (Hot Topics) ``` --- ## 二、各平台数据获取方案 ### 2.1 抖音开放平台 #### 官方 API - **平台**: https://open.douyin.com - **认证方式**: OAuth 2.0 (授权码模式) - **接口列表**: | 接口 | 路径 | 权限 | 数据 | |------|------|------|------| | 视频数据 | /video/list | scope | 播放量、点赞、评论 | | 粉丝数据 | /fans/list | scope | 粉丝画像 | | 作品分析 | /poi/video/analytics | scope | 地域分布 | | 评论数据 | /video/comment/list | scope | 评论文本 | #### 登录流程 ``` 1. 注册应用 → 获取 client_id/client_secret 2. 引导用户授权 → redirect_uri 3. 获取授权码 → code 4. 换取访问令牌 → access_token 5. 调用 API → 获取数据 ``` #### 关键字段 ```json { "play_count": "播放量", "like_count": "点赞数", "comment_count": "评论数", "share_count": "分享数", "finish_rate": "完播率", "avg_time": "平均观看时长(秒)" } ``` ### 2.2 快手创作者服务平台 #### 登录方式 - **Web登录**: https://creator.kuaishou.com - **API状态**: 部分开放,需申请 #### 数据字段 - 播放量、粉丝数、收益数据 - 作品表现详情 - 粉丝画像(年龄、地域) #### 注意事项 - 快手对爬虫限制严格 - 建议使用官方后台导出功能 - 可申请数据开放接口 ### 2.3 B站创作中心 #### Open API - **平台**: https://open.bilibili.com - **认证**: OAuth + 开发者认证 - **核心接口**: | 接口 | 说明 | |------|------| | /x/vinfo | 视频信息 | | /x/stat | 播放/点赞/收藏/弹幕 | | /x/reply | 评论列表 | | /x/v/dashboard | 数据看板 | #### 数据亮点 - 三连数据(投币、点赞、收藏) - 弹幕数据 - 实时在线观看 ### 2.4 小红书专业号 #### 后台数据 - **入口**: https://creator.xiaohongshu.com/creator/post - **数据**: 笔记曝光、阅���、互动 - **限制**: 需认证专业号 #### 获取方式 - 后台手动导出(csv/json) - 按月/按篇查询 - 暂未开放公开API ### 2.5 视频号 #### 企业微信获取 - **方式**: 视频号助手 + 企业微信 - **数据**: 播放量、转发、社交裂变 - **限制**: 需绑定企业微信 --- ## 三、OpenClaw 集成方案 ### 3.1 架构设计 ``` OpenClaw 集成层 ├── 登录管理器 (Login Manager) │ ├── 抖音 OAuth 处理器 │ ├── 快手 Cookie 管理 │ ├── B站 Token 管理 │ └── 小红书 Session 管理 ├── 数据采集器 (Data Collector) │ ├── 定时任务调度 │ ├── API 调用封装 │ └── 页面解析引擎 ├── 数据处理层 (Data Processor) │ ├── 数据清洗 │ ├── 字段映射 │ └── 情感分析 └── 存储层 (Storage) ├── SQLite 本地存储 └── 云端同步 ``` ### 3.2 登录认证最佳实践 #### 抖音 OAuth 实现 ```javascript // Step 1: 生成授权链接 const authUrl = `https://open.douyin.com/oauth/authorize/?client_id=${CLIENT_ID}&redirect_uri=${REDIRECT_URI}&scope=user_info_baseinfo`; // Step 2: 交换令牌 const tokenResponse = await fetch('https://open.douyin.com/oauth/access_token/', { method: 'POST', body: JSON.stringify({ client_key: CLIENT_ID, client_secret: CLIENT_SECRET, code: authCode, grant_type: 'authorization_code' }) }); ``` ### 3.3 定时采集策略 | 平台 | 采集频率 | 推荐时段 | 备注 | |------|---------|---------|------| | 抖音 | 每日1次 | 02:00 | API限流 | | 快手 | 每周1次 | 手动导出 | 限制较严 | | B站 | 每日1次 | 03:00 | API稳定 | | 小红书 | 每周1次 | 手动 | 无API | | 视频号 | 每日1次 | 01:00 | 需企业微信 | --- ## 四、评论情感分析 ### 4.1 分析流程 ``` 评论数据 → 预处理 → 分词 → 情感判定 → 聚合统计 ↓ ↓ ↓ ↓ 获取 清洗去噪 TF-IDF 正面/中性/负面 ``` ### 4.2 情感模型 | 类别 | 特征词 | 权重 | |------|-------|------| | 正面 | 喜欢、太棒了、爱上、感动 | +1.0 | | 中性 | 不错、还行、一般 | 0 | | 负面 | 失望、垃圾、无语、后悔 | -1.0 | ### 4.3 实现示例 ```javascript function analyzeSentiment(comments) { const positiveWords = ['喜欢', '太棒', '爱上', '感动', '支持']; const negativeWords = ['失望', '垃圾', '无语', '后悔', '坑']; return comments.map(comment => { const score = calculateScore(comment, positiveWords, negativeWords); return { text: comment, sentiment: score > 0 ? 'positive' : score < 0 ? 'negative' : 'neutral' }; }); } ``` --- ## 五、数据字段规范 ### 5.1 统一数据模型 ```typescript interface PlatformMetrics { platform: 'douyin' | 'kuaishou' | 'bilibili' | 'xiaohongshu' | 'weixin'; video_id: string; video_title: string; publish_time: number; // 基础数据 views: number; unique_viewers: number; // 互动数据 likes: number; comments: number; shares: number; favorites: number; // 深度数据 completion_rate?: number; avg_watch_time?: number; ctr?: number; // 情感数据 sentiment_score?: number; top_comments?: string[]; } ``` ### 5.2 字段映射表 | 字段名 | 抖音 | 快手 | B站 | 小红书 | 视频号 | |--------|------|-----|-----|-------|--------| | 播放量 | play_count | play | play |曝光 | 播放量 | | 完播率 | finish_rate | finish_rate | - | - | - | | 点赞 | like_count | like | like | 点赞 | 点赞 | | 评论 | comment_count | comment | reply | 评论 | 评论 | | 转发 | share_count | share | coins | 分享 | 转发 | --- ## 六、常见陷���与规避 ### 6.1 平台限制 | 平台 | 限制 | 规避方案 | |------|------|---------| | 抖音 | API限流 | 轮询+缓存 | | 快手 | 反爬 | 使用官方后台导出 | | B站 | 登录态 | 定期刷新cookie | | 小红书 | 无API | 手动+OCR辅助 | | 视频号 | 企业微信绑定 | 按企业微信要求操作 | ### 6.2 数据一致性 - **时区问题**: 统一使用 UTC+8 - **计数差异**: 以各平台官方数据为准 - **延迟问题**: 数据有 15min-24h 延迟 --- ## 七、学习路径 ### 入门 (Week 1) 1. 完成抖音开放平台开发者入驻 2. 实现 OAuth 登录流程 3. 获取基础 video list 数据 ### 进阶 (Week 2) 1. 接入 B站 Open API 2. 实现定时数据采集 3. 构建本地数据存储 ### 精通 (Week 3) 1. 扩展快手/小红书后台 2. 实现评论情感分析 3. 构建数据看板 --- ## 八、参考资料 - [抖音开放平台](https://open.douyin.com) - [B站开放平台](https://open.bilibili.com) - [快手创作者服务平台](https://creator.kuaishou.com) - [小红书专业号](https://creator.xiaohongshu.com) - [视频号助手](https://channels.weixin.qq.com) --- ## 九、核心洞察 ### 9.1 平台选择优先级 **推荐优先级: 抖音 > B站 > 快手 > 小红书 > 视频号** 原因: - 抖音API最完善,文档最清晰 - B站数据最实时且稳定 - 快手/小红书需要手动操作 - 视频号限制最多 ### 9.2 登录认证关键点 1. **抖音 OAuth**: 最标准,需提前在开放平台注册应用 2. **B站 Cookie**: 只需 SESSDATA,无需复杂授权 3. **快手**: 建议手动后台导出 4. **小红书**: 无公开API,考虑 OCR 方案 5. **视频号**: 必须企业微信绑定 ### 9.3 数据准确性陷阱 - 各平台计数口径不同: 抖音"播放"vs B站"播放"定义不同 - 完播率计算: 各平台算法不一致 - 数据延迟: 抖音15min,B站实时,快手1h - 去重策略: Unique viewers vs 播放次数 ### 9.4 情感分析建议 - 简单场景: 使用 SnowNLP (75%准确率) - 商业场景: 使用百度文心/阿里NLP API (90%准确率) - 实时性: 建议每日采集后定时分析 ### 9.5 自动化实施建议 1. 先从抖音 API 接入开始,成功率高 2. B站作为第二接入目标,数据互补 3. 定时任务建议凌晨执行,避免限流 4. 做好数据缓存,减少API调用 5. 建议本地 SQLite 存储,逐步扩展云端