knowhow.md 9.62 KB

Data Harvester 知识手册

训练使用 OpenClaw 登录各平台后台,抓取播放量、完播率、CTR 及用户评论情感的能力

概述

Data Harvester 是 LemonAI 系统中的数据猎取专家,专门负责从各大短视频平台(抖音、快手、B站、小红书、视频号)后台获取关键运营数据:播放量、完播率、CTR、用户评论及情感分析。


一、平台数据获取全景图

1.1 核心平台对比

平台 数据后台 登录方式 API支持 数据字段 难度
抖音 创作者服务平台 抖音账号 OAuth 开放 播放/完播/粉丝 ⭐⭐
快手 快手创作者服务平台 手机/邮箱 部分开放 播放/互动 ⭐⭐⭐
B站 创作中心 账号密码/OAuth Open API 播放/三连/弹幕 ⭐⭐
小红书 专业号后台 账号密码 受限 笔记数据 ⭐⭐⭐⭐
视频号 微信视频号后台 微信扫码 企业微信 播放/分享 ⭐⭐⭐⭐⭐

1.2 数据类型矩阵

数据维度
├── 基础数据
│   ├── 播放量 (Views)
│   ├── 播放人数 (Unique Viewers)
│   └── 粉丝数 (Followers)
├── 互动数据
│   ├── 点赞 (Likes)
│   ├── 评论 (Comments)
│   ├── 转发/分享 (Shares)
│   └── 收藏 (Favorites)
├── 深度数据
│   ├── 完播率 (Completion Rate)
│   ├── 平均观看时长 (Avg Watch Time)
│   ├── CTR (Click-Through Rate)
│   └── 留存率 (Retention)
└── 情感数据
    ├── 评论文本 (Comment Text)
    ├── 情感倾向 (Sentiment)
    └── 热点话题 (Hot Topics)

二、各平台数据获取方案

2.1 抖音开放平台

官方 API

接口 路径 权限 数据
视频数据 /video/list scope 播放量、点赞、评论
粉丝数据 /fans/list scope 粉丝画像
作品分析 /poi/video/analytics scope 地域分布
评论数据 /video/comment/list scope 评论文本

登录流程

1. 注册应用 → 获取 client_id/client_secret
2. 引导用户授权 → redirect_uri
3. 获取授权码 → code
4. 换取访问令牌 → access_token
5. 调用 API → 获取数据

关键字段

{
  "play_count": "播放量",
  "like_count": "点赞数",
  "comment_count": "评论数",
  "share_count": "分享数",
  "finish_rate": "完播率",
  "avg_time": "平均观看时长(秒)"
}

2.2 快手创作者服务平台

登录方式

数据字段

  • 播放量、粉丝数、收益数据
  • 作品表现详情
  • 粉丝画像(年龄、地域)

注意事项

  • 快手对爬虫限制严格
  • 建议使用官方后台导出功能
  • 可申请数据开放接口

2.3 B站创作中心

Open API

接口 说明
/x/vinfo 视频信息
/x/stat 播放/点赞/收藏/弹幕
/x/reply 评论列表
/x/v/dashboard 数据看板

数据亮点

  • 三连数据(投币、点赞、收藏)
  • 弹幕数据
  • 实时在线观看

2.4 小红书专业号

后台数据

获取方式

  • 后台手动导出(csv/json)
  • 按月/按篇查询
  • 暂未开放公开API

2.5 视频号

企业微信获取

  • 方式: 视频号助手 + 企业微信
  • 数据: 播放量、转发、社交裂变
  • 限制: 需绑定企业微信

三、OpenClaw 集成方案

3.1 架构设计

OpenClaw 集成层
├── 登录管理器 (Login Manager)
│   ├── 抖音 OAuth 处理器
│   ├── 快手 Cookie 管理
│   ├── B站 Token 管理
│   └── 小红书 Session 管理
├── 数据采集器 (Data Collector)
│   ├── 定时任务调度
│   ├── API 调用封装
│   └── 页面解析引擎
├── 数据处理层 (Data Processor)
│   ├── 数据清洗
│   ├── 字段映射
│   └── 情感分析
└── 存储层 (Storage)
    ├── SQLite 本地存储
    └── 云端同步

3.2 登录认证最佳实践

抖音 OAuth 实现

// Step 1: 生成授权链接
const authUrl = `https://open.douyin.com/oauth/authorize/?client_id=${CLIENT_ID}&redirect_uri=${REDIRECT_URI}&scope=user_info_baseinfo`;

// Step 2: 交换令牌
const tokenResponse = await fetch('https://open.douyin.com/oauth/access_token/', {
  method: 'POST',
  body: JSON.stringify({
    client_key: CLIENT_ID,
    client_secret: CLIENT_SECRET,
    code: authCode,
    grant_type: 'authorization_code'
  })
});

3.3 定时采集策略

平台 采集频率 推荐时段 备注
抖音 每日1次 02:00 API限流
快手 每周1次 手动导出 限制较严
B站 每日1次 03:00 API稳定
小红书 每周1次 手动 无API
视频号 每日1次 01:00 需企业微信

四、评论情感分析

4.1 分析流程

评论数据 → 预处理 → 分词 → 情感判定 → 聚合统计
     ↓        ↓        ↓         ↓
   获取    清洗去噪   TF-IDF   正面/中性/负面

4.2 情感模型

类别 特征词 权重
正面 喜欢、太棒了、爱上、感动 +1.0
中性 不错、还行、一般 0
负面 失望、垃圾、无语、后悔 -1.0

4.3 实现示例

function analyzeSentiment(comments) {
  const positiveWords = ['喜欢', '太棒', '爱上', '感动', '支持'];
  const negativeWords = ['失望', '垃圾', '无语', '后悔', '坑'];

  return comments.map(comment => {
    const score = calculateScore(comment, positiveWords, negativeWords);
    return { text: comment, sentiment: score > 0 ? 'positive' : score < 0 ? 'negative' : 'neutral' };
  });
}

五、数据字段规范

5.1 统一数据模型

interface PlatformMetrics {
  platform: 'douyin' | 'kuaishou' | 'bilibili' | 'xiaohongshu' | 'weixin';
  video_id: string;
  video_title: string;
  publish_time: number;

  // 基础数据
  views: number;
  unique_viewers: number;

  // 互动数据
  likes: number;
  comments: number;
  shares: number;
  favorites: number;

  // 深度数据
  completion_rate?: number;
  avg_watch_time?: number;
  ctr?: number;

  // 情感数据
  sentiment_score?: number;
  top_comments?: string[];
}

5.2 字段映射表

字段名 抖音 快手 B站 小红书 视频号
播放量 play_count play play 曝光 播放量
完播率 finish_rate finish_rate - - -
点赞 like_count like like 点赞 点赞
评论 comment_count comment reply 评论 评论
转发 share_count share coins 分享 转发

六、常见陷���与规避

6.1 平台限制

平台 限制 规避方案
抖音 API限流 轮询+缓存
快手 反爬 使用官方后台导出
B站 登录态 定期刷新cookie
小红书 无API 手动+OCR辅助
视频号 企业微信绑定 按企业微信要求操作

6.2 数据一致性

  • 时区问题: 统一使用 UTC+8
  • 计数差异: 以各平台官方数据为准
  • 延迟问题: 数据有 15min-24h 延迟

七、学习路径

入门 (Week 1)

  1. 完成抖音开放平台开发者入驻
  2. 实现 OAuth 登录流程
  3. 获取基础 video list 数据

进阶 (Week 2)

  1. 接入 B站 Open API
  2. 实现定时数据采集
  3. 构建本地数据存储

精通 (Week 3)

  1. 扩展快手/小红书后台
  2. 实现评论情感分析
  3. 构建数据看板

八、参考资料


九、核心洞察

9.1 平台选择优先级

推荐优先级: 抖音 > B站 > 快手 > 小红书 > 视频号

原因:

  • 抖音API最完善,文档最清晰
  • B站数据最实时且稳定
  • 快手/小红书需要手动操作
  • 视频号限制最多

9.2 登录认证关键点

  1. 抖音 OAuth: 最标准,需提前在开放平台注册应用
  2. B站 Cookie: 只需 SESSDATA,无需复杂授权
  3. 快手: 建议手动后台导出
  4. 小红书: 无公开API,考虑 OCR 方案
  5. 视频号: 必须企业微信绑定

9.3 数据准确性陷阱

  • 各平台计数口径不同: 抖音"播放"vs B站"播放"定义不同
  • 完播率计算: 各平台算法不一致
  • 数据延迟: 抖音15min,B站实时,快手1h
  • 去重策略: Unique viewers vs 播放次数

9.4 情感分析建议

  • 简单场景: 使用 SnowNLP (75%准确率)
  • 商业场景: 使用百度文心/阿里NLP API (90%准确率)
  • 实时性: 建议每日采集后定时分析

9.5 自动化实施建议

  1. 先从抖音 API 接入开始,成功率高
  2. B站作为第二接入目标,数据互补
  3. 定时任务建议凌晨执行,避免限流
  4. 做好数据缓存,减少API调用
  5. 建议本地 SQLite 存储,逐步扩展云端