knowhow.md 4.2 KB

Data Harvester 知识合成

基于 hunt 产出的知识整合


一、核心能力图谱

平台数据获取能力矩阵

平台 推荐方案 优先级 技术可行性 评分
🥇 抖音 官方 API P0 ⭐⭐ 88
🥈 B站 Open API P0 ⭐⭐ 85
🥉 快手 手动导出 P1 ⭐⭐⭐ 65
4 小红书 手动+OCR P2 ⭐⭐⭐⭐ 55
5 视频号 企业微信 P2 ⭐⭐⭐⭐⭐ 待评估

二、技术实现规范

2.1 架构设计

数据采集层
├── 定时任务 (node-cron)
├── API 调用 (axios)
├── 登录管理 (cheerio/puppeteer)
└── 数据存储 (sqlite)

2.2 统一数据模型

interface PlatformMetrics {
  platform: 'douyin' | 'kuaishou' | 'bilibili' | 'xiaohongshu' | 'weixin';
  video_id: string;
  video_title: string;
  publish_time: number;

  // 基础数据
  views: number;
  unique_viewers: number;

  // 互动数据
  likes: number;
  comments: number;
  shares: number;
  favorites: number;

  // 深度数据
  completion_rate?: number;
  avg_watch_time?: number;
  ctr?: number;

  // 情感数据
  sentiment_score?: number;
  top_comments?: string[];
}

2.3 字段映射表

字段名 抖音 快手 B站 小红书 视频号
播放量 play_count play play 曝光 播放量
完播率 finish_rate finish_rate - - -
点赞 like_count like like 点赞 点赞
评论 comment_count comment reply 评论 评论
转发 share_count share coins 分享 转发

三、情感分析方案

3.1 推荐方案

方案 模型 准确率 部署难度 评分
SnowNLP RNN 75% ⭐ ⭐⭐⭐⭐⭐
TextBlob 规则 70% ⭐ ⭐⭐⭐⭐
ChatAPI LLM 85% ⭐⭐ ⭐⭐⭐⭐
百度情感倾向分析 REST 90% 免费 ⭐⭐⭐⭐⭐

3.2 批量分析实现

const SnowNLP = require('snownlp');

function analyzeSentiment(text) {
  const sn = new SnowNLP(text);
  return {
    sentiment: sn.sentiments > 0.5 ? 'positive' : 'negative',
    score: sn.sentiments
  };
}

function batchAnalyze(comments) {
  const results = comments.map(c => ({
    text: c,
    ...analyzeSentiment(c)
  }));

  const positive = results.filter(r => r.sentiment === 'positive').length;
  return { results, positive, positiveRate: positive / results.length };
}

四、定时任务配置

平台 Cron 表达式 说明
抖音 0 2 * * * 每日凌晨2点
B站 0 3 * * * 每日凌晨3点
快手 0 4 * * 0 每周日凌晨4点

五、Benchmark 基线

行业平均水平

指标 基线值
API 覆盖率 60%
数据完整率 75%
技术可行性 70%
综合得分 70分

达标要求

  • Good: score >= 70
  • Bad: score

六、实施建议

Week 1: 抖音 API 接入

  • [ ] 注册抖音开放平台开发者
  • [ ] 创建应用获取 client_id
  • [ ] 实现 OAuth 授权流程
  • [ ] 调用 video/list 接口
  • [ ] 存储数据到本地

Week 2: B站 API 接入

  • [ ] 阅读 B站 API 文档
  • [ ] 实现视频信息获取
  • [ ] 获取评论数据
  • [ ] 对接情感分析

Week 3: 自动化采集

  • [ ] 搭建定时任务系统
  • [ ] 实现多平台数据聚合
  • [ ] 构建数据看板
  • [ ] 添加告警机制

七、避坑指南

❌ 不推荐

  1. 硬爬抖音页面 - 反爬严格,易封号
  2. 使用未知第三方工具 - 数据安全风险
  3. 高频请求 - 违反平台规则

✅ 推荐

  1. 使用官方 API - 合规稳定
  2. 定时采集 - 避免高频
  3. 本地缓存 - 减少请求
  4. 官方文档优先 - 最准确

八、验收标准

指标 目标值
平台接入数 >= 3
数据覆盖率 >= 80%
自动化程度 定时任务
综合评分 >= 75

九、版本信息

  • 版本: v1.0
  • 日期: 2026-03-30
  • 基于: hunt/knowhow.md, hunt/toplist.md, hunt/crawl/api_config.md