# Global Trend Scout: Knowhow ## 概述 Global Trend Scout 技能用于监控 TikTok、Instagram Reels、YouTube Shorts 三大短视频平台的趋势内容。通过多源数据采集和分析,识别热门内容、流行 BGM、转场特效和热门 IP 风格。 --- ## 一、平台概述与趋势发现机制 ### 1.1 TikTok | 维度 | 说明 | |------|------| | **官方数据源** | TikTok Creative Center (creative.tiktok.com) | | **核心指标** | 播放量、点赞数、分享数、评论数 | | **趋势标签** | #fyp, #trending, #viral | | **更新频率** | 每小时 | | **难度** | ⭐⭐⭐ (反爬较严,需官方 API 或 scrapling) | **趋势发现路径**: 1. TikTok Creative Center → Top Videos / Music / Hashtags 2. Discover 页面热门话题 3. 创作者市场 BGM 排行榜 ### 1.2 Instagram Reels | 维度 | 说明 | |------|------| | **官方数据源** | Instagram Explore (instagram.com/explore) | | **核心指标** | 观看次数、点赞数、保存数 | | **趋势标签** | #reels, #trending, #fyp | | **更新频率** | 每2小时 | | **难度** | ⭐⭐⭐⭐ (强反爬,需官方 API 或 scrapling) | **趋势发现路径**: 1. Instagram Explore 页面 2. Reels 标签页热门内容 3. 创作者账号 Reels 分析 ### 1.3 YouTube Shorts | 维度 | 说明 | |------|------| | **官方数据源** | YouTube Shorts Feed (youtube.com/shorts) | | **核心指标** | 观看次数、点赞数、评论数 | | **趋势标签** | #Shorts, #viral | | **更新频率** | 每2小时 | | **难度** | ⭐⭐ (反爬中等) | **趋势发现路径**: 1. YouTube Shorts 首页推荐 2. Shorts 标签页趋势 3. YouTube Trending 页面 --- ## 二、采集技术栈 ### 2.1 技术选型 | 技术 | 用途 | |------|------| | **Scrapling** | 无头浏览器 + 反检测绕过 (首选) | | **Puppeteer** | 浏览器自动化 (备选) | | **TikTok API** | 官方数据接口 (需申请) | | **Instagram Graph API** | 官方数据接口 (需申请) | | **YouTube Data API** | 官方数据接口 | ### 2.2 Scrapling 配置 ```python from scrapling import StealthyFetcher fetcher = StealthyFetcher( fingerprint='tiktok', # 使用预置指纹 proxy=proxy_url, # 可选代理 timeout=30 ) ``` ### 2.3 请求频率控制 - **安全阈值**: 20-50 请求/分钟 - **延迟**: 2-3 秒每次请求 - **重试**: 3 次,指数退避 --- ## 三、数据模型 ### 3.1 趋势视频结构 ```json { "source": { "platform": "tiktok", "category": "dance", "video_id": "abc123", "url": "https://www.tiktok.com/@user/video/abc123" }, "metrics": { "likes": 1250000, "comments": 8500, "shares": 45000, "views": 8500000, "play_count": 9200000 }, "content": { "title": "Original Sound - Artist", "description": "#dance #fyp #viral", "tags": ["dance", "fyp", "viral"], "duration": 15, "bgm": "Original Sound - Artist", "transitions": ["zoom", "spin"] }, "author": { "username": "creator_name", "followers": 5200000, "verified": true }, "trend": { "hot_rank": 1, "trend_direction": "up", "reason": "使用新转场特效" }, "analysis": { "ip_style": "superhero", "audience_demographics": "18-25 female", "viral_factors": ["bgm", "dance", "aesthetic"] } } ``` ### 3.2 趋势音乐结构 ```json { "id": "music_123", "title": "Popular Sound", "artist": "Artist Name", "platform": "tiktok", "usage_count": 2500000, "trending_since": "2025-03-01", "categories": ["dance", "comedy"] } ``` ### 3.3 趋势话题结构 ```json { "id": "hashtag_123", "tag": "fyp", "platform": "tiktok", "view_count": 15000000000, "video_count": 8500000, "trend_direction": "stable", "related_tags": ["foryou", "fyp"] } ``` --- ## 四、工作流程 ### 4.1 采集流程图 ``` 输入: (platform, category, limit) │ ▼ ┌─────────────────┐ │ 验证 API Key │ ── 存在 ──→ 调用官方 API └────────┬────────┘ │不存在 ▼ ┌─────────────────┐ │ 使用 Scrapling │ ── 成功 ──→ 数据清洗 └────────┬────────┘ │失败 ▼ ┌─────────────────┐ │ 切换代理重试 │ ── 3次失败 ──→ 求援 human-request └─────────────────┘ ``` ### 4.2 执行步骤 1. **接收采集请求** (platform, category, limit) 2. **检查 API Key** - 优先官方 API,否则 scrapling 3. **数据采集** - 并行抓取多个数据源 4. **数据清洗** - 去重、标准化、字段提取 5. **热度排序** - 按综合分数排序 6. **标签标注** - BGM/特效/IP风格标签 7. **生成报告** - JSON/CSV 输出 --- ## 五、热门内容类型 ### 5.1 TikTok 主流派 | 类型 | 热度 | 生命周期 | |------|------|----------| | 舞蹈挑战 | ⭐⭐⭐⭐⭐ | 2-4周 | | 对嘴型 | ⭐⭐⭐⭐ | 1-2周 | | 教程/技巧 | ⭐⭐⭐⭐ | 4-8周 | | 喜剧/恶搞 | ⭐⭐⭐⭐⭐ | 2-4周 | | 生活方式 | ⭐⭐⭐ | 持续 | ### 5.2 Instagram Reels 主流派 | 类型 | 热度 | 生命周期 | |------|------|----------| | 健身/瑜伽 | ⭐⭐⭐⭐⭐ | 2-6周 | | 美食教程 | ⭐⭐⭐⭐ | 2-4周 | | 时尚穿搭 | ⭐⭐⭐⭐ | 4-8周 | | 旅行/生活方式 | ⭐⭐⭐ | 持续 | ### 5.3 YouTube Shorts 主流派 | 类型 | 热度 | 生命周期 | |------|------|----------| | reaction | ⭐⭐⭐⭐⭐ | 1-4周 | | 剧集/连续剧 | ⭐⭐⭐⭐ | 4-12周 | | 游戏/电竞 | ⭐⭐⭐⭐⭐ | 2-6周 | | 知识/科普 | ⭐⭐⭐⭐ | 4-12周 | --- ## 六、热门 IP 风格 (欧美) | 风格 | 平台 | 说明 | |------|------|------| | 狼人/Werewolf | TikTok | 暗黑、神秘、浪漫 | | 吸血鬼/Vampire | TikTok | 哥特、复古 | | 超级英雄 | 各平台 | DC/Marvel 风格 | | 高中/校园 | Instagram | 美剧校园风 | | 韩国流行/K-Pop | 各平台 | 韩流文化 | --- ## 七、BGM 追踪 ### 7.1 发现路径 1. **官方音乐榜** - TikTok Sound, Instagram Audio, YouTube Music 2. **热门视频分析** - 分析 top 100 视频的 BGM 使用 3. **创作者推荐** - 关注头部创作者的最新使用 ### 7.2 分类标准 | 类别 | 标签 | |------|------| | 原声 | original | | 授权音乐 | licensed | | remix | remix | | Sound API | sound_cloud | --- ## 八、跨平台分析 ### 8.1 热度对比矩阵 ```json { "cross_platform": { "tiktok": { "likes": 1250000, "shares": 45000 }, "instagram": { "likes": 850000, "saves": 32000 }, "youtube": { "likes": 420000, "comments": 8500 } }, "correlation": "high", "first_platform": "tiktok", "spread_time": "2-3 days" } ``` ### 8.2 内容迁移规律 - **TikTok → Instagram**: 1-3天内传播 - **TikTok → YouTube**: 3-7天内传播 - **Instagram → TikTok**: 1-2天内反向传播 --- ## 九、常见陷阱与解决方案 ### 9.1 反爬机制 | 问题 | 解决方案 | |------|----------| | Cloudflare 盾 | 使用 StealthyFetcher | | 账号限制 | 申请官方 API | | IP 封禁 | 切换代理池 | | 验证码 | 人工打码服务 | ### 9.2 数据质量 | 问题 | 解决方案 | |------|----------| | 数据延迟 | 降低采集频率要求 | | 缺失字段 | 标记 optional,允许空值 | | 编码错误 | 使用 UTF-8 + 转义处理 | --- ## 十、Rate Limits | 平台 | 限制 | 建议延迟 | |------|------|----------| | TikTok API | 100次/分钟 | 1秒 | | Instagram | 60次/小时 | 2秒 | | YouTube | 10000单位/天 | 1秒 | --- ## 输出协议 - **knowhow.md**: 本文档 (方法论) - **toplist.md**: 排行榜与下载来源 - **crawl/**: 爬取的原始数据文件 --- ## 参考 SKILL - `scrapling_crawler`: 通用网页抓取 - `tiktok_api`: TikTok 数据采集 - `instagram_api`: Instagram 数据采集 --- _Generated: 2026-03-30_