# 微博反爬机制应对指南 ## 概述 本文档总结微博平台的主要反爬机制及其应对策略。 --- ## 1. User-Agent 检测 ### 机制 - 服务器检查 HTTP 请求头中的 User-Agent 字段 - 识别非浏览器客户端 ### 应对策略 ```python # 轮换 User-Agent USER_AGENTS = [ "Mozilla/5.0 (iPhone; CPU iPhone OS 16_0 like Mac OS X)...", "Mozilla/5.0 (Windows NT 10.0; Win64; x64)...", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)..." ] ``` --- ## 2. IP 限流 ### 机制 - 单 IP 请求频率超过阈值时返回 403 - 短时间大量请求触发 ### 应对策略 - **代理池**: 使用 luminati、smartproxy 等 - **限速**: 控制请求频率 10req/s 以下 - **随机延迟**: 添加随机等待时间 ```python import random import time def fetch_with_delay(url): time.sleep(random.uniform(1, 3)) return requests.get(url) ``` --- ## 3. Cookie 验证 ### 机制 - 需要有效登录态 Cookie - Cookie 过期或无效时返回登录页面 ### 应对策略 ```python # Cookie 池管理 COOKIE_POOL = [ {"cookie": "SUB=xxx1", "expire_time": "2026-03-29"}, {"cookie": "SUB=xxx2", "expire_time": "2026-03-30"} ] def get_valid_cookie(): for c in COOKIE_POOL: if c["expire_time"] > now: return c["cookie"] # 触发登录刷新 ``` --- ## 4. 请求频率限制 ### 机制 - 单 IP QPS 限制 - 行为分析(访问模式) ### 应对策略 - **限速器**: 使用 Redis/本地限速 - **随机化**: 请求间隔随机化 - **分布式**: 多 IP 轮换 --- ## 5. 验证码 ### 机制 - 异常行为触发验证码 - 登录/频繁操作时出现 ### 应对策略 - 打码平台 API (超级鹰、打码兔) - 机器学习模型识别 - 降低请求频率避免触发 --- ## 反爬强度评估 | 端点 | 反爬强度 | 绕过难度 | |------|----------|----------| | m.weibo.cn | 低 | 易 | | weibo.com/ajax | 中 | 中 | | weibo.com/tv | 高 | 难 | --- ## 最佳实践 1. **优先使用移动端API** - 反爬最弱 2. **建立代理池** - 避免 IP 被封 3. **维护Cookie池** - 确保登录态有效 4. **控制请求频率** - 避免触发限制 5. **日志监控** - 及时发现异常 --- *文档生成时间:2026-03-28*