elite_04_anticrawling.md
2.2 KB
微博反爬机制应对指南
概述
本文档总结微博平台的主要反爬机制及其应对策略。
1. User-Agent 检测
机制
- 服务器检查 HTTP 请求头中的 User-Agent 字段
- 识别非浏览器客户端
应对策略
# 轮换 User-Agent
USER_AGENTS = [
"Mozilla/5.0 (iPhone; CPU iPhone OS 16_0 like Mac OS X)...",
"Mozilla/5.0 (Windows NT 10.0; Win64; x64)...",
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)..."
]
2. IP 限流
机制
- 单 IP 请求频率超过阈值时返回 403
- 短时间大量请求触发
应对策略
- 代理池: 使用 luminati、smartproxy 等
- 限速: 控制请求频率 10req/s 以下
- 随机延迟: 添加随机等待时间
import random
import time
def fetch_with_delay(url):
time.sleep(random.uniform(1, 3))
return requests.get(url)
3. Cookie 验证
机制
- 需要有效登录态 Cookie
- Cookie 过期或无效时返回登录页面
应对策略
# Cookie 池管理
COOKIE_POOL = [
{"cookie": "SUB=xxx1", "expire_time": "2026-03-29"},
{"cookie": "SUB=xxx2", "expire_time": "2026-03-30"}
]
def get_valid_cookie():
for c in COOKIE_POOL:
if c["expire_time"] > now:
return c["cookie"]
# 触发登录刷新
4. 请求频率限制
机制
- 单 IP QPS 限制
- 行为分析(访问模式)
应对策略
- 限速器: 使用 Redis/本地限速
- 随机化: 请求间隔随机化
- 分布式: 多 IP 轮换
5. 验证码
机制
- 异常行为触发验证码
- 登录/频繁操作时出现
应对策略
- 打码平台 API (超级鹰、打码兔)
- 机器学习模型识别
- 降低请求频率避免触发
反爬强度评估
| 端点 | 反爬强度 | 绕过难度 |
|---|---|---|
| m.weibo.cn | 低 | 易 |
| weibo.com/ajax | 中 | 中 |
| weibo.com/tv | 高 | 难 |
最佳实践
- 优先使用移动端API - 反爬最弱
- 建立代理池 - 避免 IP 被封
- 维护Cookie池 - 确保登录态有效
- 控制请求频率 - 避免触发限制
- 日志监控 - 及时发现异常
文档生成时间:2026-03-28