elite_04_anticrawling.md 2.2 KB

微博反爬机制应对指南

概述

本文档总结微博平台的主要反爬机制及其应对策略。


1. User-Agent 检测

机制

  • 服务器检查 HTTP 请求头中的 User-Agent 字段
  • 识别非浏览器客户端

应对策略

# 轮换 User-Agent
USER_AGENTS = [
    "Mozilla/5.0 (iPhone; CPU iPhone OS 16_0 like Mac OS X)...",
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64)...",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)..."
]

2. IP 限流

机制

  • 单 IP 请求频率超过阈值时返回 403
  • 短时间大量请求触发

应对策略

  • 代理池: 使用 luminati、smartproxy 等
  • 限速: 控制请求频率 10req/s 以下
  • 随机延迟: 添加随机等待时间
import random
import time

def fetch_with_delay(url):
    time.sleep(random.uniform(1, 3))
    return requests.get(url)

机制

  • 需要有效登录态 Cookie
  • Cookie 过期或无效时返回登录页面

应对策略

# Cookie 池管理
COOKIE_POOL = [
    {"cookie": "SUB=xxx1", "expire_time": "2026-03-29"},
    {"cookie": "SUB=xxx2", "expire_time": "2026-03-30"}
]

def get_valid_cookie():
    for c in COOKIE_POOL:
        if c["expire_time"] > now:
            return c["cookie"]
    # 触发登录刷新

4. 请求频率限制

机制

  • 单 IP QPS 限制
  • 行为分析(访问模式)

应对策略

  • 限速器: 使用 Redis/本地限速
  • 随机化: 请求间隔随机化
  • 分布式: 多 IP 轮换

5. 验证码

机制

  • 异常行为触发验证码
  • 登录/频繁操作时出现

应对策略

  • 打码平台 API (超级鹰、打码兔)
  • 机器学习模型识别
  • 降低请求频率避免触发

反爬强度评估

端点 反爬强度 绕过难度
m.weibo.cn 低 易
weibo.com/ajax 中 中
weibo.com/tv 高 难

最佳实践

  1. 优先使用移动端API - 反爬最弱
  2. 建立代理池 - 避免 IP 被封
  3. 维护Cookie池 - 确保登录态有效
  4. 控制请求频率 - 避免触发限制
  5. 日志监控 - 及时发现异常

文档生成时间:2026-03-28