# 微博热点新闻抓取+简报生成 - 知识合成

## 概述

本 knowhow 整合微博热点新闻抓取与简报生成的核心知识，包括 API 接口、数据结构、反爬策略和简报模板。

---

## 1. 核心 API 接口

### 移动端 API（推荐）

| 端点 | 用途 | 认证 |
|------|------|------|
| `https://m.weibo.cn/api/index/list?type=hot` | 热搜榜 | 无需登录 |
| `https://m.weibo.cn/api/container/getIndex?containerid=100103type%3D1%26q%3D{keyword}` | 话题搜索 | 无需登录 |
| `https://m.weibo.cn/statuses/extend?id={mid}` | 微博详情 | 可选Cookie |

### PC端 API

| 端点 | 用途 | 认证 |
|------|------|------|
| `https://weibo.com/ajax/side/hotSearch` | 热搜榜 | 需Cookie |
| `https://weibo.com/ajax/statuses/mymblog?uid={uid}` | 用户微博 | 需Cookie |

---

## 2. 数据结构

### 热搜数据结构

```json
{
  "ok": 1,
  "data": {
    "hotword": "关键词",
    "word_scheme": "URL编码",
    "num": 热度值,
    "icon": "icon类型",
    "note": "副标题"
  }
}
```

### 微博详情数据结构

```json
{
  "ok": 1,
  "data": {
    "text": "微博正文",
    "pics": [{"large": {"url": "图片URL"}}],
    "user": {
      "id": 用户ID,
      "screen_name": "用户名",
      "followers_count": 粉丝数
    },
    "reposts_count": 转发数,
    "comments_count": 评论数,
    "attitudes_count": 点赞数
  }
}
```

---

## 3. 图片 CDN

| 域名 | 用途 |
|------|------|
| `wx1.sinaimg.cn` ~ `wx4.sinaimg.cn` | 用户上传图片 |
| `ww1.sinaimg.cn` | 头像图片 |
| `cfs.sinaimg.cn` | 表情/GIF |

### URL 格式
```
https://wx1.sinaimg.cn/large/{uid}.jpg  // 大图
https://wx1.sinaimg.cn/orignal/{uid}.jpg  // 原图
https://wx1.sinaimg.cn/thumbnail/{uid}.jpg  // 缩略图
```

### 防盗链
- Referer: `https://weibo.com`

---

## 4. 反爬机制与应对

| 机制 | 特征 | 应对策略 |
|------|------|----------|
| User-Agent 检测 | 检查请求头 | 轮换 UA 字符串池 |
| IP 限流 | 短时间大量请求 | IP 代理池 |
| Cookie 验证 | 登录态校验 | 维护 Cookie 池 |
| 请求频率限制 | 单IP QPS限制 | 限速 + 随机延迟 3-5秒 |

### 最佳实践
1. **UA 轮换**：维护 5+ 个常用 UA
2. **频率控制**：请求间隔 3-5 秒，每分钟 ≤ 20 次
3. **Cookie 池**：维护多个登录态，定期轮换

---

## 5. 简报生成

### 输出格式
- **Markdown**: 适合技术文档和代码片段
- **HTML**: 适合展示和邮件简报
- **JSON**: 适合数据分析和二次处理

### 简报模板

```markdown
# 微博热搜简报 {date}

## 今日热点 TOP 10

| 排名 | 热度 | 话题 | 热度值 |
|------|------|------|--------|
| 1 | 🔥 | #话题1# | 100万 |

## 详情内容
[从详情页抓取的详细内容]

---
采集时间: {timestamp}
数据来源: weibo_hotsearch_api
```

---

## 6. 学习路径

```
Step 1: 调用移动端热搜 API
Step 2: 解析 JSON 获取话题列表
Step 3: 对每个话题调用详情 API
Step 4: 提取正文 + 图片 URL
Step 5: 生成 Markdown/HTML 简报
```

---

## 7. 常见陷阱

1. **API 突然失效**: 微博可能随时更改 API，需准备降级方案
2. **图片防盗链**: 未设置正确 Referer 导致图片无法显示
3. **频率限制**: 过于频繁请求导致 IP 被封
4. **登录态过期**: Cookie 过期导致返回 HTML 而非 JSON

---

*整合时间: 2026-03-28*