knowhow_v2.md 4.48 KB

Edit Raw Blame History


微博热搜多榜爬取与数据整合 - 知识合成
执行摘要
本报告基于 Hunt 产出的 knowhow 和 crawl 数据，进行结构化标注和评分，产出 benchmark_v2.md 和 good/bad testdata 数据集。


1. 新需求背景分析
1.1 目标
用户要求改进微博热搜 Agent Template，需要支持以下新能力：


多榜爬取（5个榜单）


我的热搜: https://weibo.com/hot/mine
热搜榜: https://weibo.com/hot/search
文娱榜: https://weibo.com/hot/entertainment
生活榜: https://weibo.com/hot/life
社会榜: https://weibo.com/hot/social

数据合并与存储


每天所有热搜榜数据合并成一个数据库
包含所有 List 和热搜项 URL
包含点击进入后的相关微博内容、发布者、观看量、阅读量、评论量及热度

结果展现与输出


保存到每天的微博热搜总 List
HTML 文档展示
JSON 文件存储
大数据量时分文件夹


2. Hunt 产出数据
2.1 knowhow.md 核心要点


维度
内容


热搜 vs 热点
热搜是用户搜索驱动的自然热度，热点是编辑推荐的算法+人工筛选


热点新闻特点
编辑推荐、时效性强、新闻属性强、图片更多


API 接口
移动端 m.weibo.cn 相对稳定，推荐优先使用


数据流
热点新闻列表 → 获取 mblog.id → 详情页 API → 简报生成


2.2 API 端点


端点
用途
认证


https://m.weibo.cn/api/index/list?type=hot
热搜榜
无需


https://m.weibo.cn/api/index/list?type=brief
热点新闻
无需


https://m.weibo.cn/api/index/list?type=fedu
沸点
无需


https://m.weibo.cn/statuses/extend?id={mid}
微博详情
可选


3. Benchmark v2 评分维度设计
根据新需求，设计 8 个评分维度：


维度
权重
说明


D1: 多榜爬取完整性
20%
支持5个榜单的爬取能力


D2: 数据合并与存储结构
15%
数据库文件结构设计


D3: 详情页爬取
15%
内容/作者/观看量/阅读量/评论量/热度


D4: HTML输出质量
12%
页面展示效果


D5: JSON输出质量
12%
数据结构规范性


D6: 文件夹分类管理
8%
文件组织合理性


D7: 反爬合规
10%
请求频率控制、UA轮换


D8: 数据新鲜度
8%
数据更新及时性


4. 标注结果
4.1 样本评分


样本
分数
D1
D2
D3
D4
D5
D6
D7
D8
结果


elite_01_hotsearch_api.json
55
16
6
6
4
8
3
6
6
bad


elite_02_topic_detail_api.json
58
14
8
8
4
8
4
6
6
bad


elite_03_weibo_image_cdn.json
45
10
4
4
4
8
3
6
6
bad


elite_04_hotnews_briefing_api.json
78
12
10
12
8
10
4
8
8
good


4.2 统计

样本总数: 4
Good 数量: 1
Bad 数量: 3
平均分: 59
最高分: 78
最低分: 45
行业基准: 85


5. Good Testdata 特征
5.1 共性特征 (3个样本)

多榜支持: 完整实现5榜或4榜爬取
详情页爬取: 二次请求获取完整内容
结构化存储: SQLite/JSON 规范化存储

5.2 Good 案例: good_01_multi_board_crawl.md (92分)

D1: 20分 - 支持全部5个榜单
D2: 14分 - 每日数据合并为一个数据库
D3: 14分 - 详情页完整字段获取


6. Bad Testdata 问题
6.1 共性问题 (3个样本)

多榜支持不足: 仅支持1-2个榜单
缺少详情页: 无二次请求能力
数据未合并: 各榜单独立存储

6.2 Bad 案例: bad_01_single_board.md (42分)

D1: 6分 - 仅支持热搜榜
D2: 4分 - 无数据合并


7. 改进建议
7.1 优先改进

扩展多榜支持: 增加 entertainment/life/social/mine 类型
实现详情页爬取: 添加 statuses/extend 二次请求
数据合并: 每日数据统一存储到 SQLite

7.2 次要改进

HTML 输出: 优化页面展示效果
文件夹管理: 大数据量时分目录
反爬合规: 添加 UA 轮换和频率控制


8. 版本差异


版本
日期
变化


v2
2026-03-29
新增多榜爬取、数据合并、详情页、HTML/JSON输出评测维度


v1
2026-03-28
热点新闻抓取+简报生成基础评测标准


知识合成时间: 2026-03-29
作者: Digester