# 微博数据清洗与结构化指南 ## 概述 本文档提供微博原始数据的清洗和结构化处理方案。 --- ## 1. 文本清洗 ### 常见问题 - 零宽字符:`\u200b`, `\u200d`, `\ufeff` - HTML 实体:`&`, `<`, `>` - 表情符号:`[哈哈]`, `[泪]` - 特殊换行:`\r\n`, `\n\r` ### 清洗代码 ```python import re from html import unescape def clean_text(text): # 1. 解码HTML实体 text = unescape(text) # 2. 去除零宽字符 text = re.sub(r'[\u200b-\u200d\ufeff]', '', text) # 3. 去除表情符号 text = re.sub(r'\[.*?\]', '', text) # 4. 统一换行符 text = text.replace('\r\n', '\n').replace('\n\r', '\n') # 5. 去除多余空白 text = re.sub(r'\s+', ' ', text).strip() return text ``` --- ## 2. 时间解析 ### 微博时间格式 - 刚刚 - 3分钟前 - 2小时前 - 昨天 12:30 - 03-27 15:30 - 2025-03-27 ### 解析代码 ```python from datetime import datetime, timedelta def parse_weibo_time(time_str): now = datetime.now() if '分钟前' in time_str: mins = int(re.search(r'(\d+)', time_str).group(1)) return now - timedelta(minutes=mins) elif '小时前' in time_str: hours = int(re.search(r'(\d+)', time_str).group(1)) return now - timedelta(hours=hours) elif '昨天' in time_str: time_part = time_str.split(' ')[1] yesterday = now - timedelta(days=1) return datetime.strptime(f"{yesterday.strftime('%Y-%m-%d')} {time_part}", "%Y-%m-%d %H:%M") elif '-' in time_str: return datetime.strptime(f"{now.year}-{time_str}", "%Y-%m-%d %H:%M") return now ``` --- ## 3. 数字标准化 ### 微博数字格式 - 1.2万 → 12000 - 10w → 100000 - 3,456 → 3456 ### 转换代码 ```python def parse_number(num_str): if '万' in num_str: return int(float(num_str.replace('万', '')) * 10000) elif 'w' in num_str.lower(): return int(float(num_str.lower().replace('w', '')) * 10000) return int(num_str.replace(',', '')) ``` --- ## 4. 数据去重 ### 基于内容 Hash ```python import hashlib def content_hash(text): return hashlib.md5(text.encode('utf-8')).hexdigest() ``` --- ## 5. 结构化输出格式 ```json { "source": { "platform": "weibo", "category": "综合", "hot_id": "#话题#", "url": "链接" }, "engagement": { "likes": 316436, "comments": 0, "shares": 0, "read_count": 0 }, "content": { "title": "标题", "text": "正文", "media_urls": [], "category_tags": ["分类"] }, "author": { "username": "用户名", "followers": 0, "verified": false }, "timestamp": "ISO时间", "metrics": { "hot_rank": 0, "hot_score": 0, "trend": "up" } } ``` --- ## 6. 清洗流程 ``` 原始数据 ↓ HTML解码 + 去除零宽字符 ↓ 表情符号清理 ↓ 特殊字符处理 ↓ 统一编码 (UTF-8) ↓ 时间标准化 ↓ 数字标准化 ↓ 去重 (Hash) ↓ 结构化输出 ``` --- *文档生成时间:2026-03-28*