elite_05_dataclean.md
3.02 KB
微博数据清洗与结构化指南
概述
本文档提供微博原始数据的清洗和结构化处理方案。
1. 文本清洗
常见问题
- 零宽字符:
\u200b,\u200d,\ufeff - HTML 实体:
&,<,> - 表情符号:
[哈哈],[泪] - 特殊换行:
\r\n,\n\r
清洗代码
import re
from html import unescape
def clean_text(text):
# 1. 解码HTML实体
text = unescape(text)
# 2. 去除零宽字符
text = re.sub(r'[\u200b-\u200d\ufeff]', '', text)
# 3. 去除表情符号
text = re.sub(r'\[.*?\]', '', text)
# 4. 统一换行符
text = text.replace('\r\n', '\n').replace('\n\r', '\n')
# 5. 去除多余空白
text = re.sub(r'\s+', ' ', text).strip()
return text
2. 时间解析
微博时间格式
- 刚刚
- 3分钟前
- 2小时前
- 昨天 12:30
- 03-27 15:30
- 2025-03-27
解析代码
from datetime import datetime, timedelta
def parse_weibo_time(time_str):
now = datetime.now()
if '分钟前' in time_str:
mins = int(re.search(r'(\d+)', time_str).group(1))
return now - timedelta(minutes=mins)
elif '小时前' in time_str:
hours = int(re.search(r'(\d+)', time_str).group(1))
return now - timedelta(hours=hours)
elif '昨天' in time_str:
time_part = time_str.split(' ')[1]
yesterday = now - timedelta(days=1)
return datetime.strptime(f"{yesterday.strftime('%Y-%m-%d')} {time_part}", "%Y-%m-%d %H:%M")
elif '-' in time_str:
return datetime.strptime(f"{now.year}-{time_str}", "%Y-%m-%d %H:%M")
return now
3. 数字标准化
微博数字格式
- 1.2万 → 12000
- 10w → 100000
- 3,456 → 3456
转换代码
def parse_number(num_str):
if '万' in num_str:
return int(float(num_str.replace('万', '')) * 10000)
elif 'w' in num_str.lower():
return int(float(num_str.lower().replace('w', '')) * 10000)
return int(num_str.replace(',', ''))
4. 数据去重
基于内容 Hash
import hashlib
def content_hash(text):
return hashlib.md5(text.encode('utf-8')).hexdigest()
5. 结构化输出格式
{
"source": {
"platform": "weibo",
"category": "综合",
"hot_id": "#话题#",
"url": "链接"
},
"engagement": {
"likes": 316436,
"comments": 0,
"shares": 0,
"read_count": 0
},
"content": {
"title": "标题",
"text": "正文",
"media_urls": [],
"category_tags": ["分类"]
},
"author": {
"username": "用户名",
"followers": 0,
"verified": false
},
"timestamp": "ISO时间",
"metrics": {
"hot_rank": 0,
"hot_score": 0,
"trend": "up"
}
}
6. 清洗流程
原始数据
↓
HTML解码 + 去除零宽字符
↓
表情符号清理
↓
特殊字符处理
↓
统一编码 (UTF-8)
↓
时间标准化
↓
数字标准化
↓
去重 (Hash)
↓
结构化输出
文档生成时间:2026-03-28