elite_05_dataclean.md 3.02 KB

微博数据清洗与结构化指南

概述

本文档提供微博原始数据的清洗和结构化处理方案。


1. 文本清洗

常见问题

  • 零宽字符:\u200b, \u200d, \ufeff
  • HTML 实体:&, <, >
  • 表情符号:[哈哈], [泪]
  • 特殊换行:\r\n, \n\r

清洗代码

import re
from html import unescape

def clean_text(text):
    # 1. 解码HTML实体
    text = unescape(text)
    # 2. 去除零宽字符
    text = re.sub(r'[\u200b-\u200d\ufeff]', '', text)
    # 3. 去除表情符号
    text = re.sub(r'\[.*?\]', '', text)
    # 4. 统一换行符
    text = text.replace('\r\n', '\n').replace('\n\r', '\n')
    # 5. 去除多余空白
    text = re.sub(r'\s+', ' ', text).strip()
    return text

2. 时间解析

微博时间格式

  • 刚刚
  • 3分钟前
  • 2小时前
  • 昨天 12:30
  • 03-27 15:30
  • 2025-03-27

解析代码

from datetime import datetime, timedelta

def parse_weibo_time(time_str):
    now = datetime.now()
    if '分钟前' in time_str:
        mins = int(re.search(r'(\d+)', time_str).group(1))
        return now - timedelta(minutes=mins)
    elif '小时前' in time_str:
        hours = int(re.search(r'(\d+)', time_str).group(1))
        return now - timedelta(hours=hours)
    elif '昨天' in time_str:
        time_part = time_str.split(' ')[1]
        yesterday = now - timedelta(days=1)
        return datetime.strptime(f"{yesterday.strftime('%Y-%m-%d')} {time_part}", "%Y-%m-%d %H:%M")
    elif '-' in time_str:
        return datetime.strptime(f"{now.year}-{time_str}", "%Y-%m-%d %H:%M")
    return now

3. 数字标准化

微博数字格式

  • 1.2万 → 12000
  • 10w → 100000
  • 3,456 → 3456

转换代码

def parse_number(num_str):
    if '万' in num_str:
        return int(float(num_str.replace('万', '')) * 10000)
    elif 'w' in num_str.lower():
        return int(float(num_str.lower().replace('w', '')) * 10000)
    return int(num_str.replace(',', ''))

4. 数据去重

基于内容 Hash

import hashlib

def content_hash(text):
    return hashlib.md5(text.encode('utf-8')).hexdigest()

5. 结构化输出格式

{
  "source": {
    "platform": "weibo",
    "category": "综合",
    "hot_id": "#话题#",
    "url": "链接"
  },
  "engagement": {
    "likes": 316436,
    "comments": 0,
    "shares": 0,
    "read_count": 0
  },
  "content": {
    "title": "标题",
    "text": "正文",
    "media_urls": [],
    "category_tags": ["分类"]
  },
  "author": {
    "username": "用户名",
    "followers": 0,
    "verified": false
  },
  "timestamp": "ISO时间",
  "metrics": {
    "hot_rank": 0,
    "hot_score": 0,
    "trend": "up"
  }
}

6. 清洗流程

原始数据
    ↓
HTML解码 + 去除零宽字符
    ↓
表情符号清理
    ↓
特殊字符处理
    ↓
统一编码 (UTF-8)
    ↓
时间标准化
    ↓
数字标准化
    ↓
去重 (Hash)
    ↓
结构化输出

文档生成时间:2026-03-28