SKILL.md
4 KB
name: wechat-ui-automation description: 驱动微信界面做自动化的导航方法论与踩坑(进群/图片列表/查看器/长按保存)。触发词:微信自动化、UI自动化、保存原图、图片列表、查看器、长按保存、NotificationShade挡am start、微信UI导航。
category: android
微信 UI 自动化(导航状态机与坑)
驱动微信界面(主界面→群聊→聊天信息→查找聊天记录→图片与视频→查看器)做自动化操作(典型:批量保存图片原图到相册)。Pixel 10 Fold 外屏 1080x2364 坐标。
权威实现:gpt-image-gen/scripts/save_originals_batch.py(8 群批量保存)+ upload_originals.py(匹配/上传/更新媒体墙)——脚本注释即知识,改前先读。参考 pixel-fold-screen-detector(屏幕状态识别)。
导航状态机(10 条坑,全部 2026-08-24 实测)
- am start ChattingUI 在微信前台时不生效(
intent has been delivered to top-most instance,不切页)——直达聊天不可靠,走主界面 UI 导航(OCR 点群名)。 - 微信聊天界面和主界面共用 LauncherUI window——
dumpsys mCurrentFocus显示 LauncherUI 时屏幕可能是聊天界面!focus 检测不可靠。判断主界面用 OCR:顶部标题 =「微信」;聊天界面标题 = 群名(带(500)人数括号,主界面列表不带)。 - NotificationShade(通知栏)占焦点会挡 am start——先
dumpsys window | grep mCurrentFocus检测,input keyevent 4关闭(有时 keyevent 111/上滑无效,电源键重置但会锁屏)。 - 锁屏 mDreamingLockscreen=true 需 PIN 无法自动解——UI 自动化前必须检测,锁屏直接跳过(凌晨 cron 自动跳过)。
- 主界面点群名用左边缘(OCR 文本中心 x-90 偏移)——避免误触行右侧区域进聊天信息页。
- 图片列表(图片与视频网格)input swipe 不生效,查看器内横滑生效——滚动定位靠查看器滑动(右→左=更早的图)。
- 长按 =
input motionevent DOWN+ sleep +UP(input swipe x y x y 1500同点不触发长按)。 - 长按菜单按钮位置不固定(保存图片 y 曾在 1809/1873/2027 变过)——每次 OCR 定位再点;盲点固定坐标会误触「识图」进 MMFTSImageRecognitionUI(返回键退出)。
- 微信对已保存过的图重复「保存图片」静默跳过(相册去重,不生成新 mmexport)——保存计数 ≠ 相册新增,判断成功看相册文件数增量;全量跑时已保存群 0 新增是正常。
- 查看器退出按返回 2 次(查看器→图片列表→查找聊天记录页);下一群导航前先「回主界面」(keyevent 4 直到 OCR 见「微信」标题)。
微信数据侧坑(匹配/查询)
- imgPath =
THUMBNAIL_DIRPATH://th_<32hex>→ hash 提取substr(imgPath, 24, 32)(23 位是th_的下划线) - wechat_db.query 的 SQL 经 su shell,printf 吃
%→LIKE '%th_%'必挂,用substr(imgPath,1,3)='THU'前缀判断代替 - 感知指纹 MSE(64×64 灰度归一化):mse(缩略图太小 OCR 常为空);0.01~0.09 需 OCR 文本交集确认(≥2 公共词)——日报模板之间指纹极相似(0.03-0.06)会假阳性;缩略图 OCR 空时放大 3x 重试
- media_files oss_key 取 hash 用
substr(-36,32)(⚠️ 不是 -32,会带 .jpg) - 唯一明文原图通道 = 查看器长按「保存图片」→ /sdcard/Pictures/WeiXin/mmexport(微信 8.x 原图落盘即 wxgf 加密,见 wechat-media-export skill)
调度约束
- 原图保存用户要求每几小时一次(非一天一次):cron-scheduler 每 4 小时(02/06/10/14/18/22,
$(( 10#$HOUR % 4 )) -eq 0),锁屏跳过 - UI 自动化占屏幕(把微信切前台)——白天跑会打断用户(用户知情接受);锁屏自动跳过
- 每 4 小时全量滑 18 张/群 ≈ 15-25 分钟;重复靠微信相册去重 + mmexport 归档
WeiXin/_saved/控制