session-notes-20260625.md 3.33 KB

2026-06-25 会话记录

本次会话目标

测试三个 WeChat 相关技能:

  1. wechat-group-digest(读取微信数据)
  2. newspaper_infographic_v4(生成日报图片)
  3. wechat-image-sender(发送图片到微信)

关键发现

1. System Share 方式可行

用户明确纠正:"你有两种模式发送图片,应该用图片分享"

  • System Share (ACTION_SEND) 在 Android 16 + WeChat 8.x 上可以工作
  • 但必须使用公共目录路径(/sdcard/Pictures/ 或 /sdcard/Download/)
  • 必须添加 FLAG_ACTIVITY_NEW_TASK(-f 0x10000000)

2. ADBKeyboard 是中文输入的关键

  • input text 不支持中文
  • ADBKeyboard 通过广播方式输入中文
  • 必须先设置为默认输入法
  • 输入后必须截图验证

3. Pixel 10 Fold 屏幕状态判断

四种状态:

  • 外屏 (1080x2364)
  • 内屏全屏 (2076x2152)
  • 内屏分屏左 (2076x2152,微信在左)
  • 内屏分屏右 (2076x2152,微信在右)

判断方法:

  1. 获取分辨率 (wm size)
  2. 如果是 2076x2152,需要 OCR 识别微信元素位置
  3. 微信元素集中在左半屏 → 分屏左
  4. 微信元素集中在右半屏 → 分屏右
  5. 微信元素分布在整个屏幕 → 全屏

重要: 只看微信特有元素,忽略 Termux 终端文字等干扰

4. 用户工作流偏好

用户明确纠正:"step by step 你自己别乱搞 我让你去干啥 你只做一步不要自己做下一步做判断"

这意味着:

  • 每步只做用户明确要求的操作
  • 执行后报告结果,等待用户下一步指令
  • 不要自行推断后续步骤
  • 不要自行判断"应该"做什么

已验证坐标

外屏 1080x2364

元素 坐标 状态
更多按钮 (1013, 1601) 已验证
相册按钮 (167, 1914) 已验证
发送按钮 (954, 2230) 已验证

内屏分屏左 2076x2152

元素 坐标 状态
选择聊天 (511, 228) 已验证
搜索框 (170, 371) 已验证
火星人 (263, 621) 已验证
发送按钮 待验证 未验证

待解决问题

  1. 内屏分屏左的发送按钮坐标未验证
  2. 内屏分屏右的坐标未记录
  3. 内屏全屏的坐标未记录
  4. 有键盘状态的坐标未记录

依赖安装记录

PP-OCRv6 模型

mkdir -p ~/pixelphone/event_bus/ocr_models
cd ~/pixelphone/event_bus/ocr_models
curl -fL -o PP-OCRv6_det_tiny.onnx https://www.modelscope.cn/models/RapidAI/RapidOCR/resolve/v3.9.0/onnx/PP-OCRv6/det/PP-OCRv6_det_tiny.onnx
curl -fL -o PP-OCRv6_rec_tiny.onnx https://www.modelscope.cn/models/RapidAI/RapidOCR/resolve/v3.9.0/onnx/PP-OCRv6/rec/PP-OCRv6_rec_tiny.onnx
curl -fL -o ppocrv6_tiny_dict.txt https://raw.githubusercontent.com/PaddlePaddle/PaddleOCR/main/ppocr/utils/dict/ppocrv6_tiny_dict.txt
pip install pyclipper

ADBKeyboard

curl -fL -o /data/local/tmp/ADBKeyboard.apk https://github.com/senzhk/ADBKeyBoard/raw/master/ADBKeyboard.apk
su -c "pm install /data/local/tmp/ADBKeyboard.apk"
su -c "ime set com.android.adbkeyboard/.AdbIME"

技能更新记录

  1. pixel-fold-screen-detector: 更新判断逻辑,添加键盘状态判断,添加坐标记录系统
  2. wechat-image-sender: 更新 System Share 流程,添加 ADBKeyboard 指南,添加工作流规范
  3. wechat-group-digest: 未更新(脚本有 bug,需要修复数据库路径)