session-notes-20260625.md
3.33 KB
2026-06-25 会话记录
本次会话目标
测试三个 WeChat 相关技能:
- wechat-group-digest(读取微信数据)
- newspaper_infographic_v4(生成日报图片)
- wechat-image-sender(发送图片到微信)
关键发现
1. System Share 方式可行
用户明确纠正:"你有两种模式发送图片,应该用图片分享"
- System Share (ACTION_SEND) 在 Android 16 + WeChat 8.x 上可以工作
- 但必须使用公共目录路径(/sdcard/Pictures/ 或 /sdcard/Download/)
- 必须添加 FLAG_ACTIVITY_NEW_TASK(-f 0x10000000)
2. ADBKeyboard 是中文输入的关键
input text不支持中文- ADBKeyboard 通过广播方式输入中文
- 必须先设置为默认输入法
- 输入后必须截图验证
3. Pixel 10 Fold 屏幕状态判断
四种状态:
- 外屏 (1080x2364)
- 内屏全屏 (2076x2152)
- 内屏分屏左 (2076x2152,微信在左)
- 内屏分屏右 (2076x2152,微信在右)
判断方法:
- 获取分辨率 (wm size)
- 如果是 2076x2152,需要 OCR 识别微信元素位置
- 微信元素集中在左半屏 → 分屏左
- 微信元素集中在右半屏 → 分屏右
- 微信元素分布在整个屏幕 → 全屏
重要: 只看微信特有元素,忽略 Termux 终端文字等干扰
4. 用户工作流偏好
用户明确纠正:"step by step 你自己别乱搞 我让你去干啥 你只做一步不要自己做下一步做判断"
这意味着:
- 每步只做用户明确要求的操作
- 执行后报告结果,等待用户下一步指令
- 不要自行推断后续步骤
- 不要自行判断"应该"做什么
已验证坐标
外屏 1080x2364
| 元素 | 坐标 | 状态 |
|---|---|---|
| 更多按钮 | (1013, 1601) | 已验证 |
| 相册按钮 | (167, 1914) | 已验证 |
| 发送按钮 | (954, 2230) | 已验证 |
内屏分屏左 2076x2152
| 元素 | 坐标 | 状态 |
|---|---|---|
| 选择聊天 | (511, 228) | 已验证 |
| 搜索框 | (170, 371) | 已验证 |
| 火星人 | (263, 621) | 已验证 |
| 发送按钮 | 待验证 | 未验证 |
待解决问题
- 内屏分屏左的发送按钮坐标未验证
- 内屏分屏右的坐标未记录
- 内屏全屏的坐标未记录
- 有键盘状态的坐标未记录
依赖安装记录
PP-OCRv6 模型
mkdir -p ~/pixelphone/event_bus/ocr_models
cd ~/pixelphone/event_bus/ocr_models
curl -fL -o PP-OCRv6_det_tiny.onnx https://www.modelscope.cn/models/RapidAI/RapidOCR/resolve/v3.9.0/onnx/PP-OCRv6/det/PP-OCRv6_det_tiny.onnx
curl -fL -o PP-OCRv6_rec_tiny.onnx https://www.modelscope.cn/models/RapidAI/RapidOCR/resolve/v3.9.0/onnx/PP-OCRv6/rec/PP-OCRv6_rec_tiny.onnx
curl -fL -o ppocrv6_tiny_dict.txt https://raw.githubusercontent.com/PaddlePaddle/PaddleOCR/main/ppocr/utils/dict/ppocrv6_tiny_dict.txt
pip install pyclipper
ADBKeyboard
curl -fL -o /data/local/tmp/ADBKeyboard.apk https://github.com/senzhk/ADBKeyBoard/raw/master/ADBKeyboard.apk
su -c "pm install /data/local/tmp/ADBKeyboard.apk"
su -c "ime set com.android.adbkeyboard/.AdbIME"
技能更新记录
- pixel-fold-screen-detector: 更新判断逻辑,添加键盘状态判断,添加坐标记录系统
- wechat-image-sender: 更新 System Share 流程,添加 ADBKeyboard 指南,添加工作流规范
- wechat-group-digest: 未更新(脚本有 bug,需要修复数据库路径)