# 端到端验证:发送图片给火星人 (2026-06-23) ## 测试目标 验证完整 ReAct 流程:触发 Intent → OCR 查找联系人 → 点击发送 → 验证成功。 ## 环境 - 设备: Pixel (rooted) - 屏幕: 1344×2992 - WeChat: 已登录 - 目标联系人: 火星人 (wxid: yibooo) ## 执行记录 ### Step 1: 触发 Intent ```bash am start -a android.intent.action.SEND -t image/png \ --eu android.intent.extra.STREAM file:///sdcard/WeChatDigest/infographic_v3.png ``` **结果**: Intent 启动成功,WeChat 打开"选择聊天"界面 ### Step 2: 截图 + OCR 查找联系人 ```python screenshot("/sdcard/Pictures/VisualAgent/share_v3_step1.png") ocr_find_text(text="火星人", path="/sdcard/Pictures/VisualAgent/share_v3_step1.png") ``` **结果**: 找到 2 个匹配 - 匹配 1: (145, 923) — 最近转发列表中的"火星人" - 匹配 2: (324, 1352) — 可能的其他位置 ### Step 3: 点击联系人 ```python tap(145, 923) ``` **结果**: 点击成功,界面切换到发送预览界面 ### Step 4: 截图 + OCR 查找发送按钮 ```python screenshot("/sdcard/Pictures/VisualAgent/share_v3_step2.png") ocr_find_text(text="发送", path="/sdcard/Pictures/VisualAgent/share_v3_step2.png") ``` **结果**: 找到 2 个匹配 - "发送给:" (164, 1508) — 标签,不可点击 - "发送" (899, 2627) — 真正的发送按钮 ### Step 5: 点击发送按钮 ```python tap(899, 2627) ``` **结果**: 点击成功 ### Step 6: 验证发送成功 ```python screenshot("/sdcard/Pictures/VisualAgent/share_v3_step3_verify.png") ocr_find_text(text="火星人", path="/sdcard/Pictures/VisualAgent/share_v3_step3_verify.png") ``` **结果**: 找到 1 个匹配 - "火星人" (663, 233) — 聊天标题,确认在火星人聊天界面 **额外验证**: 图片上显示 "To:火星人" 文字标记,确认图片已发送 ## 关键发现 1. **联系人位置不固定**: 火星人在最近列表中的位置每次可能不同,必须用 OCR 查找,不能硬编码 2. **发送按钮坐标固定**: (899, 2627) 在 1344×2992 屏幕上确实固定 3. **"发送给:" 只是标签**: 不可点击,真正的发送按钮是单独的"发送"文字 4. **验证标志**: 发送成功后聊天标题显示联系人名称,图片上有 "To:联系人" 标记 ## 失败重试策略 如果 OCR 找不到联系人: 1. 使用拼音搜索: `input_text("huoxingren")` 2. 等待候选词出现 3. 选择正确候选词 4. 如果仍失败,先发送一条文字消息建立最近联系 ## 截图保存路径 所有中间截图保存在 `/sdcard/Pictures/VisualAgent/` 目录: - `share_v3_step1.png` — 选择聊天界面 - `share_v3_step2.png` — 发送预览界面 - `share_v3_step3_verify.png` — 发送成功验证