个人业余项目，做了一个可以物理操作 iPhone 的 agent，不知道有商业前景吗？

grzhan

@fzuccq 只能说真正在商业上有需求的，也就是商业上能带来利润的主要还是灰产。

grzhan

剩下就是作为极客玩具的市场了，但这块由于其实门槛没那么高，不好说哇。先考虑在开源占个生态位？

ZhaokunZhang

我前同事也做了一个，AI 自动化测试，路子跟你差不多，https://github.com/dongxinsuperman/ai-phone 已经有公司开始用了，

ota

@fzuccq 截图 + OCR + LLM 推理，但这样的问题是延迟+token 。
问题的核心是“持续视觉理解”，我想到了 yolo 这个，让本地 gpu 跑。
第二个是，这些 app 虽然不开放 api ，但页面加载的监控是否能做呢？比如加载完成了，就立刻让 agent 去截图。我看你的视频貌似卡了一下，是不是在等页面平稳？
软+硬？
纯过程探讨，不涉及可行性和逻辑性，抱歉。

ZhaokunZhang

@ZhaokunZhang #52 等等，但好像又不太一样，但是确实用视觉识别+ LLM 推理了。

fzuccq

@grzhan 可能 token 成本降下来，才能进入个人消费者市场吧。

dreamdragon

不限制在手机上，直接炒菜

fzuccq

@ota 有个摄像头在手机正上方，视频中没录进去。agent 通过摄像头观察屏幕，不是通过截屏。在执行完一个动作后，把机械臂移开，摄像头拍照，在本地进行 OCR 和图标识别，把识别结果、bbox 列表和原图一起发给大模型，决策下一个动作。

spike0100

我看成本更低的方式是用 mac 的 iphone 镜像+本地多模态模型，在镜像模拟点击。就是忘了项目名称叫什么了

fzuccq

@spike0100 这个 mac iphone 镜像就是可扩展性太差，生态锁死在 Apple 上了。