有 API 可以持续录制手机屏幕的啊,就是直播软件用的那个,不需要专门整个摄像头来看着。而且你都这样做了,整越狱 iPhone 啊,越狱后都不用物理操作了,直接软件操作。
如果是按你的愿景,那 iOS27 很可能可以实现
@ybz 我初衷是想做个人助理 agent ,总不能指望用户把自己 iPhone 越狱才能用 agent 吧?需要考虑用户易用性,尽量减少配置和设置。
@we1w3i 苹果是有强大号召力的,就看各大厂愿不愿配合了。
让大模型直接操作实体手机,如果指令混入了恢复出厂设置步骤,那岂不是很危险。。。
@yuruizhe 这个 guardrail 需要用户自己来控制,比如,不要把自己的主力机给 agent 操作,账户余额少充点,退出 apple id ,只装必要的 app 。
你得把一些场景包装好,收费降下来了,比如什么样的动作,调用大模型的次数减少,费用降低,然后包装起来,这样商业化就成功多了。
一旦某个场景这样跑通,你就可以定制另外一些动作,而且像有些信息采集的,就超级简单了,只需要往下拉,收集信息,不需要 AI 操作。提取信息直接用 OCR 技术就行了,也能省掉 token 钱。
综合来看,适合做,但是要往深了做,使用成本先降下来。
当作业余做个小东西吧,先把想挣钱的事情,做好了,自然商业化场景就来了。就跟那个 rapiddns 一样,每年一大笔支出好多年,然后开始卖数据了,也挣了一笔钱。
https://www.bilibili.com/video/BV1LR336sEFX/?vd_source=d608e8f69a8f0aec740e78c355e9226f
手机自动化测试
@evilHa 硬件 DIY 1000 元虽然贵了些,但毕竟是一次性支出。token 要持续花费的。大模型调用确实需要大力优化的方向,一个是一次调用触发连续动作,中间就不需要调用大模型了,第二个是,优先用便宜的模型,卡住了再切换能力更强的大模型。 这些工程难度不小,增加许多项目复杂度。
@fzuccq 智谱之前不是开源了一个 AutoGLM-Phone-9B 的模型嘛?感觉可以瞅瞅