手机遥控电脑干活:WorkBuddy 远程遥控插件实测,微信发消息全程不用碰电脑

5次阅读
没有评论

WorkBuddy 的电脑自动化操作来了,形式是一个远程遥控插件(WorkBuddy Remote),目前还挂着测试版。装好之后,在手机端的 WorkBuddy 小程序或 APP 上发消息,在线的电脑客户端就会按指令去操作电脑上的软件,比如让它打开 PhotoShop 设计一张图。

手机遥控电脑干活:WorkBuddy 远程遥控插件实测,微信发消息全程不用碰电脑

先分清两个概念。WorkBuddy 早就实现了浏览器自动化操作(Browser Use),装官方 Skill 或扩展就能让它自动操作浏览器。但电脑自动化操作(Computer Use)一直没开放,虽然 WorkBuddy 的底子 CodeBuddy 本身就有这个能力。之前无论是接微信、飞书、钉钉这些助理,还是用手机端小程序和 APP,解决的都只是手机和电脑之间的通信问题,并没有真正做 Computer Use。

真正的 Computer Use 是这套流程:给电脑屏幕截图,截图丢给多模态大模型识别,大模型推理完,Agent 再通过模拟鼠标点击和键盘输入去执行。感知、推理、行动三步,不断循环直到任务完成。这就需要屏幕录制、系统录音和操控鼠标键盘的权限。

实操:开启远程遥控

电脑客户端先升级到最新 5.9.0 版本,点账号头像进设置页面,左侧菜单找到设备连接。先确认“允许同账号设备远程连接”开关是打开的,再打开远程遥控插件的开关,打开前要授权屏幕录制与系统录音、辅助功能权限。

手机遥控电脑干活:WorkBuddy 远程遥控插件实测,微信发消息全程不用碰电脑

手机遥控电脑干活:WorkBuddy 远程遥控插件实测,微信发消息全程不用碰电脑

补充一个细节:Mac 上电脑自动化操作的成功率和流畅程度要比 Windows 好一点。

然后打开手机 APP,确认当前连接的设备是电脑而不是云端,电脑显示在线。进对话框,右上角会多一个图标,点它就能在 APP 里打开电脑的远程桌面画面——只能在 APP 里操作,小程序目前不行。首次进入不是全屏,可以设成全屏,里面有操作指引:触屏手势跟平时用手机一样,滑动点按缩放;鼠标手势会多一个模拟鼠标;键盘可以在手机键盘、电脑键盘和快捷键之间切换。

手机遥控电脑干活:WorkBuddy 远程遥控插件实测,微信发消息全程不用碰电脑

不过手机屏幕太小,电脑屏幕很大,缩放和调画质都代替不了电脑生产力,远程桌面更适合应急:看看电脑上的任务跑得正不正常,或者远程关机、手动发个不方便让 Agent 发的文件。真正干活,还是直接对话交给 WorkBuddy 处理更顺。

实测:让它给微信群发一条消息

在任务对话窗口发提示词,让电脑上的 WorkBuddy 打开微信,找到一个微信群,发一句问候。Agent 先截一张图,丢给多模态模型识别出微信图标的位置,模拟鼠标点开;打开后再截图识别,如此循环,最后把消息输进输入框、点发送,再截一张图让模型判断成功,任务结束。

整个过程走下来,Computer Use 的短板也很明显:一个循环多次的流程跑完,有时还不如人工操作快。它的价值在于不计较时间成本时,能把双手解放出来。

进阶:监控群聊自动回复

再进一步,可以让 WorkBuddy 持续监控这个微信群,有人说话就去回复,相当于一个 AI 自动客服。对 AI 味不敏感的人,一时半会儿还以为是真人在聊天。但这只是演示,不建议拿去做自动化聊天机器人,别去挑战微信风控,否则封号自理。

边界与模型建议

注意一个关键点:远程遥控只是官方对远程桌面控制的说法。直接在 WorkBuddy 电脑客户端下命令,让它操控电脑系统或其他软件,同样可以,不一定非得通过手机下指令——Computer Use 是电脑客户端才有的能力,手机端只是个发送消息的通讯端。

模型要用好一点的,比如 Deepseek-v4.1-Flash、GLM-5.3,或者最近发布的 Kimi-K3.1-Pro,而且必须是多模态模型。拿弱模型跑不通,就别怪工具不行。

背景文章:一文带你搞懂 WorkBuddy 的自动化操作(Browser Use 和 Computer Use 的区别讲得很清楚):https://mp.weixin.qq.com/s?__biz=MjM5ODAxOTA2Mg==&mid=2649977207&idx=1&sn=6e22cb37031cd3f39805ed3f441e2df8&scene=21#wechat_redirect

正文完
 0