Gemini上Mac可代操作电脑,Runway推270亿参数机器人模型
本期重点包括Google向数亿用户免费开放Gemini Tasks,并在Mac端推出可代操作电脑的Computer use功能。Runway发布27B参数机器人世界模型Praxis-1,OpenAI开放GPT-Live-1.1语音API。此外,Cognition评测显示Gemini 4 Neon在代码任务上性价比突出,
Gemini 把“动手”能力搬上 Mac,Tasks 免费铺开
最近 Google 在
Gemini 产品线上动作频频,最直观的变化是它开始真正插手用户的操作流程,不再只是陪聊或写文本。
先看 Computer use 功能,面向美国英语区的 AI Plus、Pro 和 Ultra 订阅者推出。Gemini 借此能跨文件夹、跨应用甚至跨网页执行任务,官方演示里它还在 Blender 中生成了 3D 模型。屏幕和光标的控制权仍留在用户手里,AI 干的是“协助”的活,而非全面接管,这种设计多半是为了打消用户对失控的顾虑。对经常处理重复性电脑操作的人来说,它比快捷键或脚本更灵活,因为它能读懂自然语言指令背后的意图。
另一边,Gemini Tasks 正大范围免费开放。Google 宣布向数亿符合条件的用户免费提供这项服务,首批覆盖美国、日本、韩国、加拿大、澳大利亚和印度。各地可用能力略有差异,核心逻辑却一致:让 AI 在后台打理项目管理和日常待办。Google 还打算通过 Discord 活动演示具体用法,显然想借社区互动教用户用好这个“数字助理”。
模型层面,Cognition 用自研基准 FrontierCode 2.0 评测了 Gemini 4 Neon。结果是 Gemini 4 Neon 得分接近 Anthropic 的 Opus 5.5,成本却只有后者的三分之一。对需要大量调用代码生成能力的开发团队来说,这个性价比很有吸引力。代码这一垂直领域里,模型间的差距正在收窄,成本控制成了选型的关键因素。
Runway 的机器人野心:Praxis-1 模型
视频生成公司 Runway 没有停在生成像素这一步,他们发布名为 Praxis-1 的技术报告,正式踏入机器人领域。
Praxis-1 是一个 270 亿参数的 MoE(混合专家)扩散 Transformer 模型,核心能力是同时预测视频帧和机器人的动作轨迹。这种多模态输出让机器人不光能“看”到环境,还能“想象”出下一步的动作序列。
更实用的是学习效率。报告显示,Praxis-1 只需不到 30 分钟的遥操作演示数据,就能学会一个新任务;在 Noble Machines 机器人平台上进行的 15 次模拟试验中,它全部成功。照这个路子,未来工厂或家庭里的机器人或许不用程序员写复杂代码,人类示范几次,它就能靠观察视频与动作的关联掌握技能。“看一遍就会”的能力,是通用机器人走向落地的关键一步。
OpenAI 开放语音 API,开发者可构建语音 Agent
OpenAI 把 GPT-Live-1.1 的语音能力开放给了开发者 API。这不只是多了一个语音接口,而是允许开发者搭建真正的语音 Agent。
新 API 能精确识别字母和数字,处理订单号、验证码这类场景离不开它。更关键的是,它能遵循复杂指令,还能把工作流委托给后端的其他模型。换句话说,开发者现在可以做一个能听、能说、还能调动其他工具完成复杂任务的语音助手,核心能力与 ChatGPT 同款。语音交互应用的开发门槛将因此降低,基于语音的客服、陪伴或效率工具有望增多。
企业级 Agent:安全与数据工程的自动化
消费级产品之外,企业级 Agent 应用也在快速迭代,集中在安全和数据工程这两个痛点领域。
Cognition 推出 Devin Security Threats,针对 Java4Shell、NGINX2Root 等新披露漏洞提供漏洞索引,并集成一键扫描与修复。用 Devin 的安全团队由此缩短了从漏洞披露到修复的时间窗口,人工排查成本也降了下来。
Databricks 则把 Genie ZeroOps 产品推向公开测试。这是一个专注数据工程的自主 Agent,能自动检测、调查并修复数据流水线故障。它的训练数据来自 8 万条真实客户问题,各种奇怪报错和边缘情况都见过。对依赖数据流水线运行的企业来说,这个自动化的“运维医生”能明显减少停机时间和工程师夜间的报警压力。
此外,Amazon Bedrock AgentCore harness 也做了更新,新增 Strands 默认配置、内置工具以及生命周期钩子。这些更新意在帮开发者更好地管理 Agent 的上下文和流程编排,降低在 AWS 上构建复杂 Agent 应用的工程难度。
小结
这一周的动态显示,AI 正从“生成内容”向“执行任务”深度渗透。Gemini 操作电脑、Runway 控制机器人、OpenAI 的语音 Agent、Databricks 的数据修复,核心逻辑都是让 AI 具备更长的行动链条和更高的自主性。
对开发者来说,关注点该从单纯的模型参数对比,转向如何利用这些新开放的 API 和工具链,构建能解决实际问题的 Agent 应用。说到底,能听懂话的 AI 很多,但能把手头活儿干完的 AI,才是接下来竞争的重点。