星尘智能推出CoMind框架:多机协同不靠全共享,关键信息主动传
业界首个主动共享、精选任务上下文的多机协同模型框架。本文为IPO早知道原创作者|Stone Jin微信公众号|ipozaozhidao据IPO早知道消息,星尘智能于11月13日发布CoMind - Be My Eye 框架(简称CoMind)。这是业界首个主动共享、精选任务上下文的多机协同模型框架,开启全新协作范式:协
11月13日,星尘智能发布CoMind - Be My Eye框架(简称CoMind),消息来自IPO早知道。按照发布方的说法,这是业界首个主动共享、精选任务上下文的多机协同模型框架,也带来一种新的协作思路:协作并非把所有信息都摊开,而是把真正影响决策的关键内容主动递过去。
其实今年7月,星尘智能已经推出过第二代
CoMind有两个核心特点。其一为「,队员之间能实时互通任务上下文,不必再等领导派活,也不再依赖中心化调度;其二是精选信息,先把队员需要、且会影响决策的内容筛出来、压缩好再共享,而不是一键转发制造噪声。
这种「主动说重点」的交流方式,让机器人在组装纸箱和哑铃片、叠被收纳、冰箱补货等复杂家务中配合得更快、更好、更准。
视野被完全挡住的极限测试里,CoMind让机器人拿到了科幻小说中「共享视野」般的能力。隔墙互相跟随拿笔,成功率从0%升到100%。蒙眼后找到指定盒子放物,准确率从盲猜的38.9%提高到88.9%,信息传输量同时减少80%。
从单机智能走向多机协作之后,CoMind接下来还打算从「共享信息」推进到「共享意图」。到那时,机器人之间的配合不再只是反应式的,而是能预判彼此下一步想干什么、主动补位,朝着更默契、更高效的方向走。
六项真机测试,对应的是六种不同的协作难题,一套框架全部接住。
两台机器人搭伙干活,卡点常常出在信息上:下一步该怎么动,这条信息偏偏只装在队友那边。围绕机器人如何跨过视野盲区,星尘智能在家庭场景和极限实验场景里做了测试,看CoMind能不能把机器人在复杂操作任务中的协同水平提上去。
组装纸箱:动作相互咬合,视线被完全挡死,组装照样不中断
纸箱组装这件事,物理接触频率高,箱体又大,翻转过程中视线动不动就被挡住;动作之间的耦合度也很高,两边得同步推、同步撑,把箱体打开,还要随时判断对方有没有夹住、有没有粘好。对机器人来说,这是一串相当难的连续精细操作。CoMind 的做法是让双方实时掌握彼此的操作状态和任务进度,就算视野被彻底遮挡也能“借眼”,组装和搬运一路顺下去,直到做完。
叠被收纳:连续摆弄柔性物体,两边步调对得上
被子体积大、质地软,提起、翻折、搬动的时候,形状和边缘一直在变,机器人的感知和控制两头都受考验。CoMind 对视觉上下文做了精选,让双方在频繁接触和动态张力中随时对齐动作意图,每一步动作自己生成、自己同步,整个过程不用拆成一条条指令去喂;形变幅度再大,连续操作也能接得上,中间不停顿。
冰箱补货:视野互相补位,全局信息共享,接力效率高
关键信息散落在不同视野里时,情况是这样:左边那台看到冰箱里缺货,右边那台看到岛台上有饮料。有了 CoMind,两边实时“借眼”,把全局拼齐,递货、送货的接力直接开跑,不用反复来回跑动,省时间也省力气。
组装哑铃:有限视角补全,动态中照样对得准
装哑铃的时候,负责穿片的那台机器人很难同时看清杆和孔在动态中的相对位置。CoMind 在毫秒级的时间内把队友视角里的空间关系补齐,机器人据此实时调整姿态,在持续变化中咬住对准精度,把协同装配做到严丝合缝。
盲盒置物:遮挡到极限,从瞎猜到精准命中
装着蓝盘子的盒子位置是随机变的,左边机器人看得一清二楚,右边机器人被完全挡住,什么也看不到。在零可见信息的条件下,CoMind 把左侧视野里的关键视觉特征实时传给右侧,原本只能靠猜的任务变成精准命中,准确率明显抬升(38.9%→ 88.9%)。
隔墙相“望”,跟随准确率做到 100%
就算彼此看不见,两台机器人也能通过 CoMind 实时共享目标颜色和动作时机,轮流当主动拿笔的和跟随拿笔的,任务成功率从 0% 升到 100%。
机器人之间配合,得先学会「把要紧的话说出来」。CoMind 的工作方式是这样的:
以往的多机协同做法,问题出在两头:调度不够快,沟通又太浅。
中心化调度好比现场站着一位总指挥,大面上的规划很清楚,可碰上双人抬桌、叠被这种毫秒级的配合,指令一层层往下传,就成了「等待模式」。
去中心化
对话会中断;就算能通上话,来回传的也多半是「我在动」这种跟任务脱节的文字,撑不起关键动作所需的深层信息。机器人每秒产出大量视野画面,直接「一键转发」的话,带宽先堵住,队友还会被无用数据淹没。
CoMind 不设总指挥。每台机器人既能主动把关键信息发给队友,也能收下队友传来的信息。接收方拿到这些信息后,会连同自己看到的画面、任务指令和身体状态一起送进
具体分两步走:第一阶段挑出任务里的关键信息,第二阶段让双方主动互传,各自引导 VLA 模型输出连贯动作。
跟业内其他探索相比,CoMind 有三处不一样:
省时省力。原始画面不传,与任务无关的通用特征也不传。发送方会结合自己的任务指令,从多路相机画面里优先挑出和当前操作直接相关的内容——比如盲盒竞猜里物品的颜色——压成一小组表征再交给队友。
默契同步。共享的不只是眼前的视觉重点。训练过程中,模型还得学会预判稍后画面会怎么变,并留下任务进展的线索,分清眼下是「刚刚开始」还是「即将完成」,好让队友判断下一步该怎么配合。
双向反哺。训练时,接收方的动作结果会反过来调整发送方的编码器,这就是「
星尘智能此次发布的CoMind,核心是一套面向机器人的AI模型。
这套模型的目标,是让机器人在真实世界里做出正确动作。
CoMind的来路,要从星尘智能的研发积累说起。
星尘智能的设想是,将来在商业、工业乃至家庭场景中出现的,不只是一台能干的机器人,还会有一支能预判彼此意图、主动补位的机器人队伍。