星尘智能发布CoMind:机器人共享视野,盲区置物成功率38.9%升至88.9%
11月13日消息,星尘智能发布多机协同模型框架CoMind(CoMind - Be My Eye)。据介绍,该框架采用去中心化主动共享方式,让协作机器人之间交换与任务决策相关的上下文信息,并对信息进行筛选和压缩,而非直接传输原始画面。 CoMind分为两个阶段:一是任务导向的上下文压缩,提取对未来动作和任务进度有关键价
11月13日,星尘智能推出多机协同模型框架CoMind(CoMind - Be My Eye)。这套框架不走中心化调度路线,而是让协作机器人主动共享与任务决策有关的上下文信息,并对这些信息做筛选和压缩,原始画面并不直接传输。
CoMind分两步走。第一步是任务导向的上下文压缩,把对未来动作和任务进度有重要价值的内容提取出来;第二步是双向上下文优化与协作策略学习,接收端把队友共享的信息、本地视觉、任务指令和本体状态融合起来,输入VLA策略,再用动作结果反过来优化信息编码器。
真机测试覆盖了组装纸箱、叠被收纳、冰箱补货、组装哑铃、盲盒置物和隔墙跟随拿笔等场景。极限测试里,CoMind的“共享视野”表现突出:无视野置物测试中,选对目标的成功率由38.9%升至88.9%,信息传输量下降80%;隔墙跟随拿笔测试中,任务成功率从0%升到100%。星尘智能称,后续打算从“共享信息”进一步走向“共享意图”。(路永丽)