号称行业首个具身全模态端到端交互大模型,智元发布 WITA-Omni
IT之家 11 月 10 日消息,“智元 AGIBOT”公众号今天(10 日)晚间发文宣布,智元正式发布 WITA-Omni(硅光动语全模态大模型)。 根据官方介绍,该模型也是行业首个具身全模态端到端交互大模型。WITA-Omni 基于机器人本体感知数据深度训练,除了音视频输入输出,还新增支持触觉、本体状态等输入,以及
智元 AGIBOT 公众号在 11 月 10 日晚间发布消息,WITA-Omni(硅光动语全模态大模型)正式亮相。
官方称,这是行业首个具身全模态端到端交互大模型。该模型以机器人本体感知数据为基础做了深度训练,除音视频输入输出外,新增触觉、本体状态等输入,以及机器人动作、表情等输出。按官方的说法,机器人由此第一次有了为物理世界而生的“交互大脑”。
架构上,WITA-Omni 采用流式全双工,能边听、边想、边应、边动、边做表情,传统串行处理中的等待被削减。交互响应最快约 400 毫秒,平均约 600 毫秒,比业内平均水平快近 3 倍。
全模态拒识的加入,让机器人交互不必再用唤醒词,全程自然对话。系统会综合对话朝向、视频、音频、声纹、唇动、姿态、语义和上下文,判断当前发言要不要回应。多人交谈或环境广播等干扰下,误触发大幅减少,机器人更懂“看场合”。

语言方面,WITA-Omni 支持上百种语言和方言免切换自由交流。配合全双工架构,流式同声传译(语言传译和方言传译)以及双向互译都能实现。
情感表现也更接近人。倾听时,机器人用细腻表情和自然头部动作给出回应;表达时,参数化面部表情、有感染力的声音与协调肢体动作配合,把开心、惊讶、激动、悲伤、满意、痛哭、认真与自信等几十种情绪生动呈现出来。每种情绪还有不同强度——同样是开心,可以浅浅一笑,也可以开怀大笑,对话因此更真实、更有温度。
除了能说、能看、能动,WITA-Omni 还能画。比如讲一个复杂产品,或给孩子讲科普小知识,它会自行判断,把一言难尽的内容实时显示在面部屏幕上,让用户一目了然。
它还能持续感知周围环境、用户状态及其变化,自主思考、决策并行动,在合适时机主动发起互动。官方宣称机器人也能有自己的“小心思”:见到贵宾主动欢迎、伸手握手;收到点赞开心回应;看到用户挥手告别,立刻挥手相送。
据IT之家此前报道,今年 7 月,WITA-Omni Preview 模型以 85.21 分综合成绩登顶 DailyOmni 全模态理解榜单,超过千问、Gemini、豆包、英伟达等国内外领先模型,八项细分指标中六项排第一。