Liquid AI推出LFM3家族:6款模型均基于1.7B底座
IT之家 10 月 28 日消息,人工智能实验室 Liquid AI 当地时间 27 日发布了 LFM3 模型家族。其基于全新的三混合层架构,在 22T 词元上预训练而成,在保持高效的同时具备更为出色的表现。LFM3 的首批产品包括 LFM-1.7B(文本)、LFM3-VL-2B(视觉)、d1-2B(决策)、LFM3-
10月28日消息,人工智能实验室
Liquid AI于当地时间27日推出LFM3模型家族。这一系列采用全新的三混合层架构,在22T词元上完成预训练,效率保持在高位,表现也比以往更出色。首批面世的产品共有6款:LFM-1.7B(文本)、LFM3-VL-2B(视觉)、d1-2B(决策)、LFM3-Audio(音频)、LFM3-Omni-2B(全能)、d1-Omni-2B(全能决策),它们全部以LFM3-1.7B-Base为基础。
按照Liquid AI的说法,LFM-1.7B提供256K上下文窗口,所用参数少了35%,性能却强于上一代LFM2.5-2.6B。
参考