OVHcloud推出首个AI模型家族Olala,首发7A1B开源模型
IT之家 11 月 17 日消息,欧洲云服务企业 OVHcloud 当地时间今日宣布推出其首个 AI 模型家族 Olala,同时公布了该系列的首个成员 Olala mini 7A1B。 Olala mini 7A1B 采用结合了 Differential-TPA 和 Mamba-3 的混合注意力机制,总参数 70 亿、
OVHcloud 于当地时间 11 月 17 日发布其首个 AI 模型家族 Olala,并公布了该家族的首个成员 Olala mini 7A1B。

Olala mini 7A1B 总参数 70 亿、激活参数 10 亿,采用 BF16 数据格式,并使用了融合 Differential-TPA 与 Mamba-3 的混合注意力机制。该模型以 Apache 2.0 许可开源,将在 Hugging Face 上发布。其可在 8GB 显存 GPU 上运行,在 RTX A4500 上词元吞吐量为 160 TPS,纯 CPU 平台也能达到 50 TPS。
据 OVH 介绍,Olala mini 7A1B 在三台欧洲公共超级计算机上完成训练,使用 NVIDIA 的 GH200、A100、H100,总开销为 700 万欧元(现汇率约合 5,142.8 万元人民币)。
Olala mini 7A1B 初始版本上下文长度为 32K,预计今年底推出的 1.1 版本将扩展到 128K 上下文,并提升数学能力。OVH 后续会继续开发 AI 模型,Olala 2.0 的参数规模将超过 100B。