OVHcloud发布首个AI模型家族Olala,开源7A1B小模型
其可在 8GB 显存的 GPU 上运行,在 RTX A4500 上可实现 160 TPS 的词元吞吐量,仅 CPU 平台也能实现 50 TPS。
11月17日,欧洲云服务公司OVHcloud宣布推出其首个AI模型家族Olala,该系列的首个成员Olala mini 7A1B也一并公布。

Olala mini 7A1B总参数70亿、激活参数10亿,采用BF16数据格式,注意力机制为Differential-TPA与Mamba-3结合的混合方案。模型将以Apache 2.0许可在Hugging Face上开源发布。
运行门槛方面,该模型可在8GB显存的GPU上跑起来,在RTX A4500上词元吞吐量达160 TPS,纯CPU平台也有50 TPS。
OVH称,Olala mini 7A1B的训练用了三台欧洲公共超级计算机,硬件为NVIDIA的GH200、A100、H100,总开销700万欧元(现汇率约合5,142.8万元人民币)。
初始版本的Olala mini 7A1B上下文长度为32K;预计今年底推出的1.1版本会扩展到128K上下文,数学能力也会更好。OVH还将继续开发AI模型,Olala 2.0的参数规模将>100B。