MiniCPM-V 4.7 端侧解码超13 tokens/s:35B总参数,每次仅激活约3B
作者:许安仪编辑:李宝珠转载请联系本公众号获得授权,并标明来源MiniCPM-V 4.7 是一款采用 MoE 架构的多模态视觉语言模型,总参数量 35B,每个 Token 仅激活约 3B 参数,在控制推理计算开销的同时,支持图像、多图和视频理解等任务。如果说语言模型让 AI 学会了阅读和表达,那么多模态模型则进一步拓展
语言模型教会 AI 读书写字,多模态模型则把它的感知面铺得更开。图片里的物体要认出来,图表里的数据要读出来,视频里接连发生的事件也要看懂,模型面对的不再只是文字,而是多种信息形式拼在一起,再转成能推理、能作答的内容。
面壁智能和 OpenBMB 社区推出的 MiniCPM-V 4.7,瞄准的正是视觉理解任务。它在视觉理解上支持单图、多图和视频理解,不同类型的视觉输入都能接。
更让人在意的是,总参数量 35B 的模型,未必非得靠大型服务器才跑得动。MiniCPM-V 4.7 做了针对性设计,端侧解码速度达到 13+ tokens/s,每次仅激活约 3B。
HyperAI
在线运行:
https://go.hyper.ai/w8kGy
更多在线教程:
https://hyper.ai/notebooks
demo 页面
先看运行效果。
在 hyper.ai 首页点「教程」,也可以点「查看更多教程」,从中找到「MiniCPM-V 4.7:多模态视觉语言大模型(
进入教程页面后,点右上角的「Clone」,教程就会被克隆到自己的容器里。
该页面右上角可切换语言,眼下有中文和英文两种,下面的步骤以英文界面来演示。
接着选「2 x
资源分配需要等一会儿,状态显示「Running(运行中)」之后,点「Open Workspace」就能进 Jupyter Workspace。
效果展示
等运行结束,点开右侧的 API 地址,就能访问 demo。