2 TOPS NPU跑YOLO26破80帧:零拷贝与模型切分实战
在NXP i.MX 95的2 TOPS NPU上,通过零拷贝流水线、智能量化切分和NEON融合算子,将YOLO26n推理速度从40 FPS提升至84 FPS,同时mAP提升7个点。本文拆解EdgeFirst优化方案的技术细节,包括如何消除内存复制、处理JPEG解码对齐以及CPU端算子加速,为边缘AI开发者提供可落地的性
2 TOPS也能跑满YOLO26
很多人对嵌入式NPU的印象还停留在“能跑就行”。拿NXP i.MX 95来说,它搭载的eIQ Neutron NPU算力只有2 TOPS。如果用Ultralytics默认导出的INT8模型,配合NXP官方 BSP(板级支持包)里的标准软件栈,跑YOLO26n目标检测大概只能做到40 FPS左右。这在很多实时场景里其实有点捉襟见肘。
但Au-Zone Technologies团队通过EdgeFirst优化方案,在同一块板上跑出了84.1 FPS的成绩。更反直觉的是,CPU占用率从64%降到了39%,而且精度不降反升,mAP(平均精度均值)提高了7个点。这不是靠堆硬件实现的,而是把软件栈里那些“等待时间”全给抠出来了。
这次优化主要做了四件事:让数据喂得更快、去掉内存复制、在正确的位置切开模型、加速CPU剩下的那部分活。下面咱们拆开看看具体是怎么做的。
别让CPU忙着搬砖
一个典型的视觉推理流水线分三步:预处理(Resize和颜色转换)、模型推理、后处理(解析结果)。在默认方案里,CPU既要干预处理,又要干后处理,还得在模型推理间隙插把手。这就导致NPU经常处于“等米下锅”的状态。
EdgeFirst HAL(硬件抽象层)的做法是把每一步都交给最合适的硬件。在i.MX 95上,Arm Mali GPU负责Resize和颜色空间转换,NPU专心跑模型。更重要的是,这三步是并行流水线的:当NPU在算第N帧的时候,GPU已经在处理第N+1帧的预处理,而CPU可能在解析第N-1帧的结果。这种重叠执行让硬件几乎没有空闲。
零拷贝:内存里直接握手
如果你看过默认方案的内存流向,会发现每次数据从一个阶段传到下一个阶段,都要在CPU内存里完整复制一遍。比如摄像头采集的数据先拷到预处理缓冲区,处理完再拷到NPU输入缓冲区,推理完再拷出来给后处理。对于高分辨率图像,这种复制不仅耗时,还占带宽。
EdgeFirst的零拷贝方案利用了Neutron NPU支持的共享内存特性。GPU预处理时,直接把渲染结果写进NPU的输入张量内存里;NPU算完后,后处理模块直接从同一块内存读数据。整个过程没有一次额外的memcpy。
为了实现这点,他们改了三个地方:内核驱动、Neutron Delegate(委托层)和HAL。缓冲区在初始化时就分配好,并且固定在设备间共享的内存区域,每帧复用,不再反复申请释放。
切分模型:把精度和速度都抢回来
NPU不是万能的,有些算子它不支持,或者支持得不好。在YOLO26n里,有三个部分必须留在CPU上跑:中间的两个注意力模块,以及最后的Decode(解码)部分。默认方案里,这些部分由TensorFlow Lite和XNNPACK处理,但效率不高,而且成了整个流水线的瓶颈。
解决Decode部分的精度损失
通常为了上NPU,模型会被量化成INT8。默认导出工具会让所有输出头共享同一个量化范围。问题在于,检测小物体的那个输出头数值范围很小,强行共用范围会导致大量细节被舍入误差吃掉,精度直接打折。
EdgeFirst Studio里的Smart Quantizer(智能量化器)在Decode之前把模型切开。NPU只跑到三个输出头为止,每个头保留独立的量化范围。剩下的Decode部分交给CPU,用FP16精度的NEON融合算子来跑。因为Box坐标对量化误差特别敏感,用浮点数算最后这一步,既保住了精度(这就是那7个mAP点的来源),又因为NEON算子够快,没拖慢整体速度。
加速中间的注意力模块
中间那两个注意力模块没法通过切分尾部来解决。默认方案里,它们被拆成四个独立的TF-Lite算子,XNNPACK也没有针对这些重算子的优化内核,跑得慢。
EdgeFirst Delegate把这些算子融合成一个单独的NEON内核。虽然活还是CPU干,但原来要调四次函数、中间还要读写内存,现在一次搞定。测试显示,开启这个融合内核后,mAP保持38.09不变,但速度明显提升,CPU占用率进一步下降。
JPEG解码:被忽视的细节
这次测试用的是COCO数据集,全是JPEG图片。i.MX 95有硬件JPEG解码器,但很多人用不好。COCO里的图片格式很乱,有的返回NV12,有的NV16,还有灰度图混在其中,尺寸也不对齐。如果软件层处理不好缓冲区的对齐和步长(stride),硬件解码器的优势就发挥不出来,甚至可能比CPU软解还慢。
EdgeFirst HAL在处理硬件解码输出时,会根据每张图的实际格式调整缓冲区的对齐方式,并复用内存。实测显示,硬件解码一张图只要5.4ms,GPU Resize要4.5ms,而NPU推理一帧要11.9ms。因为流水线里有4帧同时在跑,单帧端到端延迟约54ms,但吞吐量能达到84 FPS。这时候瓶颈确实在NPU,而不是IO或预处理,这才是理想的优化状态。
不只是i.MX 95
这套优化思路并不绑定在某一款芯片上。Smart Quantizer和融合算子技术同样适用于NVIDIA Jetson、Qualcomm Snapdragon、Hailo等其他NPU平台。对于开发者来说,可以直接去EdgeFirst Model Zoo下载已经为i.MX 95转换好的YOLO26模型,或者用EdgeFirst Studio转换自己的模型。
目前,相关的HAL、内核补丁和Delegate代码已在GitHub开源(Apache-2.0协议)。如果你手头有跑不满的模型,不妨检查一下:是不是内存拷贝太多?是不是量化范围没切对?是不是CPU上的算子没融合?有时候,软件层面的“精打细算”,比换颗更贵的芯片管用得多。