2 TOPS NPU跑YOLO26破80帧:零拷贝与模型切分实战

资讯 AI 应用前沿 全文 2351 字 · 约 6 分钟读完 分类TOPS芯片存储

在NXP i.MX 95的2 TOPS NPU上,通过零拷贝流水线、智能量化切分和NEON融合算子,将YOLO26n推理速度从40 FPS提升至84 FPS,同时mAP提升7个点。本文拆解EdgeFirst优化方案的技术细节,包括如何消除内存复制、处理JPEG解码对齐以及CPU端算子加速,为边缘AI开发者提供可落地的性

所属频道 算力与芯片

2 TOPS也能跑满YOLO26

很多人对嵌入式NPU的印象还停留在“能跑就行”。拿NXP i.MX 95来说,它搭载的eIQ Neutron NPU算力只有2 TOPS。如果用Ultralytics默认导出的INT8模型,配合NXP官方 BSP(板级支持包)里的标准软件栈,跑YOLO26n目标检测大概只能做到40 FPS左右。这在很多实时场景里其实有点捉襟见肘。

但Au-Zone Technologies团队通过EdgeFirst优化方案,在同一块板上跑出了84.1 FPS的成绩。更反直觉的是,CPU占用率从64%降到了39%,而且精度不降反升,mAP(平均精度均值)提高了7个点。这不是靠堆硬件实现的,而是把软件栈里那些“等待时间”全给抠出来了。

这次优化主要做了四件事:让数据喂得更快、去掉内存复制、在正确的位置切开模型、加速CPU剩下的那部分活。下面咱们拆开看看具体是怎么做的。

别让CPU忙着搬砖

一个典型的视觉推理流水线分三步:预处理(Resize和颜色转换)、模型推理、后处理(解析结果)。在默认方案里,CPU既要干预处理,又要干后处理,还得在模型推理间隙插把手。这就导致NPU经常处于“等米下锅”的状态。

EdgeFirst HAL(硬件抽象层)的做法是把每一步都交给最合适的硬件。在i.MX 95上,Arm Mali GPU负责Resize和颜色空间转换,NPU专心跑模型。更重要的是,这三步是并行流水线的:当NPU在算第N帧的时候,GPU已经在处理第N+1帧的预处理,而CPU可能在解析第N-1帧的结果。这种重叠执行让硬件几乎没有空闲。

零拷贝:内存里直接握手

如果你看过默认方案的内存流向,会发现每次数据从一个阶段传到下一个阶段,都要在CPU内存里完整复制一遍。比如摄像头采集的数据先拷到预处理缓冲区,处理完再拷到NPU输入缓冲区,推理完再拷出来给后处理。对于高分辨率图像,这种复制不仅耗时,还占带宽。

EdgeFirst的零拷贝方案利用了Neutron NPU支持的共享内存特性。GPU预处理时,直接把渲染结果写进NPU的输入张量内存里;NPU算完后,后处理模块直接从同一块内存读数据。整个过程没有一次额外的memcpy。

为了实现这点,他们改了三个地方:内核驱动、Neutron Delegate(委托层)和HAL。缓冲区在初始化时就分配好,并且固定在设备间共享的内存区域,每帧复用,不再反复申请释放。

切分模型:把精度和速度都抢回来

NPU不是万能的,有些算子它不支持,或者支持得不好。在YOLO26n里,有三个部分必须留在CPU上跑:中间的两个注意力模块,以及最后的Decode(解码)部分。默认方案里,这些部分由TensorFlow Lite和XNNPACK处理,但效率不高,而且成了整个流水线的瓶颈。

解决Decode部分的精度损失

通常为了上NPU,模型会被量化成INT8。默认导出工具会让所有输出头共享同一个量化范围。问题在于,检测小物体的那个输出头数值范围很小,强行共用范围会导致大量细节被舍入误差吃掉,精度直接打折。

EdgeFirst Studio里的Smart Quantizer(智能量化器)在Decode之前把模型切开。NPU只跑到三个输出头为止,每个头保留独立的量化范围。剩下的Decode部分交给CPU,用FP16精度的NEON融合算子来跑。因为Box坐标对量化误差特别敏感,用浮点数算最后这一步,既保住了精度(这就是那7个mAP点的来源),又因为NEON算子够快,没拖慢整体速度。

加速中间的注意力模块

中间那两个注意力模块没法通过切分尾部来解决。默认方案里,它们被拆成四个独立的TF-Lite算子,XNNPACK也没有针对这些重算子的优化内核,跑得慢。

EdgeFirst Delegate把这些算子融合成一个单独的NEON内核。虽然活还是CPU干,但原来要调四次函数、中间还要读写内存,现在一次搞定。测试显示,开启这个融合内核后,mAP保持38.09不变,但速度明显提升,CPU占用率进一步下降。

JPEG解码:被忽视的细节

这次测试用的是COCO数据集,全是JPEG图片。i.MX 95有硬件JPEG解码器,但很多人用不好。COCO里的图片格式很乱,有的返回NV12,有的NV16,还有灰度图混在其中,尺寸也不对齐。如果软件层处理不好缓冲区的对齐和步长(stride),硬件解码器的优势就发挥不出来,甚至可能比CPU软解还慢。

EdgeFirst HAL在处理硬件解码输出时,会根据每张图的实际格式调整缓冲区的对齐方式,并复用内存。实测显示,硬件解码一张图只要5.4ms,GPU Resize要4.5ms,而NPU推理一帧要11.9ms。因为流水线里有4帧同时在跑,单帧端到端延迟约54ms,但吞吐量能达到84 FPS。这时候瓶颈确实在NPU,而不是IO或预处理,这才是理想的优化状态。

不只是i.MX 95

这套优化思路并不绑定在某一款芯片上。Smart Quantizer和融合算子技术同样适用于NVIDIA Jetson、Qualcomm Snapdragon、Hailo等其他NPU平台。对于开发者来说,可以直接去EdgeFirst Model Zoo下载已经为i.MX 95转换好的YOLO26模型,或者用EdgeFirst Studio转换自己的模型。

目前,相关的HAL、内核补丁和Delegate代码已在GitHub开源(Apache-2.0协议)。如果你手头有跑不满的模型,不妨检查一下:是不是内存拷贝太多?是不是量化范围没切对?是不是CPU上的算子没融合?有时候,软件层面的“精打细算”,比换颗更贵的芯片管用得多。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 三星为Meta定制HBM:基于HBM4E,配2nm基础裸片

    IT之家 11 月 17 日消息,韩媒 the bell 当地时间本月 13 日报道称,三星电子正为 Meta 专有 ASIC 项目开发定制 HBM 内存。这一产品基于标准 HBM4E,但配备定制基础裸片 (Base Die)。三星电子直到 HBM5 才会在通用 HBM 上使用基于自家 2nm 工艺的基础裸片,而 Me

    来源 腾讯网
  2. 苹果与三星谈DRAM长约:4至5年,明年上半年起供货

    IT之家 11 月 17 日消息,据韩国《每日经济》援引半导体行业消息称,三星电子与苹果即将达成 DRAM 内存芯片长期供货协议。苹果是全球最大的消费电子企业,也是大型科技公司中唯一尚未与三星电子签订长期供货协议的企业。消息称双方正就一份为期 4 至 5 年的长期供货协议进行最后磋商,计划从明年上半年开始供货。协议将规

    来源 腾讯网
  3. 消息称苹果破例与三星洽谈 DRAM 长期供货协议,已启动最后磋商

    IT之家 11 月 17 日消息,据韩国《每日经济》援引半导体行业消息称,三星电子与苹果即将达成 DRAM 内存芯片长期供货协议。苹果是全球最大的消费电子企业,也是大型科技公司中唯一尚未与三星电子签订长期供货协议的企业。 消息称双方正就一份为期 4 至 5 年的长期供货协议进行最后磋商,计划从明年上半年开始供货。协议将

    来源 AI 行业观察
  4. 奥尔特曼再谈内存:盼人人有大量内存,在家折腾硬件是好事

    IT之家 11 月 17 日消息,OpenAI 首席执行官萨姆 · 奥尔特曼今天在 Semafor 峰会重申,他希望所有人拥有大量内存。 奥尔特曼表示:“我想明确一点,我希望所有人都能有大量内存。我认为每个人都应该为自己的电脑买大量内存,我觉得自己在家动手折腾硬件是很棒的事。” 据IT之家此前报道,奥尔特曼接受 You

    来源 AI 行业观察
  5. 并购完成,李飞飞正式率队加入AMD,苏妈亲自欢迎

    这下真是王见王了! 旧金山的办公室里,「半导体女王」苏姿丰和「AI教母」李飞飞并肩坐在高脚凳上,面前是坐满一屋子正在鼓掌的World Labs员工。 当地时间11月16日,AMD正式宣布完成对World Labs的收购,这家由李飞飞联合创办的空间智能公司,从此彻底并入AMD。 官宣视频当中,苏姿丰穿着黑色连帽卫衣一边比

    来源 AI 行业观察
  6. 微软全球宕机:潜伏四个月的漏洞,为何15小时才被发现

    微软系统漏洞在上周因一次例行流量切换操作被引爆,服务器在流量骤增后出现内存耗尽,自动化容灾系统将流量转移至"健康"的其他服务器,却将漏洞带入这些系统,形成连锁失效。从最初出现零散故障,到微软确认全面问题,历时约15小时;微软随后又花费约15小时才开始推送修复方案,宕机时间之长,远超同类事故。

    来源 华尔街见闻
  7. 北科天弓天芯获数千万元种子轮融资,二维半导体瞄准1nm以下制程

    作者 | 邱晓芬 编辑 | 袁斯来 硬氪获悉,二维半导体公司北科天弓天芯(北京)科技有限公司(以下简称「天弓天芯」)近日完成数千万元种子轮融资,由中科创星、英诺基金出资。本轮资金将主要用于团队建设、晶圆生产能力建设及技术成果转化。 「天弓天芯」成立于2026年5月,是北京科技大学张跃院士团队的科技成果转化项目,专注于打

    来源 AI 行业观察
  8. 北科天弓天芯获数千万元种子轮融资:二维半导体从材料走向晶圆

    作者 | 邱晓芬 编辑 | 袁斯来 硬氪获悉,二维半导体公司北科天弓天芯(北京)科技有限公司(以下简称「天弓天芯」)近日完成数千万元种子轮融资,由中科创星、英诺基金出资。本轮资金将主要用于团队建设、晶圆生产能力建设及技术成果转化。 「天弓天芯」成立于2026年5月,是北京科技大学张跃院士团队的科技成果转化项目,专...

    来源 腾讯网
  9. 三星奥斯汀厂投19亿美元扩产:为SpaceX星链造STM32V8芯片

    为此,三星将投资19亿美元扩建奥斯汀工厂的生产设施,目标在2030年前投入运营。报道引述芯片行业消息人士及美国商务部15日消息称,此次扩产旨在将部分目前于法国生产的STM32V8产能转移至美国本土。三星方面对单一客户合同表示不予官方确认。SpaceX已在星链低地球轨道卫星之间的微型激光链路系统中采用该芯片,用于卫星间的

    来源 TechWeb
  10. 美团开源1.6万亿参数模型,全程未用英伟达GPU

    美团发布LongCat-2.5智能体模型,基于华为昇腾训练且未使用英伟达芯片。Anthropic CEO坦言IPO前算力采购存在巨大风险。vLLM修复共享缓存越界写漏洞,MIT与DeepMind研究揭示AI顾问的“忠诚捕获”现象。本期还涵盖Seedance视频生成更新及Vercel子代理工作流实践。

    来源 AI 应用前沿
  11. PaddleOCR联合Qwen3.8实测:发票报销从识别到确认要走几步

    本文记录了一次基于PaddleOCR、Spring AI和Qwen3.8构建的企业发票报销链路测试。重点在于展示如何将OCR结构化结果与业务上下文(如账套、费用类型)结合,生成人工确认卡。文章强调了OCR识别与业务校验的分离,指出单纯依靠大模型解释票面信息的风险,并分享了在Windows环境下部署CPU OCR与GPU

    来源 AI 应用前沿
  12. Looki推Loom模型:第一视角感知能否撑起AI长期记忆

    Looki推出的Loom模型系列不再只是被动回答问题,而是通过视觉和音频连续感知用户的第一视角生活。它将零散的观测数据组织成带有时间戳和证据的经历片段,并分层存储为可检索的长期记忆。相比传统的大语言模型,Loom更擅长处理“我上周把钥匙放哪了”这类需要回溯具体生活场景的问题,且在推理成本和记忆准确性上展示了新的技术路径

    来源 AI 应用前沿
  13. 英伟达发布Rubin HPC GPU:5万CUDA核心,2028年上市

    Rubin HPC单颗GPU搭载超5万CUDA核心,专为科学计算优化,预计2028年上市。CUDA-X扩展科学计算版图,覆盖天体物理、材料科学、药物研发和单细胞生物学等领域,黑洞分析从一个月缩短至8分钟。英伟达展示光子互连与量子计算融合、补齐超算基础设施,称Lambda采用英伟达光子共封装光学技术(CPO)实现最高5倍

    来源 华尔街见闻
  14. TOTO、味之素、花王:这些"超市品牌"正给全球AI芯片供货

    近日,TOTO宣布在福冈县丰前市新建一座半导体制造装置核心部件的量产工厂,投资约600亿日元,加上大分县中津市两座工厂约110亿日元的设备投资,合计约710亿日元。 是不是很惊讶,怎么印象里做马桶的巨头TOTO怎么也开始跨界进军半导体了,可如果你在2026年的东京证券交易所随便扫一眼涨幅榜,会产生一种强烈的错觉:AI算

    来源 AI 行业观察
  15. 美国拟封堵云端算力通道:中国远程使用AI芯片或受限

    据Ars Technica报道,美国政府正着手封堵一个关键漏洞:中国机构无需进口实体芯片,只要通过云端租用算力即可远程使用美国最先进的AI芯片。特朗普政府押注北京不会为此大动干戈,但这一举措可能重塑全球AI算力的流动方式,也让云服务商与芯片厂商站到了出口管制的最前线。

    来源 AI 科技快讯
  16. 传三星电子确定内存未来发展方向:HBM5 使用 D0a DRAM Die

    IT之家 11 月 17 日消息,韩媒 THE ELEC 当地时间今日报道称,三星电子近期已确认了 DRAM 内存技术的未来发展方向,多条技术路线将并行推进。 三星电子目前最为先进的 DRAM 工艺为第 6 代 10nm 级的 1c nm (D1c),采用传统的 6F² 结构和制造工艺。后续的常规迭代 D1d 将用于

    来源 AI 行业观察
  17. 82 亿美元买下李飞飞团队,AMD 不想再只靠卖芯片挑战英伟达了

    今天,AMD 宣布正式完成了对 World Labs 的收购。AI 科学家李飞飞正式加入 AMD,出任执行副总裁兼首席科学家,直接向 CEO 苏姿丰汇报。 “芯片女王”和“AI 教母”同框的画面,在全网刷屏了。 AMD 买下 World Labs “芯片女王”也是扩张女王 按照此前披露的交易协议,这是一笔价值约 82

    来源 AI 行业观察
  18. 黄仁勋卸任英伟达CEO:AI算力格局将如何改写?

    英伟达CEO黄仁勋在一场令人震惊的变故后黯然离职。这位以皮衣形象深入人心的AI算力布道者离场,对全球最关键的芯片公司、整个AI产业以及他本人都意味着什么?《连线》记者Lauren Goode深入解析权力交接背后的迷雾,以及这场变故将如何重塑行业格局。

    来源 AI 科技快讯
  19. 黄仁勋辞职后盟友筹建“作战室”,力推创始人回归英伟达

    深陷丑闻数日后闪电辞职,黄仁勋却可能很快重返英伟达。据Ars Technica报道,其核心圈子正组建非正式“作战室”,试图推动这位创始人重新掌舵。这场围绕个人与公司的博弈,折射出AI芯片巨头在公司治理与创始人光环之间的深层张力:英伟达卖的不只是芯片,还有一张由黄仁勋本人书写了十余年的路线图。

    来源 AI 科技快讯
向下滚动自动加载更多