Linux 7.4内核AMD核显AI提速：Llama.cpp最高快23%
快科技10月1日消息，Linux在7.4内核中引入了一项AMD PerfOpt优化，让Radeon核显在本地运行大语言模型时绕过IOMMU直接访问系统内存，Llama.cpp吞吐量最高提升23%。 该补丁由IOMMU维护者Joerg Ro
10月1日消息，Linux 7.4内核加入了一项AMD PerfOpt优化。这项改动让Radeon核显在本地跑大语言模型时，绕开IOMMU直接访问系统内存，Llama.cpp的吞吐量最多能提升23%。
补丁是IOMMU维护者Joerg Roedel在9月24日合入的。AMDGPU驱动一旦检测到APU核显工作在Identity Domain，就会自动把它打开，独立显卡则不受影响。
Netflix开发者Boqun Feng在邮件列表中放出的测试数据表明，核显读取动态分配的系统内存（也就是GTT区域）时，速度只有固定预留显存的二分之一到三分之一。PerfOpt启用之后，GTT访问延迟被压到预留显存的10%以内。
入门笔记本的预留显存容量小，大语言模型没法整个塞进去，大部分数据只能落在GTT区域。这也是PerfOpt在AI场景里效果格外明显的原因。
Phoronix拿Linux 7.3补丁搭了测试内核，对三款APU做了实测，其中锐龙AI 9 365的AI性能提升幅度最高，达到23%，吞吐量和首Token响应速度也一并变好。
预留显存越少，PerfOpt带来的好处越大。锐龙AI 5 340用的是Radeon 840M，各项测试都有提升，增幅从18%起步。
旗舰APU这边，锐龙AI Max+ 395装在Framework Desktop上，配64GB LPDDR5-8000，典型提升只有2%到4%，个别测试里不开PerfOpt反倒更快。
眼下测试只覆盖了Zen 5架构加RDNA 3.5核显的APU。老芯片是否也有这个特性位，比如锐龙7040、Steam Deck的Van Gogh定制芯片，还没有定论。
PerfOpt补丁一共新增341行代码，牵涉8个文件。它最终以什么形式进入正式内核，仍有待确认。
