GLM-5.3推理缓存实测:p99延迟从3.96秒涨到17.3秒

资讯 腾讯网 作者:科技行者 全文 6336 字 · 约 16 分钟读完 分类GLMGLM-5.3智谱大模型

你肯定听过这句话:计算机世界里,读缓存永远比重新算一遍快。这几乎是所有工程师的本能直觉,就像你不会把算过的数学题再算一遍,而是直接抄答案。但有一组工程师发现,这个直觉在他们的系统里彻底失灵了。他们在给一个叫GLM-5.3的大模型做推理服务,这是一个超大规模的混合专家模型MoE:混合专家模型,一种让模型的不同部...

所属频道 模型发布开源生态国产大模型

计算机世界里流传着一句话:读缓存永远比重新算一遍快。这几乎是工程师的本能反应——算过的数学题,直接抄答案就是了。

可有一组工程师发现,这个常识在他们那套系统里根本不成立。

他们服务的对象叫GLM-5.3,是个超大规模的混合专家模型(MoE)。按定义,MoE让模型的不同部分各自负责不同类型的任务,模型规模能扩大,计算量却不会明显上升。

这套系统跑在由8块英伟达B300显卡搭成的节点上。为了加快长文本处理,他们加了一层共享缓存,用来存放此前算过的注意力数据,指望遇到相似请求时直接复用、省掉重算的时间。缓存打开之后,中位数延迟基本没动,可最慢的那1%请求(p99延迟)从3.96秒涨到了17.3秒。工程师们一度把整个功能回滚掉了。

论文讲的就是他们怎样找出病根,又怎样把这套拖后腿的缓存改造成真能提速的组件。核心结论一句话:读缓存本身也要付出代价,这个代价往往被大大低估。

缓存到底慢在哪,得先弄清模型如何调用显卡

要看懂这篇论文,先得了解这套系统的结构。GLM-5.3采用的是MLA注意力机制。MLA即多头潜在注意力,由DeepSeek系列模型提出,做法是把每个词元的键值信息压成一个共享的低秩向量,存放这些中间结果所需的空间因此大幅缩小。

这一设计的好处在于:无论模型有多少个注意力头,每个词元要存的中间数据量都是固定的,而且很小。论文所描述的场景中,FP8精度下每256个词元打成一个"块",一块只有12.4MB,摊到每个词元是48.4KB。

长文本处理格外吃显卡,工程师们还动用了"预填充上下文并行"技术。PCP即预填充上下文并行:把一段长文本切成几份,交给多块GPU同时处理,处理完各GPU再通过网络通信把结果同步给所有参与者,每块GPU才能掌握完整的上下文。

在一个节点里,8块GPU(学术上叫"8个rank")如同咬合在一起的齿轮,每一步都要通信同步。只要有一块慢了,另外七块都得干等。

缓存分两层。靠近GPU的一层放在本地内存里(L1),速度快,容量小;远的一层寄存在名为Valkey的键值数据库(L2),容量大,所有推理引擎都能共用,像个公共图书馆。

毛病恰恰出在L2。

打个比方:你开了家连锁奶茶店,各店自己记账(L1),但总部要统一查账,所有门店的流水都得写进同一本总账(L2),而记这本账的只有一个会计。生意一好,八家店同时来写账,全堵在会计那儿排队。要是没有这本总账,各店记各店的,反倒互不干扰、速度更快,代价是总部无从知道别家店算过的东西能不能直接拿来复用。单个Valkey实例面对八个GPU并发请求时,遇到的正是这种局面。

一个加减法就能算清的成本模型

工程师们没有凭感觉猜,而是搭了个只有两项的简单数学模型,用来回答"这次缓存命中划不划算"。

公式很直白:重算耗时等于词元数除以GPU的处理速度;从缓存加载的耗时,则是一个固定开销加上数据量除以缓存能给出的带宽。

其中有个关键临界点,叫"收支平衡带宽",记作B*:缓存必须达到的最低传输速度,算法是每个词元的数据大小乘以GPU每秒能处理的词元数。速度低于这条线,读缓存注定比重新算还慢。

GLM-5.3跑在B300上的这套配置,算出的B*是2.53 GB/s。实测中单个Valkey实例最多只给到1.71 GB/s,连及格线都没摸到。

打个比方,你开车去修理厂,对方说“我们流水线快得很,自己拿零件比等快递强”。可快递送零件的速度要是赶不上流水线消耗的速度,等快递纯属白耗时间,快递公司再守时也白搭。关键从来不在快递准不准点,而在它跑不跑得赢流水线的消耗。

还有一个更棘手的东西:公式里那个叫T0的“固定开销”。它指每次缓存命中都得掏的固定时间,跟带宽没关系,调度、查找、未命中部分的补算、多卡之间的数据广播同步都算在里面。

工程师拿一个实测点反推,得出T0约为0.33秒。也就是说带宽再大,一次缓存命中也逃不掉这0.33秒。而16000词元的提示词重算只要0.31秒。算下来,命中的提示词长度得超过大约17000个词元(GPU速度乘以T0),缓存才可能比重算快;否则带宽多大都没用,缓存必输。

这个模型的价值不在事后解释。论文专门取了三组没参与拟合的独立测试数据来验证,预测值和实测值贴得很近,误差在个位数百分比以内。

带宽不够只是第一层。第二层更隐蔽,也更要命:同步加载。发现带宽不够,其实还没摸到真正的病根。

按这套系统最初的设计,请求一旦命中缓存,GPU这边就得停下来,专门等缓存数据加载完才继续跑。而8块GPU是绑在一起同步推进的,一个在等缓存,另外七个只能陪着干等。

排队论里管这叫单服务窗口队列。论文用利用率ρ来衡量队列健不健康,ρ等于请求到达速率乘以每次服务所需时间。ρ小于1,队列能稳住;ρ一超过1,队伍就越积越长,永远消化不完。

实测数据很难看:单个Valkey实例、同步加载的配置下,ρ算出来是1.13,已经越过临界点。系统运行的前三分之一时间里,中位延迟还是3.52秒,到最后三分之一飙到52.30秒,最多时59个请求同时堵在引擎里,GPU实际利用率只有7%。

拆开看更吓人。83.32秒的p99延迟,意味着每100个请求里最慢的那个,用户要等一分多钟才看到第一个字。GPU利用率只有7%,这块昂贵的硬件九成以上时间在闲置干等,全被缓存系统的堵塞浪费掉了。

好比一条高速公路只开一个收费窗口,还规定所有车道必须同步过关:一辆车慢了,后面所有车道一起停摆。车流一旦超过窗口的处理能力,排队的车越积越多,永远散不开,路再宽、车再多,通行能力也卡死在那一个窗口上。换成每条车道各开一个窗口、互不干扰,车流立刻就能跑起来。

病根找到了,解法其实很自然:既然瓶颈是“所有数据挤在一个会计那里”,那就给每个会计发一本自己的账本——把缓存拆开存,让每块GPU管自己那一份。

做法是把MLA的KV缓存按块索引切开,分给8个rank各自负责。论文管这叫“分片存储”:每个256词元的数据块按编号对8取余,决定归哪个rank管,该rank只负责自己名下块的存储、查找和加载,别的rank不碰。

这里有个精巧的数学证明值得单说。原来的调度器查找逻辑,是向每个rank问一句“你这边缓存命中到第几个块”,再取所有答案里的最小值,当作整个提示词能复用的最长前缀。工程师证明了,存储分片之后这套“取最小值”的逻辑依然完全正确,一行新协议代码都不用改——某个块缺了,拥有它的rank自然会报出缺口位置,取最小值就自动定位到真正的断点。这个证明不光停在理论推导,还在多达800个块的随机场景下做了穷举验证。

分片之后还有个坑得填:加载顺序不能乱。8个rank必须同步推进,不能有谁因为本地缺块就跳过某次集体通信,否则程序直接卡死。论文设计了一套协议,让每个rank不管本地什么情况,都严格按同样的顺序走完“取数据、交换指纹信息、协商出一致的可用前缀长度、按归属广播数据”这几步,保证哪怕某个rank本地出错,大家仍能达成一致,没人掉队。

存储拆完,下一步顺理成章是拆服务器:原来8个rank挤在一个Valkey实例上抢流水线,现在每个rank配一个专属Valkey实例,各碰各的数据,复杂的分布式协调协议和哈希路由全都不需要。带宽提升很直接:从1.71 GB/s涨到10.76 GB/s,整整6.3倍。就像原来八个部门共用一台打印机天天排队,现在每个部门各配一台,打印任务互不干扰,整体吞吐量自然往上翻。要是继续共用一台,打印机本身再快,八个部门抢着用,瓶颈永远在“抢”上,不在打印机的性能上限。

拆分存储解决了带宽,但论文团队没停手。前面算过,带宽拉满单次命中还是躲不开固定成本T0,那至少别让这个成本拖累整个系统的稳定性——异步加载加上三个潜藏多年的客户端bug,是接下来要处理的事。

答案就是异步加载:缓存加载不再卡住GPU主流程,某个请求加载慢了只耽误它自己,其他请求照常跑。

异步加载这套机制原本只服务于普通张量并行场景,默认由rank 0独自承担查找工作。工程师把它推广到分片模式时,先保证每个rank只预取归自己管的那部分数据块,随后又修正了“某个rank一个都没命中”的边界情形——按旧逻辑会误报0个词元命中,可在分片模式下真实结果或许是256个词元,因为块0的归属权握在别的rank手上。这处改动借助3000组随机命中模式做了属性测试。

排查期间还发现三个非常隐蔽的客户端bug,任何一个都会让请求无限期挂起,而GPU的运行轨迹上又看不出丝毫活动,查起来特别吃力。头一个是“完成通知丢失”:客户端原本先发出请求,再去登记一张接收结果的“回执单”,倘若结果恰好在这两步之间的空档处理完毕,回执就会被直接丢弃,调用方从此卡在等待结果的位置上。分片存储让这个问题放大了8倍,原先只有一次查找会受影响,如今每个rank都要查找,暴露窗口也跟着乘了8。生产环境里出现过某个引擎连续16次请求全部超时,一查才发现所有查找线程都堵在等结果上,可实际上压根没有待处理任务在排队。

第二个bug藏得更深,牵扯到网络协议里字节数对不上。Redis系列数据库用5个字节的特殊字符串表示“键不存在”,客户端代码却固定按11字节读取响应,读不满就永远读不完,连接随即作废。再加上缓存淘汰策略(LRU)的作用,一个数据块完全可能在“查找”与“真正加载”之间的空档被淘汰,一旦发生,加载会直接卡满10秒(系统设定的超时上限)才恢复,这10秒里全部8个GPU都跟着白等。

第三个bug是异步加载请求把键名用岔了:查找走一套命名方式,取数据走另一套,于是rank 0之外的其他rank查到数据存在,真去取时却取不到,顺带把前一个bug也牵了出来。

三个bug单拎出来都不算大,可它们恰好点明一件事:复杂系统里拖垮性能的,常常不是算法本身差,而是那些平时概率极低、一触发就卡死全局的边角情况。

配置

|---|---|---|

| 单实例,同步加载 | 9.70秒 | 83.32秒 | 7% |

| 单实例,异步加载 | 3.20秒 | 3.82秒 | 28% |

| 8实例,同步加载 | 0.41秒 | 0.80秒 | 21% |

| 8实例,异步加载 | 0.41秒 | 0.73秒 | 20% |

| **8实例,异步加载,全部修复** | **0.40秒** | **0.67秒** | 22% |

| 纯重新计算(对照组) | 0.31秒 | 1.28秒 | 0.8% |

表格里最耐人寻味的是最后那组对比:全部修复后的缓存方案p99为0.67秒,比纯重新计算的1.28秒更稳,可中位延迟0.40秒,还是比重新计算的0.31秒多出0.09秒。论文直言,这段差距基本都来自前面提到的T0固定成本,堆带宽解决不了,想追平甚至反超重新计算,得从算法本身压掉这笔固定开销,例如把多次广播合成一次,或让数据获取与元信息交换重叠起来跑。延迟之外,吞吐量也有实打实的增长。8块B300同时跑8个20万词元级超长提示词的压力测试中,仅分片存储一项改动就把吞吐量从每秒4.32万词元拉到4.94万词元,涨了14%。排查途中工程师还顺手发现一个与缓存无关、却同样拖慢速度的内核效率问题:FlashInfer库里一个融合算子受专家并行机制影响,大量线程块在處理不属于自己的数据,占掉17%的GPU时间,换成官方提供的优化内核实现后,这部分耗时从1.57毫秒降到0.23毫秒。两项改动叠加,吞吐量达到每秒5.73万至5.80万词元,提升34%,已接近完全关闭缓存系统时的水平,差距仅4%到5%。

团队没有停在实验室数据上,把全部改动搬进真实的五节点生产环境跑了一轮企业SLA压力测试。四个预填充节点加一个解码节点的配置下,首字延迟的中位数、90分位数和均值全部达标;单节点吞吐效率(每分钟处理的词元数)做到255万,约为原来聚合部署方式的3.6倍。

写在后面

这篇论文最出乎我意料的,其实不是那套精巧的分片设计,而是T0这个固定成本本身的存在。工程师起初认定问题只是“带宽不够”——很直觉的判断,加带宽、拆实例,按理就该解决。可算出17000词元这道门槛后才发现,带宽再怎么无限大,短提示词的缓存命中依旧赢不了重新计算。性能优化有时就是这样,真正的瓶颈不在你盯着的那个维度,而藏在一堆看似无关紧要的“固定开销”里:调度、查找、广播同步,单看每样都是毫秒级小事,叠在一起却能划出整个系统的可行性边界。

另一个耐人寻味的细节是,这三个客户端bug在单一存储、同步加载的旧架构下几乎从没露过头,是分片和异步化这两项“正确的改进”把触发概率放大了8倍,才被工程师撞见。这挺反直觉:你为解决一个问题所做的改动,有时反而会把另一个一直潜伏的问题推到台前。论文里反复强调每个修复都配了专门的回归测试,原因大概也在这里——在多卡同步的系统里,一个看似无关的小bug真能让整台价值不菲的GPU集群陷入近乎瘫痪的空转。

如果你的系统里也有一层“理应更快”的缓存,不妨问一句:它交付数据的速度,真追得上你计算资源消耗数据的速度吗?

Q&A

Q1:为什么论文里说的缓存读取有时候会比重新计算还慢?

缓存读取为何有时反倒不如重新算?论文给出了临界值B*的算法:每词元数据量乘以GPU处理速度。实际缓存带宽一旦低于这个值,读缓存就比让GPU直接重算更慢。单个Valkey实例实测只有1.71GB/s,而所需带宽是2.53GB/s,差距明显。

那MLA又是什么?这是DeepSeek系列模型提出的注意力设计,思路是把每个词元的键值信息压成一个低秩向量,由所有注意力头共享。存储的中间数据量因此很小,也不会随注意力头数量增加而变大。GLM-5.3正是靠它来降低显存和存储开销。

分片存储方案针对的是拥堵问题。原方案里,所有GPU的缓存数据都写进同一个存储实例,排队严重。分片方案改为按数据块编号把存储分给不同GPU各自负责,每个GPU配上独立的存储实例。效果是带宽从1.71GB/s升到10.76GB/s,整体p99延迟从83.32秒降到0.67秒。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关 AI 工具

AI 导航
智谱 智谱AI作为主力参与研发落地的大模型,与自身构建的高质量大规模知识图谱结合,形成了融合数据与知识的双轮驱动的… 聊天对话 · zhipuai.cn 腾讯混元大模型 腾讯混元大模型由腾讯全链路自研,在文本和多模态模型性能方面表现卓越,处于业界领先水平。其混元 API 整合了… 大模型与开发平台 · tencent.com 智谱清言 智谱清影是智谱AI推出的免费AI视频生成工具,基于CogVideoX模型,融合文本、时间与空间要素,能提升视… 聊天对话 · chatglm.cn 快手可图大模型Kolors 可图大模型(Kolors)是快手大模型团队自研打造的文生图AI大模型,能够根据用户的文字输入生成风格多样、画… AI 绘画生图 · kuaishou.com AutoGLM沉思 AutoGLM沉思是智谱推出的首个免费、具备深度研究和操作能力的AI Agent。它基于智谱自研的推理模型G… AI 写作 · zhipuai.cn 盘古大模型 华为盘古ai大模型官网入口,1100亿密集参数,40TB海量数据精细训练而成 简介 盘古NLP大模型是一项基… 大模型与开发平台 · huaweicloud.com GLM-4 智谱ai APl官网,接口申请,价格,费用是多少? 简介 智谱ai 提供了基于GLM预训练框架的双语对话模型… 大模型与开发平台 · bigmodel.cn 智谱清流 智谱AI开放平台由北京智谱华章科技股份有限公司研发,是国内排名前列的大模型开放平台。其定位是将先进的认知智能… 大模型与开发平台 · bigmodel.cn

相关推荐 按相关度与热度排序

全部资讯 →
  1. 没收过钱的DeepSeek,限个流就成罪人了?

    要说哪家大模型公司在科技圈和开发者中口碑最好,DeepSeek 认第二,估计没几家敢认第一。 哥们平时也不买量投流,纯靠模型攒口碑。 但我真没想到,就这么一家浓眉大眼的公司,最近....

    来源 腾讯网
  2. Anthropic纳斯达克上市:1.5万亿美元估值背后,大模型正发生六个变化

    王强 腾讯研究院前沿科技研究中心主任今天晚上,Anthropic,这家成立不到六年的公司将在纳斯达克挂牌,股票代码ANT。其发展速度和规模,不得不说是一个技术和商业史上的奇迹,也让人们窥见了AI对未来经济、社会的巨大影响。按每股83美元的最终发行价,其完全摊薄估值约1.5万亿美元。根据目前大家的预期,上市后其市值可能会

    来源 腾讯网
  3. 国产大模型接连限额:算力都去哪了?

    ► 文 观察者网心智观察所 2026年11月16日,不少用户在打开DeepSeek客户端或网页版时,意外收到了一条弹窗提示。系统告知用户,受算力约束,平台不再支持存续超过7天且无活跃交互的长对话,单次输入文字上限被缩短到约4万字,连续使用不到2小时的免费用户甚至会直接触发每日使用额度上限。无独有偶,就在20天前的10月

    来源 腾讯网
  4. DeepSeek调整API计费:搜索与网页抓取不再单收费,只按Token算

    11月18日12:00起,DeepSeek正式实施全新API计费规则,开发者在调用大模型过程中触发的服务端搜索与网页抓取功能不再单独收费,全面转为仅按模型Token用量计费。这一调整进一步简化了大模型的商业化计费链路,直接降低了开发者构建联网AI应用的综合成本。 根据DeepSeek官方披露的规则,

    来源 AI 开发者社区
  5. ChatGPT和Gemini被曝推送虚假购物网站:151品牌测试出错率几何?

    最近有一项新研究爆出了一个很值得大家警惕的问题:AI聊天机器人居然会主动给用户推荐虚假购物网站。 品牌保护服务商Podqi做了一组测试,一共覆盖151个不同品牌。 测试结果显示,Perplexity给出风险网址的概率高达15%,ChatGPT和Gemini的情况也好不到哪里去,出错比例和它相差不远。 很多人已经习惯买东

    来源 AI 行业观察
  6. 港中深联合微软研究院提出多模态统一建模新架构ConvexLLM,让声音接上大模型已经学会的知识与推理

    本研究由香港中文大学(深圳)与 微软研究院(Microsoft Research)联合完成。通讯作者武执政是香港中文大学(深圳)副教授、国家级青年人才、安菲翁科技创始人。刘树杰是微软研究院首席研究员,长期从事自然语言处理、语音处理方面研究。徐明晧、王宇翔、申英达是港中深博士生、硕士生。胡宇轩和李锦宇来自微软 CoreA

    来源 腾讯网
  7. AI研究员给了一个GPU,十小时,还有一整套训练工具,接下来会发生什么?

    研究团队做了个实验,让一个AI智能体接管整个大语言模型的训练后调优流程。给它一台H100显卡,不限制的网络访问权限,还有十个小时的时间预算。然后,就看着它自己去折腾。结果让人意外。这个智能体在面对完整的工具箱时,没有像人类专家那样东做做西试试,反而迅速收窄到了一种操作上。整整三十三轮实验里,它反复做的事情...

    来源 腾讯网
  8. DeepSeek调整API计费:服务端搜索与网页抓取不再单独收费

    11月18日12:00起,DeepSeek实施新API计费规则:调用大模型触发的服务端搜索、网页抓取不再单独收费,统一仅按模型Token用量计费。此举简化商业化计费链路,降低开发者构建联网AI应用成本。官方称,免费服务端搜索覆盖多元开发者生态接口,触发场景包括原生联网等。整体利好联网AI应用开发。

    来源 AI 产业速递
  9. 时序基础模型落地难:冻结权重,让AI智能体改写部署流程

    你有没有遇到过这样的情况:买了一个号称"开箱即用"的智能工具,用起来却发现它根本不懂你的具体业务。时间序列预测领域最近几年就在经历类似的尴尬。谷歌、亚马逊这些大公司陆续推出了"时序基础模型",这些模型在海量数据上训练过,理论上拿来就能预测任何新数据集,不需要再专门训练。时序基础模型(TSFM):一种在大规模...

    来源 腾讯网
  10. OpenAI自曝递归自我提升,智能体指数级爆发,人类已成瓶颈

    OpenAI毫无征兆地宣布:「递归自我提升」(RSI,Recursive Self-Improvement)的齿轮,已经正式开始转动。 通俗来说,OpenAI亲口作证:AI开始研发AI了! 长久以来,人们都在猜测超级人工智能(ASI)会在哪一天降临。大家盯着大模型的跑分,盯着参数量的飙升。 但OpenAI明确告诉你:通

    来源 AI 行业观察
  11. 港中深与微软研究院推ConvexLLM:语音免转写直连大模型

    在语音与多模态人工智能的演进中,如何让大模型更自然、更直接地“听懂”声音并完成复杂推理,一直是业界探索的核心方向。近期,香港中文大学(深圳)与微软研究院联合提出了名为 ConvexLLM 的多模态统一建模新架构,为语音与语言的融合提供了全新的技术思路。 核心创新:C-Gate 架构与“凸包映射”原理

    来源 AI 开发者社区
  12. 港中深联合微软研究院提出 ConvexLLM:让声音跳过转写,直接调用大模型推理能力

    语音与多模态AI发展中,让大模型直接“听懂”声音并复杂推理是核心方向。香港中文大学(深圳)与微软研究院联合提出ConvexLLM多模态统一建模新架构,为语音与语言融合提供新思路。其核心创新为C-Gate架构与“凸包映射”原理,意在突破传统先将语音转写为文本、再交由大语言模型处理的链路。

    来源 AI 产业速递
  13. 火山引擎刘智恒:Agent进企业,缺的不是模型是上下文

    当 Agent 真正进入企业流程,哪些工作可以交给 AI ?50 + 实战案例揭晓答案! AI 正在从回答问题的辅助工具,走向理解目标、调用系统、完成任务的工作承担者。当 Agent 真正进入企业流程,问题不再是 “如何把 AI 做出来”,而是哪些工作可以交给 AI、结果如何验收、权限、成本与风险如何收住。随着大模型向

    来源 AI 行业观察
  14. 阿里云单季收入突破600亿,吴泳铭:算力紧缺是长期现实,数据中心建设目标可能下调

    【TechWeb】11月20日消息,阿里巴巴发布2027财年第二季度(自然年2026年7—9月)财报,该季度阿里云板块收入609.73亿元,同比增长53%,其中,外部客户收入同比增长64%,刷新近六年来的增速高点。剔除一次性硬件交付后的外部经常性收入增速进一步升至67%。在资本开支同比大增60%至504.77亿元的重投

    来源 腾讯网
  15. DiffuSpace开源Clo:扩散模型两年内部分替代自回归?

    AI 已经开始替人写代码、操作软件、执行复杂任务,但支撑它们的主流大语言模型,仍然在一个 Token 接一个 Token 地生成答案。 扩散语言模型正在尝试另一种路径。它可以并行生成多个 Token,在生成过程中反复调整内容,而不必严格遵循从左到右的顺序。过去,这条路线最大的吸引力是速度;如今,随着 Agent 成为大

    来源 AI 行业观察
  16. 黄仁勋卸任英伟达CEO:评级下调、数据威胁与AMD做空风波

    【TechWeb】11月20日消息,黄仁勋卸任英伟达CEO带来的震荡仍在AI芯片产业链持续蔓延。19日行业接连爆出多重利空:英伟达遭遇勒索组织数据威胁、穆迪下调其信用评级展望,同时做空机构发布报告质疑AMD订单真实性与流动性安全,叠加台积电对英伟达超额订单提出预付现金要求,AI芯片板块的风险预期快速升温。勒索软件组织G

    来源 腾讯网
  17. 黄仁勋辞职一周,英伟达近20万签名请愿复职、工程师称不回归就走

    【TechWeb】黄仁勋辞职一周后,英伟达内部的“人心危机”正持续发酵。临时CEO科莱特·克雷斯面临的,是一场几乎公开化的员工不满——要求创始人回归的"Stand with Jensen"请愿已收集近20万签名,其中自称英伟达在职员工的签名超过1万人,而公司员工总数约4.2万人;部分工程师已明确放话,若黄仁勋不能复职将

    来源 腾讯网
  18. 零宙AI生图平台开启测试:拖拽定位置,不写提示词也能出商用图

    AI 生成的时候您是否遇到过这样的问题? 我不懂 AI,我生成的东西没法用 我懂 AI,但是模型没有按照我想要的去生成 大模型生成的图片元素位置不是我想要的,那么请看零宙平台用户生成的实际案例展示 相信大多数玩过 AI 绘画的人都会遇到上面的三个问题,这也是如今行业普遍痛点。市面上绝大多数 AI 生图工具依靠提示词驱动

    来源 AI 行业观察
  19. Anthropic IPO定价每股83美元:估值1.5万亿,本周四登陆纳斯达克

    11月18日,Anthropic据报将IPO定价为每股83美元,高于70至78美元预期区间,本周四以代码“ANT”在纳斯达克挂牌。按发行价计算,这家Claude大模型开发商完全稀释估值达1.5万亿美元,较5月私募融资(筹资650亿美元)时9650亿美元估值大幅跃升,但仍低于此前传出的2万亿美元目标。

    来源 AI 产业速递
  20. Superfluid 舰队模式:多台电脑连起来跑本地大模型

    本地跑大模型虽隐私安全,但单设备算力有限且易闲置。Superfluid 推出“舰队模式”,能将办公室内不同品牌、不同芯片的电脑(Mac、NVIDIA、AMD等)聚合成一个统一的推理端点。实测显示,六台异构设备协同可将吞吐量提升近五倍,且支持节点故障无缝切换,无需修改客户端代码即可享受分布式算力红利。

    来源 AI 应用前沿
向下滚动自动加载更多