NVIDIA 开源连续扩散语言模型,14 个检查点同步放出
2026年11月21日AI资讯:NVIDIA发布Nemotron-Labs-Sigma连续扩散语言模型并开源14个检查点;腾讯混元团队回应Hy4后训练空间及更大模型计划;Inkling 2 Mini上架Ollama降低本地智能体门槛;OpenAI反蒸馏防护将思考链提取成功率压至0.2%;Dragos揭露AI服务链隐私泄
NVIDIA 推出连续扩散语言模型,一次性开源 14 个检查点
2026 年 11 月,NVIDIA 对外发布了连续扩散语言模型 Nemotron-Labs-Sigma。它的运行方式与常规大模型不同:不在离散 token 空间里做处理,去噪发生在 16 维的连续嵌入空间。换句话说,它并非逐字预测下一个词,而是靠一步步去掉噪声来生成内容。
这一次 NVIDIA 放出的开放检查点共有 14 个,规模覆盖 3B(30 亿参数)和 8B(80 亿参数)两档,类型上包含基础版(base)、指令微调版(instruct)、蒸馏版,以及支持自推测解码的版本。开发者与研究人员可以按各自的硬件条件和实际需求挑合适的版本去做实验或部署,这种成套开源的思路把尝试扩散语言模型这一新架构的门槛压低了不少。
扩散模型在图像生成上已经相当成熟,落到语言模型却还处在早期探索阶段。NVIDIA 想借此推动连续表示在自然语言处理中的落地,未来模型架构或许能从中得到新思路,长上下文处理或对一致性要求更高的任务尤其可能受益。
腾讯混元团队:Hy4 后训练仍有空间,计划训练更大模型
在 Reddit 的 AMA(Ask Me Anything)活动上,腾讯混元团队回答了社区针对其最新模型 Hy3 和 Hy4 的提问。按团队的说法,Hy3 和 Hy4 的成功说明小模型经过优化,能在低成本下跑赢更大的模型,不过这并不代表他们就此收手。
混元团队明确表示,Hy4 在后训练环节还有提升余地,也就是说当前版本未必是最终形态,后续还会围绕特定任务或性能做进一步优化。更受关注的是,团队透露后续路线图里已经安排了训练更大规模模型的计划。腾讯在 AI 大模型上的投入没有降温,算力储备和算法优化层面可能也有了更深的布局。
外界一直在讨论“小模型能不能应付所有场景”,这一表态算是对此的回应。小模型在效率和成本上占优,可一旦碰上极其复杂的推理任务,或者需要海量知识储备的场景,大规模模型的价值依然无法替代。腾讯走的是两条路:一边继续优化小模型的性价比,一边不放弃对超大模型的探索。
Inkling 2 Mini 上架 Ollama,本地智能体门槛再降低
Thinking Machines 开发的 Inkling 2 Mini 已正式上架 Ollama 预发布版。该模型拥有 5.4B 激活参数,最突出的特点是好伺候本地硬件——Mac 电脑内存只要达到 32GB 以上,就能完全在本地跑起来,不必依赖云端 API。
Inkling 2 Mini 瞄准的任务场景都挺实用:编码辅助、计算机使用(computer use)、视觉推理,以及金融智能体任务。开发者和个人用户能在本地跑一个兼具多模态能力和一定推理水平的智能体,数据隐私更有保障,网络延迟和 API 调用费用这两笔麻烦也一并省掉了。
Ollama 是本地大模型运行工具里比较流行的一个,这次把 Inkling 2 Mini 纳入模型库,选择面又宽了一些。想在断网环境下试 AI 智能体应用的用户,或者对数据敏感度要求高的企业用户,都可以留意这个选项。32GB 内存放在当下的 Mac 配置里不算高,这项技术因此更容易普及。
Amazon Textract Insights:文档抽取加入可验证生成式 AI
亚马逊云科技(AWS)发布 Textract Insights,对原有文档抽取能力做了一次重要升级。新功能引入了“可验证的生成式 AI”,面向的是金融、保险、医疗这类对合规性和准确性要求极高的行业。
OCR(光学字符识别)只能把文字提取出来,生成式 AI 则能读懂文档内容,进而生成摘要或结构化数据,问题是常常出现“幻觉”——生成的内容未必准确,追查起来也困难。Textract Insights 的“可验证”特性就是冲着这个痛点去的:它输出的结果附带可追溯的核验信息,用户能清楚看到生成的结论出自文档的哪一部分。
这样的设计把文档智能落地时的合规风险压下去不少。金融审核、保险理赔、医疗记录处理,每一个判断都得有据可依。Textract Insights 想在生成式 AI 的理解能力和传统方法的严谨性之间取一个平衡,为企业级应用提供更可靠的方案。
AWS 分享分布式 KV 缓存技巧,降低自托管 LLM 成本
自托管大型语言模型(LLM)一直卡在成本高、延迟大这两件事上,KV 缓存(Key-Value Cache)的管理就是其中的关键瓶颈。多服务器部署时,各台服务器的缓存彼此孤立,重复计算和资源浪费随之而来。
AWS 博客近日介绍了一种基于分布式 KV 缓存的 agent skill 技术,能把多台服务器之间孤立的缓存打通,实现共享。请求进来时,系统先看其他服务器是否已经算过相关的 KV 缓存,有就直接复用,省掉重复的 GPU 计算。
这么做的直接效果是自托管 LLM 的计算成本和响应延迟双双下降。对需要扛高并发请求或长上下文对话的企业来说,这是一招实用的优化。AWS 不光讲了概念,也给出了具体的落地做法,给那些想自建大模型服务、又被成本和性能卡住的团队提供了一条参考路径。
OpenAI 反蒸馏防护见效,思考链提取成功率降至 0.2%
模型蒸馏在大模型领域是个敏感话题。竞争对手或研究者只要大量查询,就能把模型的“思考链”(Chain of Thought)提取出来,再训练出性能相近、成本更低的小模型。为保护知识产权,OpenAI 一直在加码反蒸馏防护。
OpenAI 公布的最新数据表明,其反蒸馏措施收到了明显效果。针对 GPT-6.2 Astra,思考链的提取成功率已从 54% 压到 0.2%。换句话说,想靠常规手段窃取 Astra 内部推理逻辑,如今基本行不通。对 Astra 和 Sol 两款模型的内部推理链,OpenAI 也一并收紧了保护。
攻防并未停歇。模型能力越往上走,守住核心推理过程就越关键。OpenAI 这一步进展,可能逼着做模型蒸馏的研究者去找更绕、更贵的方法,或者转去防护更弱的模型下手。
Dragos 揭露 AI 服务链隐私泄露,近 200 万条诱饵请求曝光问题
不少 AI 服务商对外承诺“零数据保留”,安全公司 Dragos 的最新调查却把这层承诺和实际情况之间的落差摆了出来。测试用的请求接近 200 万条,全都带上了追踪诱饵,投向多家 AI 服务商。
结果并不乐观:提示词被窃取、转售商把数据外传等问题,在多家服务商身上都存在。所谓“零数据保留”并没有真正落地,用户数据可能在不知情的情况下进了第三方手里,甚至被拿去训练别的模型,或者卖给数据经纪商。
这件事再次给 AI 服务链的隐私安全提了醒。企业也好,个人用户也好,用云端 AI 服务时得清楚数据泄露的风险。知名服务商也不例外,供应链里的转售商、合作伙伴都可能成为漏洞的入口。挑 AI 服务时不能只看模型性能,数据隐私政策怎么写的、实际怎么执行的,都要细看,必要时可以走本地部署或私有化方案。
Isomorphic Labs 完成 50 亿美元 C 轮融资
AI 制药公司 Isomorphic Labs 宣布完成 50 亿美元的 C 轮融资,由 Greenoaks 和红杉资本联合领投。这是 AI 制药领域又一笔大额融资,也说明资本市场看好 AI 在药物研发上的应用前景。
Isomorphic Labs 想用人工智能把新药发现的流程提速,从靶点识别到分子设计,AI 有望把研发周期压短、把成本降下来。AlphaFold 等技术在蛋白质结构预测上取得突破之后,AI 制药已经从概念走到实践。这笔融资会让 Isomorphic Labs 手里多出不少资源,用来扩充研发团队、提升算力基础设施,并推进更多候选药物的临床试验。
这一动向说明,AI 和传统行业的结合还在往深处走。研发成本高、周期长的领域尤其如此,AI 的作用越来越明显。