昇腾联合SGLang办上海Meetup:25人通过实操验收,最快1.5小时通关

资讯 快科技 全文 2538 字 · 约 7 分钟读完 配图 8 张 分类开源

聚力开源 共话推理生态|昇腾 × SGLang Meetup 圆满举办

所属频道 开源生态

2026年11月14日,昇腾与SGLang开源社区联手打造的昇腾开源软件极客营Meetup·上海SGLang专场,在上海粤海万怡酒店办了下来。SGLang社区核心贡献者、产业合作伙伴以及大批开发者到场,大家围着SGLang最新技术演进、昇腾AI基础软硬件平台适配与性能优化、产业实践、生态协同几个方向聊得很深。

[MD:Title]

聚焦实践:主流模型昇腾硬件部署与调优

大模型推理要往前走,光靠框架层创新不够,硬件平台适配、性能优化、工程实践这些活儿得长期攒。上午的Meetup就安排了实操,盯的是业界主流模型Qwen3.8-27B、DeepSeek-V4-Flash(W8A8)、GLM-5.2(W4A8)在昇腾上的部署、推理测试和性能调优。

现场按任务分了不同主题桌次,走赛制,通关名额有限,先过先拿奖。可以组队闯关,昇腾技术专家就在旁边现场指导。实操下来,开发者既亲眼看到SGLang在昇腾上跑得怎么样,也把过程中碰到的技术问题拿出来充分交流讨论。时间有限,现场共有25位学员通过实操验收;通关最快的那位1.5小时就完成现场验收并提交了总结PR,还有1位学员做了2次现场验收、提交总结PR。

[MD:Title]

聚焦技术:五大专题分享,深入探讨 SGLang 与昇腾协同演进

下午的专题分享环节,讲师来自开源社区、昇腾技术团队和产业合作伙伴,各自从框架架构、技术规划、核心优化、实际部署等角度讲。分享里既有SGLang与昇腾生态协同发展的技术探索,也给社区开发者和产业伙伴留出了现场交流、一起学习的机会。

[MD:Title]

SGLang 最新架构和 Roadmap:洞察开源推理框架的技术演进

SGLang开源社区核心开发者张晓雨带来《SGLang 最新架构和 Roadmap》分享。他先整体讲了SGLang推理引擎社区眼下怎么运作,再顺着“一个请求落到硬件”的过程把架构设计一层层拆开,最后介绍SGLang Q4 Roadmap。

[MD:Title]
张晓雨 《SGLang 最新架构和 Roadmap》

昇腾 SGLang 关键竞争力规划:持续推进软硬件协同优化

华为昇腾技术专家周逸文带来《昇腾 SGLang 关键竞争力规划》分享。他结合昇腾AI基础软硬件平台的技术特点和大模型推理的发展需求,从昇腾超节点代际演进、统一总线编程模型、对外提供语义一致接口的SGL-Kernel-NPU这三个方面,讲了昇腾SGLang在核心能力建设、性能优化、功能适配、生态发展上的规划与思考,也说明了靠软硬件协同优化、开源社区协作和持续技术迭代来提升SGLang在昇腾上综合竞争力的相关方向。

[MD:Title]
周逸文 《昇腾 SGLang 关键竞争力规划》

昇腾 SGLang + Mooncake KV Cache 社区发布:探索推理性能提升新空间

第三场分享是华为昇腾技术专家张景芳带来的《昇腾 SGLang + Mooncake KV Cache社区发布》。议题深入讲了基于昇腾超节点场景打造的内存池化软件MemFabric的三大关键能力:百TB级到PB级内存逻辑统一编址、简单的xcopy北向接口、南向灵活的扩展能力,让使用超节点就像使用单节点做统一内存访问。他还介绍了如何深度结合MoonCake,在GLM 5.2/5.3 1M长序列场景拿到吞吐1.x倍收益、Prefix Cache带宽利用率提升1倍、多实例Engram共享节省显存等不同场景的优化案例。

[MD:Title]
张景芳 《昇腾 SGLang + Mooncake KV Cache 社区发布》

SGLang 在 Atlas 800T A2 优化实践:从长程任务需求到软硬协同落地

产业实践分享环节,中国电信人工智能公司PaaS平台技术总监李立彪带来《SGLang 在 Atlas 800T A2 上的优化实践》。他讲到项目面临三大现实约束:长程任务爆发、大量A2设备从训练转战推理、生产主流方案在超长上下文下难以兼顾高并发与低TTFT,研发团队据此分析,确定了统一至SGLang+Mooncake Cache的破局方案。李立彪介绍了团队由内到外的实践路径:先做适配,保证内核以较理想效率运行;再针对性叠加引擎优化特性、挖掘高阶能力,用来发掘Atlas 800T A2机器的潜力;最后给出经初步适配优化后单机并发能力提升两倍、TTFT降低近16%的数据,印证了这套方案的优势。

[MD:Title]
李立彪 《SGLang 在 Atlas 800T A2 优化实践》

Dots NPU 推理部署实践:推动技术能力走向真实业务场景

最后一场,小红书的Dots Infra NPU负责人星海带来《Dots NPU 推理部署实践》。议题围绕Note结构设计、推理框架设计、量化、KV Cache系统等不同方面的实践方案展开,并结合数据展示了Dots团队在NPU推理部署真实业务场景中的探索与经验,末尾还展示了以Cost Model驱动联合调度的后续方案展望。

[MD:Title]
星海 《Dots NPU 推理部署实践》

聚力生态:以开源协作推动技术创新与产业落地

开源生态要持续发展,社区贡献者、硬件平台、产业伙伴和广大开发者谁都少不了。这次Meetup既是一场技术交流,也是一次面向开源推理生态的协同实践。

上午动手实操、下午专题分享,参会者从技术原理、工程实践、产业应用等不同维度,了解了SGLang在昇腾AI基础软硬件平台上的技术进展与应用探索。

接下来,昇腾会继续和SGLang开源社区、产业伙伴站在一起,秉持开放协作的思路,把SGLang在昇腾上的适配与优化往深里做,也更深地参与社区建设,让更多技术成果变成能落地、可复用的工程实践。

同时也盼着更多开发者、生态伙伴加入进来,一起去摸索大模型推理技术的新方向,把开源推理生态做得更开放、更热闹。

昇腾与SGLang,让开源创新和算力生态一块往前走。

想报名的,去搜【昇腾社区官网】,在导航栏点【活动>任务广场】,任务分类里选【业界开源社区】,就能参加社区任务报名,完成验收后还有百万奖金。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. DeepSeek长文本限流引差评潮:免费开源模式遭遇极端投诉

    随着人工智能技术的飞速普及,免费与开源一度成为了推动行业繁荣的核心引擎。然而,当庞大的用户基数与有限的算力资源发生碰撞时,现实的摩擦也随之浮出水面。近日,国内人工智能领军者 DeepSeek 因对部分超长上下文功能实施限流,意外引发了一波应用商店的差评潮,甚至出现了极端投诉事件,折射出当前大模型免费

    来源 AI 开发者社区
  2. DeepSeek长文本限流引发差评潮:免费模式遇算力考题

    随着AI技术迅速普及,免费与开源成为行业繁荣核心引擎,但庞大用户基数与有限算力资源碰撞,摩擦显现。近日,国内AI领军者DeepSeek对部分超长上下文功能限流,引发应用商店差评潮甚至极端投诉;长对话与角色扮演等需求引爆争议,折射大模型免费模式背后的生态痛点。

    来源 AI 产业速递
  3. 瑞芯微RK1860规格揭晓:64TOPS INT8算力,最高10GB DRAM集成

    IT之家 11 月 18 日消息,开源硬件制造商 Radxa 此前分享了瑞芯微 (Rockchip) 端侧 AI 协处理器 RK1860 的规格信息。 这一芯片的 NPU 单元具备 64TOPS 稠密 INT8 算力,集成至多 10GB 内存,提供 64-bit LPDDR4 / LPDDR5 外部内存接口。此外,其拥

    来源 AI 行业观察
  4. Rumble-2-Flash:0.5B参数语音模型,40种语言实时转录

    Reson8开源了Rumble-2-Flash,这是一个仅0.5B参数的语音识别模型,支持40多种语言。它在准确率上媲美大它几十倍的模型,且在真实电话录音测试中表现优异,推理速度极快,原生兼容Hugging Face Transformers和vLLM,无需自定义代码即可部署。

    来源 AI 应用前沿
  5. SiliconForest 亮相:不装苹果 macOS 系统也能用 Mac 软件

    IT之家 11 月 19 日消息,科技媒体 AppleInsider 昨日(11 月 18 日)发布博文,介绍名为 SiliconForest 的新开源操作系统,基于苹果开源的 Darwin 与 XNU,可以在不依赖 macOS 系统的前提下运行 Mac 应用。 该项目由开发者 Chris Kearney 推出,定位为

    来源 AI 行业观察
  6. RadixArk发布DaisyRose-27B:18天强化学习,终端任务通过率翻倍

    RadixArk团队基于Qwen3.8-27B推出了DaisyRose-27B模型。通过自研的Miles框架和高质量数据筛选,团队仅用144张H200 GPU在18天内完成了训练。该模型在Terminal-Bench 4.1上的通过率从5.6%提升至12.0%,且训练成本比开源方案降低57%。文章详细介绍了其数据构建逻

    来源 AI 应用前沿
  7. 混元Hy4 flash开源:API每百万Token输入0.5元,实测12分钟出3D场景

    编辑|泽南、冷猫你能想象吗?这是用 Flash 级的模型,只花 15 分钟写出来的。大模型的「斩杀线」居然已经到了这个位置。11 月 16 日,腾讯正式推出的新模型混元 Hy4 flash,让 AI 社区久违地像过节一样,狂晒各种测试效果。有人已经喊出:DeepSeek 不再是效率之王了。Hy4 flash 是一款原生

    来源 腾讯网
  8. 华为云开源具身世界模型CloudRobo-WM1.2:昇腾原生,仿真基准登顶

    本文转载自微信公众号:国泰君安证券研究报告导读:华为云举办具身世界模型发布会,发布并开源首款昇腾原生的具身世界模型CloudRobo-WM1.2,形成覆盖算力、模型、平台、伙伴与场景的具身智能开放生态。投资建议:华为云以“算力+模型+开发平台”切入具身智能,将昇腾原生世界模型与训练框架、算力最佳实践一并开源,降低具..

    来源 腾讯网
  9. Recapture:用合成数据解决文档AI训练的“扫描件荒”

    训练视觉语言模型时,干净的数字文档太多,真实的皱褶扫描件太少。Recapture 这个开源工具能把平整的PDF页面变成逼真的手机拍照或扫描仪图像,自动保留标注框。不用真的去打印再拍摄,就能批量生成带噪声的训练数据,解决数据集混合难题。

    来源 AI 应用前沿
  10. 腾讯音乐三季度营收89.41亿:AI歌曲日均入库45%,平台怎么接招

    音乐平台从未像今天这样不缺新歌,但下一个能够持续创造商业价值的音乐明星,依然难寻。 11月17日,腾讯音乐公布2026年第三季度财报,营收89.41亿元,同比增长5.6%,低于市场一致预期。 依靠高阶会员、演唱会和艺人周边,这家在线音乐巨头正进一步挖掘成熟IP的商业价值,但主力产品的用户活跃度仍然承压。 存量IP的生意

    来源 AI 行业观察
  11. AnthropicIPO定价83美元:估值1.5万亿,80余人联名质疑安全性

    就在定价公布同一天,一份名为《MisAnthropic Statement》的公开声明在misanthropicstatement.com上线,由AI安全中心推动、80余名跨阵营人士联署,开篇即给出结论:“Anthropic is not a safe AI company”——史上最大IPO与史上罕见的跨阵营围剿,在

    来源 TechWeb
  12. DeepSeek刚限完流,就去给开发者免单了

    简单来说,开发者通过DeepSeek模型执行联网搜索任务,不再需要为搜索和网页抓取额外支付按次调用费用,但模型本身消耗的Token仍然正常计费。

    来源 凤凰科技
  13. 英伟达临时CEO克雷斯回应换帅疑虑:AI芯片业务照常,产品节奏不变

    【TechWeb】11月19日,行业媒体Digitimes发布报道,聚焦黄仁勋辞任后英伟达首次财报电话会议。针对外界“换帅是否会打乱AI芯片供货”的疑虑,临时CEO科莱特·克雷斯(Colette Kress)明确回应:公司业务照常开展。 克雷斯在会上强调,英伟达未来产品的开发与推出节奏保持不变,公司的运营表现、业务展望

    来源 AI 行业观察
  14. 「北美大豆包」谷歌,终于杀回 AI 牌桌中央

    谷歌,这次是真的回来了。 11 月 18 日,Google DeepMind 点亮了Gemini 4 Neon的霓虹灯牌。 这是 Gemini 4 系列在短短 7 周内甩出的第 4 款元素模型。如果看一眼官方放出的基准跑分长表和社区实测反馈,你会发现它精准卡在了一个极其舒服的「甜点」位上,既有接近、甚至局部反超旗舰的硬

    来源 AI 行业观察
  15. 上市前一天,80余位学界与AI大佬联合声明:“Anthropic不是一家安全的AI公司”

    【TechWeb】11月18日,Anthropic正式确定IPO发行价为每股83美元,高于此前70-78美元的指导区间;公司连同部分股东共发行约9.8亿股A类普通股,公开发行筹资约813亿美元,叠加向谷歌、英伟达、微软等战略投资者的260亿美元私募配售,合计融资规模突破944亿美元,超越SpaceX今年6月创下的纪录,

    来源 AI 行业观察
  16. iPhone Air2、iPhone 18标准版确认春季发布,前者升级幅度巨大

    随着新机发布时间临近,苹果供应链已开始为下一代iPhone量产做准备。据ETNews披露,三星显示和LG Display均已着手准备OLED面板生产计划,两家供应商的生产安排一致指向2027年3月的新品发布窗口——标准版iPhone 18与超薄机型iPhone Air 2,将跳过今年秋季,在2027年春季与消费者见面。

    来源 TechWeb
  17. 郑渊洁71岁用AI做动画,8部短片免费开放

    11月17日,停更近两年的郑渊洁在个人社媒发声,宣布了一件让他自己都觉得“振奋和不可思议”的事:对动画制作“一窍不通”的他,已经用AI把自己的童话作品做成了动画短片,全部通过授权抖音账号“郑渊洁童话世界”免费开放观看。这位71岁的“童话大王”在视频末尾向00后道贺——祝贺他们赶上了“可以免费享用精神文化作品、人人可以参

    来源 TechWeb
向下滚动自动加载更多