前几年，AI圈比的是参数、算力和融资额。可模型一离开展台，客户的问题马上变得很实在：数据会不会外泄？设备能不能全天候运转？响应速度够不够快？运行起来吵不吵？

这些疑问，正把端侧AI一步步推到产业的前台。

10月14日，后摩智能在北京举办生态合作伙伴大会。会上，极客公园创始人兼CEO张鹏主持圆桌，五位来自不同领域的人坐到一起——麒麟软件副总经理、生态发展中心总经理姚翎，聊趣智能科技创始人兼CEO黄隽实，罗格数据CTO刘学鹏，寅谱计算CMO陈展凌，后摩智能AI系统总工程师陈仲铭。他们所在的方向分别是操作系统、应用、数据工程、整机集成和芯片，聊的却是同一个话题：端侧AI究竟何时才能做成一门真正的生意？

黄隽实分享了养老院里的一个案例。团队在上海落地了一套「数字家人」，陪老人聊天、提醒吃药、帮忙防诈骗。老人每天说过什么、身体状态怎么样，都属于高度敏感的信息，不能随便往云端传；系统还得全天值守，设备又不能嗡嗡作响。到了这种场景里，隐私、算力、功耗和噪声就超出了技术指标的范畴，直接关系到老人愿不愿意用。

企业市场的答案也差不多。刘学鹏的看法是，客户最在意的是私域化专属。「AI 未来会成为企业的数字专家或数字员工，这种触及核心业务的『员工』，必须招进公司内部，而不是变成外部的云端服务。」一旦模型开始读取发票、财报、订单和客户资料，数据边界就成了商业落地的前提，不再是可选项。

央企和关键岗位的安全要求更严。姚翎说，AI工具只要部署在互联网上，涉密数据就绝对不能碰。大模型甚至可能把不同时段上传的碎片信息拼接出完整内容。「本地安全是重中之重，没有任何商量的余地，安全就是一切的前提。」

不过，需求成立并不意味着生意就成立。陈展凌说得很直接，客户未必在乎省下多少Token，他们更看重体验：首字多久出来，机器安不安静，系统会不会卡，能不能长时间稳定运行。这些看似零碎的问题，决定了产品是被长期使用，还是演示完就被塞进柜子。

端侧AI的难处，不光是把大模型塞进小设备，还在于把通用能力转成可以持续交付的专业服务。模型发布后能不能及时适配，硬件成本能不能压到客户愿意接受的水平，软件伙伴能不能低门槛开发，这些都牵动着商业化的节奏。

底层还有算力、带宽和功耗这个「不可能三角」。陈仲铭表示，后摩要做的就是不断把这三条边界往外推，同时开放软件、接口和API，让更多开发者参与进来。

对话临近结束时，刘学鹏给出一个大胆判断：在中国，AI真正落地，一定是「端侧为主，云端为辅」。端侧是个人和企业专属的大脑，云端则负责知识流动，是社会的大脑。

这个判断准不准，以后自会见分晓。但有一点已经明确：AI从「能聊天」转向「能干活」，就得吃进你最核心、最不愿示人的数据。到那时候，算力放在哪里，就不只是技术选型的问题，而是一道信任题。

大模型的上半场，大家争着让机器变聪明；下半场，比的是怎么让智能走出云端、进入千行百业。最终胜出的，未必是模型最大的那家，但一定是最早跑完那「最后一百米」的。

以下是张鹏与姚翎、黄隽实、刘学鹏、陈展凌、陈仲铭的对话内容，部分有删减。

01 安全、私域、体验：端侧AI商业化的三道真实门槛

张鹏：去年大家还在讲端侧AI元年，今年就变成了「商业化元年」。真到落地的时候，客户掏钱最看重什么？

黄隽实：落地中的挑战其实很多。我们在上海一家养老机构做了「数字家人」场景，主要是想缓解老年人因为孤独引发的各种并发症。

这个场景里，我们最关注几个核心诉求。一是安全隐私，家庭场景的私密信息极为敏感，尤其和公办或民营机构合作时，本地算力是数据兜底的最好办法。二是决策能力，系统要24小时值守，提醒老人用药甚至防诈骗，这就要求本地AI具备很强的持续计算能力。

第三点是要足够安静。用了后摩芯片之后，我们达到了这个要求。

刘学鹏：从企业和专业客户来看，大家最关心的是「私域化专属」。这跟企业的核心利益直接相关，核心业务和数据必须握在自己手里。AI未来会成为企业的数字专家或数字员工，这种触及核心业务的「员工」必须招进公司内部，而不是变成外部的云端服务。端侧对企业的最大价值，就是帮他们建起专属的数据与经验边界。

我们今年落地了不少央企和上市公司客户。以财税场景为例，大量发票、财报和订单数据，本来就不可能交给云端模型去推理，必须专属化。

眼下企业要规划一座庞大的算力中心并不容易，算力拿来做什么也说不清楚。我们换了个路子：哪个岗位缺能力，就往里塞一个「数字专家团」。这种形态对算力没有太高要求，后摩这类端侧算力已经够用。说白了，这是看效果掏钱，从一个小口子切进去，也是端侧当下很要紧的一股推力。

个人这一块，我们做的是「专家」体系，咨询顾问、税务师这些角色都在里面。他们同样看重个人经验和客户资料不能外泄。真要用云端 AI，光是给资料脱敏就够让人头疼，效率被拖得很厉害。

今年我们还落地了一些场景，让端侧设备和机器人直接在本地连起来。

不少机器人现在动起来没问题，缺的是知识推理这一环。端侧设备跟机器人实时对接之后，推理和时延的问题当场就解了。放到工业场景里看，端侧这种低时延更是没别的东西能替。张鹏：除了隐私和私域化部署，端侧真正在背后推的那股力量还有哪些？

姚翎：麒麟软件的客户集中在党政、央企这类核心领域的关键岗位。今年各家都在把 AI 当成重要抓手来规划，政策上也全面往 AI 倾斜，可实际情况是客户「不敢用」。

原因在哪？AI 工具只要架在互联网上，涉密数据就一点都不能沾。现在的 AI 太聪明了，给文件换个代号就以为万事大吉？今天传一点、明天传一点，它能把碎片拼成一份完整的涉密文件。

所以对重要岗位的客户来说，本地安全排在第一位。这事没有商量的空间，安全是一切的前提。

陈展凌：就我自己的感受，省 Token 并不是客户最在意的痛点，客户体验才是。

像黄总说的，端侧设备摆在现场必须安静，我们连液冷机制都在考虑加进去。首字生成时间大家都清楚，它直接左右人的感受。客户头一回用可能觉得新鲜，想让他们一直用下去，端侧就得把体验抠到极致。这不只是芯片和模型的事，整个系统架构怎么集成、怎么优化，同样关键。

陈仲铭：大家总说「元年」，是因为都觉出风来了。可风向一直在变，客户的需求也五花八门。有要大算力的，有要大带宽做实时交互的，还有要的多模态感知。

这里面卡着一个「不可能三角」：算力、带宽、功耗。后摩眼下解决得最好的是功耗，下一步要做的就是把这个三角打破。

我们铺了两条线。一条往大了做算力，就是我们的 M 系列。另一条靠更先进的工艺和封装，把带宽做上去。这就是我们手头在干的事，尽量去接住千行百业各不相同的场景需求。

02 下一步，在于生态、成本与规模化

张鹏：底层芯片的地基打牢了，端侧的优势才真正使得上劲。往后一年，各位对端侧 AI 最期待的目标是什么？

陈展凌：虽说叫商业化元年，端侧 AI 离普及还差得远。能真正落地的场景还不够多，规模化的步子也偏慢。我挺期待更多软件商看见这个机会，干脆利落地转向端侧 AI。

刘学鹏：从我们这边看，核心诉求一句话，Day 0 适配。国内基础算力和模型之间最大的那道坎，其实就是生态。我们很希望后摩能把所有模型的 Day 0 适配做出来。

黄隽实：我的要求有点苛刻，盼着端侧的「不可能三角」再往前挪一挪。真到落地的时候，成本是极关键的一环。除了少数预算宽裕的机构，绝大多数企业手里并没有大笔专项资金。这种局面下，成本能不能压到极致，直接决定商业化成不成。

姚翎：我的期许很直白，今天展示的那些已经达到量产标准的整机，希望能快点落地。最好赶在后摩下一代 A20 和 M60 芯片出来之前，就真正实现规模化应用。

技术搁着不用，差距在哪就永远看不出来。别学我减肥，天天不停地收藏视频，一次也没练过。

国产芯片能走到今天，靠的是国家把最大的应用场景开放了出来。没有真刀真枪的实战，我们永远会被卡脖子。盼着一年后这些设备都能大卖，也请后摩务必把货备足。

陈仲铭：刚才几位嘉宾提了各自的期许，供应链、模型适配、安全保障，还有打破不可能三角。对后摩来说，往后的目标其实很简单。硬件做扎实，软件做好用，全力把各位的商业化服务撑起来。

03 从算力到交付，差的不只是技术

张鹏：芯片和场景都备齐了，要让它变成一台真正跑得起来的设备，工程上还得下哪些苦功夫？

陈展凌：芯片、模型和操作系统只是必要条件。从工程实践看，主板、散热、机柜设计，还有针对客户体验的优化参考设计，都得跟现有模型能力深度适配。国内最大的优势在产业链，我们能把这些优势变成端侧可交付的产品，再拉上生态伙伴配合，把端到端最后那一步交付掉。

刘学鹏把话说得很直：用户只肯掏钱买「最后一百米」。一公里之外的事，模型已经办了；五百米那一段，算力顶上了；剩下贴着客户的这一截，才是真正有人付费的地方。在他看来，这是判断生意能不能成立的关键标尺。

真正落到应用上，有几道坎绕不过去。头一道是数据。模型进了企业，处境跟外来的咨询顾问差不多——手里没有业务数据，什么活都推不动，原有系统怎么接、数据质量怎么保证，都得先解决。第二道是交互，企业用户对着一问一答的纯对话很难买账，AI 得嵌进他们最顺手的那套工作流里，不能另起炉灶。最棘手的是稳定性：模型骨子里是概率的产物，可做财务报表合并这类活，要求的是分毫不差的匹配和计算，只能靠大量工程手段去兜底。

说到付费，关键是能不能戳中用户最疼的那一点。AI 时代最好的产品经理往往就坐在客户现场，他们比谁都清楚自己缺什么样的助手。以前做软件，交的是一套系统；现在做 AI 落地，更像是把一个无所不能的天才，慢慢调教成踏实、安全、靠得住的专属专家。模型是匹千里马，工程要干的活就是替用户把马驯好。还有个现实问题：个性化需求海量涌来，纯靠堆人去做实施已经不划算了，只能拿 AI 去交付 AI——刘学鹏认为，这是眼下在最后一百米还能挣到钱的唯一路子。

黄隽实把 AI 的进展看作工程化一步步磨出来的结果。早年拼的是提示词工程，眼下流行自定义智能体，在让 AI 变得能用、顺手、用得起这件事上，工程化始终是关键一环。

落到交付给客户的价值，他的说法是工程和服务各占一半。国内开源生态确实好，可要从海量开源组件里挑出最贴合客户的那一套，得跟大量垂直行业用户坐下来深聊。把这些摸索攒成可以反复迭代的工程化方法，是很核心的本事。

姚翎认为，端侧要破局，最大的一场工程是「生态工程」，要害在开放和聚合。各人把自己那段做扎实：芯片公司管算力，操作系统给硬件做支撑，应用厂商负责交付。碎片化的算力架构和各种模型，得提前适配好，生态也要往前放，比如先把端侧的 AI 基础设施搭起来。这么做能提前验证用户要什么，也是未来两年 AI 的重头戏。

张鹏顺势把问题抛给后摩：既然聊到生态，你们想建的是一个什么样的生态？

陈仲铭回应，生态链条拉得很长，AI 迭代又急，什么都自己干不现实。后摩的办法是把软件开源，接口、架构和 API 全部敞开。目标是让开发者和软件商拿起后摩的产品就能直接用，而不是还得手把手教。底层基建修扎实了，上面才跑得起越来越多种类的车——他说，这正是后摩扎根做生态的根本原因。

04 端侧 AI 的未来生态

张鹏拿云端大模型作对照：那边的产业结构很清晰，英伟达在最前头供算力，往后是模型大厂，再往后是做数据、做工程交付的，最末是各类应用。他问，端侧 AI 将来的商业逻辑是不是也照这个排？

陈展凌的回答是，云端也好端侧也罢，客户到头来买的都是结果——一项服务，或者一个数字助理。所以价值链的顶端一定落在 AI 智能体的应用层。像他们这样做端侧配套生态的伙伴，核心任务就是把这些应用真正托起来，让它们在端侧跑得动。

陈仲铭的判断是，推理时代不会有一家独大，格局必然是百花齐放。他希望后摩能在这片百花里开得最漂亮。

姚翎回忆，自己最早听说「存算一体」这个概念，就是后摩帮着普及的。合作从第一款 M30 起步，一路做到 M50 真正量产，甚至能在本地跑通 35B 的大模型。在他看来，这说明端侧 AI 已经初步有了让用户掏钱的商业价值。

也正因如此，他特别呼吁今年一定要往客户端走。客户买不买单，全看 AI 能带来多少实打实的价值。他相信，等下一代带宽更大、体验更好的芯片出来，生态伙伴再一起使劲，从客户那边拿到正向反馈，后摩完全有机会成长为中国端侧算力的一支重要力量。

刘学鹏则把中国独特的开源生态看作端侧 AI 最天然的土壤。模型一旦开源，形态和规格就丰富起来，与之匹配的硬件需求自然会爆发。

提到场景，他觉得眼下大家对端侧的想象还困在 PC 或服务器里。可 AI 时代的端侧设备形态，会远远超出想象。就像今年火起来的 AI 录音卡，技术人员起初未必看好，市场却照样买单。他判断接下来的趋势，是拿 AI 的逻辑把物联网重做一遍。

至于终局，刘学鹏个人的看法是：在中国这个环境里，AI 真正落地一定是「端侧为主，云端为辅」。

道理不复杂。AI 一旦用得深，就得喂进去大量核心数据，而这些高价值数据，企业和个人绝不可能交到云端。隐私、安全、专属化这几股力量推着走，端侧注定成为 AI 最重要的承载体。往后看，端侧好比个人或企业的专属大脑，云端更像「社会大脑」，管的是整个社会的知识流动与协作。

张鹏收尾，向几位道了谢。