什么是大模型 它的有哪些核心技术

模型与算力

给入门读者讲清大模型到底指什么、由哪些核心技术拼起来,并给一套能自己核对概念与资料的动作清单。

很多人第一次接触大模型,是在选型或部署的场合:别人张口就是参数、注意力、上下文、量化,你只能点头。这篇不讲空概念,先把「大模型」这个说法的边界划出来,再把支撑它的几块核心技术按顺序摆清楚,最后告诉你每个名词该去哪一页对照、拿到什么资料才算真看懂。看完你能自己判断一段介绍里哪些是关键信息、哪些只是营销词。

很多人第一次接触大模型,是在选型或部署的场合:别人张口就是参数、注意力、上下文、量化,你只能点头。这篇不讲空概念,先把「大模型」这个说法的边界划出来,再把支撑它的几块核心技术按顺序摆清楚,最后告诉你每个名词该去哪一页对照、拿到什么资料才算真看懂。

看完你能自己判断一段介绍里哪些是关键信息、哪些只是营销词。全文只给判断标准和动作,不给结论式的排名,因为模型迭代太快,任何写死的数字过几周就不准了。遇到具体规格,一律建议到站内对应页面核对当时的数字。

先把「大模型」这个词的边界划出来

大模型通常指以 Transformer 架构为主、参数量与训练数据规模远超传统机器学习模型的语言模型。但「大」是相对的,同一家公司内部不同代之间也互称大小模型,别把「大」当成绝对标准。听到「大模型」三个字,先问一句:这是相对谁大、大在哪个维度。

  • 是不是用海量无标注语料预先训练出来的,而不是全靠人工标注的小数据集;
  • 能不能用自然语言直接下指令,不用专门写特征工程或改输入格式;
  • 是不是通用任务导向,而不是只做分类、只做翻译这类单一功能。

三条都满足,基本可以按大模型那套名词去理解它。这个定义什么情况下不适用:语音、图像生成、推荐系统里也有体量很大的模型,但它们的训练目标和交互方式不同,硬套语言模型那套名词会讲不通,比如把「上下文窗口」套到图像模型上就没有对应物。

核心技术就这几块,按「训练到用起来」的顺序看

把核心技术按「训练到用起来」的顺序摆,比按难度摆更好记。先是底座,再是规模,再是对齐调优,最后是落地。每一块解决的是不同问题,混在一起讲就会觉得全是名词堆砌。

Transformer 与自注意力
决定模型怎么处理长距离依赖,是整块技术的底座
预训练目标
通常就是预测下一个词,决定它为什么能泛化到没见过的任务
参数与数据规模
能力上限和成本的主要来源,但增长收益不是线性的
上下文窗口
一次能塞进多少内容,直接影响可做任务的长度
指令微调与对齐
决定同一个底座能不能变得听话、能不能贴合垂直领域
量化与推理加速
决定模型能不能在你自己的机器或预算里跑得起来

规模部分要单独提醒一句:参数量、训练数据量、上下文窗口这三个量直接决定能力上限和成本,但三者的增长收益不是线性的,堆参数不等于等比例变强。落地部分除了量化和加速,还有检索增强和工具调用,它们决定模型能不能接上你自己的数据。具体每块的当前规格,到站内模型资料库核对当时的数字最省事。

容易混淆的两组概念

对比项一边是什么另一边是什么
训练与推理花算力和时间,周期以周月计花显存和延迟,按次调用计费
参数量与激活参数量模型里一共有多少权重一次前向实际用上多少,MoE 结构下差别明显
量化前后原始精度下的体积压缩后的体积,省显存但有精度损耗
通用能力与垂直表现公开评测里体现的综合水平你自己业务数据上的实际效果

看到一段模型介绍,按这个顺序读数字

读模型介绍和读药品说明书一样,顺序错了容易被带跑。先分清来源,再分清数字类型,最后再看训练与推理的区别。大部分「看不懂」不是因为名词难,而是因为没按顺序拆。

  1. 第一步,分清来源先判断它是官方规格还是第三方转述,两者准确度差别很大,去站内模型库和官方价格页对一遍最省事
  2. 第二步,分清参数类型参数量、激活参数量、量化后的体积是三回事,MoE 结构下参数量和实际计算量不是同一个数
  3. 第三步,分清训练与推理训练花算力和时间,推理花显存和延迟,网上很多「成本」说法混着讲,实际是两笔账
  4. 第四步,查不准的名词拿不准的先去站内基础概念词典查,不要靠上下文猜,猜错一次后面全歪

什么情况下这套顺序要调整:如果你是要采购 API 而不是自部署,可以跳过显存和量化那两栏,重点看计费口径、限流规则和数据是否用于训练。这些口径各家写法不同,到站内价格追踪页面对照当时的数字和条款最稳。

入门阶段该怎么学,别一上来就啃论文

入门阶段最怕的是把学习顺序搞反:先啃论文,再去看产品说明,结果两边都对不上。合理的顺序是先认得词,再动手跑一次,最后才按需要补原理。

  • 第一步只求认得:把基础概念词典里 Token、上下文、温度这几个词过一遍,够你读懂大部分产品说明;
  • 第二步动手:用一个本地工具把一个小参数模型跑起来,亲眼看显存、速度、输出质量怎么随设置变;
  • 第三步再看原理:只有当你需要调优或排查异常输出时,再去补注意力、微调这些细节;
  • 每周固定花一点时间逛站内指南中心,看有没有新出的概念页,比零散搜索效率高。

什么情况下不用急着动手:如果你只是要选一个 API 接进产品,重点在比价和限流口径,具体原理了解大概即可,别把时间花在训练细节上。反过来,如果你打算做私有化部署或微调,动手这一关绕不过去,越早跑通越好。

入门不是把所有名词背下来,而是知道遇到不懂的词该去哪一页查、拿到什么资料才算真看懂。
下一步拿一个你正在关注的模型,按上面的顺序把它的规格和价格口径对一遍,看自己能不能说清每个数字的含义。

常见问题

大模型和普通机器学习模型到底差在哪?

差在通用性来源。普通模型通常为某个任务标注数据、单独训练;大模型先在海量通用语料上预训练出底座,再靠提示词或少量微调适配任务。所以同一个底座能同时干翻译、写代码、做摘要,而传统模型换任务基本要重训。但代价是它的输出不稳定、有幻觉,需要外部校验。

是不是参数越多就越强?

不是。参数量只决定理论上限,实际效果还看训练数据质量、训练步数、后训练对齐和推理时的设置。而且参数量大意味着显存和延迟成本上升,很多任务用小模型加检索就够了。真要比较,去看站内测评榜单和可信度排行,并且注意榜单题目和你自己的任务是否匹配。

学这些概念对实际选型有什么用?

能帮你识破话术。比如有人拿「参数量多大」当卖点,你可以反问激活参数和量化后的实际占用;有人说「支持超长上下文」,你可以问输入输出怎么分配、长文下效果掉不掉。这些判断标准都能在站内基础概念词典和模型库页面里找到对照,比听转述可靠。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。