你可能在汇报、选型或看新闻时反复撞到同一类问题:为什么早年做不了通用问答,后来突然能写了?为什么能力涨得很快但幻觉还在?这篇按阶段把大模型的发展逻辑拆开,每段都说明当时卡在哪、谁把门推开、代价是什么。数字与具体版本名不写死,需要核对时到站内对应页面看当时的记录。
你可能在写汇报、做选型或者刷新闻时反复撞到同一类问题:早年为什么做不了通用问答,后来怎么突然能写了?能力涨得这么快,为什么幻觉还在?这些问题背后其实是同一条演进线,按阶段拆开看,很多困惑就不难解释了。
这篇按阶段把大模型的发展逻辑讲一遍,每段都说清当时卡在哪、哪类技术把门推开、又留下什么没解决。具体数字和版本名一律不写死,需要核对时去站内对应页面看当时的记录,本站只给判断标准和排查顺序。
先分清:「大模型的发展」到底在发展什么
很多人聊「发展」时其实在聊三件不同的事:规模与算力的增长、能力边界的外扩、可用性与成本的下降。同一时间点这三条线未必同步,有时参数涨了不少但产品体感没变,有时体感提升明显但权重没换,先区分清楚再下结论。
| 口径 | 看什么 | 典型信号 |
|---|---|---|
| 规模与算力 | 训练侧投入 | 参数量、训练数据量、算力预算的走向 |
| 能力边界 | 模型能不能做 | 新任务类型、新模态、更复杂的推理 |
| 可用性与成本 | 产品侧体感 | 响应速度、上下文长度、访问路径变多 |
还有一种常见混淆:把「模型变强」和「产品变好用」当成一回事。实际上很多体验提升来自接口设计、上下文管理和工具链,跟权重本身关系不大。判断一则发展类说法值不值得读,先看它说的是训练侧、推理侧还是应用侧,三者的换代节奏差很多。
- 训练侧:关注数据、算力、对齐方法的变化,节奏慢、周期长
- 推理侧:关注量化、加速、上下文管理,迭代快、影响直接
- 应用侧:关注接口、工具、访问路径,变化最频繁但不改变模型本身
- 不适用的情况:如果你只关心某个具体功能怎么操作,看站内操作类文章更省时间,这篇偏脉络
第一阶段:从统计方法到神经网络,模型开始「学表示」
最早的思路是靠词频、n-gram 和规则模板,能做的任务很窄,换个领域基本得重来。词向量这一步很关键,它把词映射成向量,让「语义相近」第一次变成可以计算的东西,后面几乎所有进展都建在这个地基础上。
神经网络接手后,同一套结构可以迁移到不同任务,工程上省掉大量手工特征。但这一阶段的问题也很明显:句子一长就记不住,训练数据少就学不动,换数据集表现波动大。
- 词向量
- 把词变成向量,让语义关系可以被距离和运算表达
- n-gram
- 按前几个词预测下一个词,简单但长距离信息很快丢失
- 手工特征
- 靠人写规则挑特征,换领域就要重来,成本高
- 泛化
- 训练集上学到的东西能不能用到没见过的输入上
第二阶段:注意力机制与预训练,范式被换掉
注意力机制让模型能对长句里不同位置分配不同权重,长距离依赖不再一刀切丢失。真正改变行业的是「预训练 + 微调」两段式:先在海量通用文本上打底,再按任务微调,同一个底座能覆盖多种下游场景。
- 认底座先确认讨论对象是预训练底座还是已经微调过的下游模型,两者能力范围不同
- 看数据预训练数据规模和配比决定了底座的天花板,这一步不公开或说不清时结论要打折
- 验微调微调效果高度依赖标注质量,标注差时再好的底座也救不回来
- 别神化把预训练当万能药的说法站不住,它解决的是通用表示,不解决具体业务的数据问题
这一阶段最重要的转变是思路:不再是每个任务单独造模型,而是先学通用语言规律,再学具体任务。但它也留下没解决的问题——底座能力再强,也不自动等于会按人的要求回答问题。
第三阶段:规模法则与能力涌现,投入产出开始可预测
规模法则的核心结论是损失随参数量、数据量、算力呈可预测的下降趋势,让「砸钱换能力」第一次有了预算依据。涌现指的是某些能力在小规模下几乎看不到、跨过某个体量后才变得可用,这也是「大」字前缀的来源。
但规模不是唯一变量。数据质量与配比、训练轮数、对齐方式都能明显改变最终表现,同一体量的模型表现可以差不少。所以看到「更大就更强」的说法,先问它控没控制其他变量。
| 变量 | 影响方向 | 容易被忽略的点 |
|---|---|---|
| 参数量 | 通常正向 | 过小或过大都有最优区间,不是越大越好 |
| 数据量与质量 | 正向 | 低质数据堆量反而拖后腿 |
| 训练轮数 | 先升后平 | 过度训练会过拟合某些分布 |
| 对齐方式 | 改变风格与边界 | 能明显改变体感和拒答行为 |
- 小团队别照搬大厂堆参数的路子,量级不同,最优点也不同
- 先确认自己的任务是不是真的需要那个体量的模型,很多场景中等规模就够
- 不适用的情况:任务本身分布很窄时,堆规模的收益远不如把数据做干净
第四阶段:对齐与指令跟随,模型从「续写」变成「对话」
基座模型只会续写文本,指令微调让它学会「按要求回答」,这是产品化的转折点。人类反馈类方法进一步把「什么样的回答更受欢迎」变成可优化的信号,语气和可用性提升很明显。
对齐也带来新的取舍:更安全更听话,往往伴随某些场景下的保守和啰嗦。判断对齐效果不能只测知识问答,那看不出差别,要测模糊指令、多轮改口和拒答边界。
- 测模糊指令给一句没说全的要求,看它是反问澄清还是直接瞎猜
- 测多轮改口中途改需求,看它记住新要求还是继续按旧的走
- 测拒答边界试正常但敏感边缘的问题,看拒绝是过宽还是过窄
- 记录一致性同一条指令换个说法多问几次,看回答是否稳定
第五阶段:长上下文、工具调用与多模态,能力被外挂放大
上下文窗口拉长后,模型可以一次读完整份材料,但「能塞进去」和「能正确用上」是两件事。中间位置的信息容易被忽略、长文档里的细节容易串,实际使用时还是要分段验证,别只看窗口长度这个参数。
工具调用让模型可以查数据、跑代码、调接口,把不会算、不知道的部分外包出去,相当于给模型接上了外部能力。多模态把输入从纯文本扩到图、音、视频,新问题是各类信息的对齐和计费口径不一致,选型时要分开看。
| 能力扩展 | 解决什么 | 带来的新问题 |
|---|---|---|
| 长上下文 | 一次处理整份材料 | 中间信息丢失、成本随长度上升 |
| 工具调用 | 补上计算与实时数据 | 依赖外部服务,故障点变多 |
| 多模态 | 处理图音视频 | 对齐难、计费口径不统一 |
一个实用判断:任务本身简单且结果可验证时,加工具链只会增加故障点,直接问反而更快;任务涉及实时数据或精确计算时,工具链几乎是必须的。不适用的情况是评测阶段,评测要控制变量,工具链会干扰对比。
并行的另一条线:成本、部署方式与访问路径的变化
同一个模型可以有官方接口、聚合平台、本地部署几条访问路径,价格与可控性差别很大。本文不写死任何数字,要看当下情况就去站内的官方 API 价格与模型库页面核对,那里按时间记录。
量化与蒸馏把大模型压到能本地跑,代价是部分推理与长文本能力下降。这条路适合数据不能出内网、或者调用频次高到单次成本敏感的团队,但要接受能力打折这个前提。
- 先确定数据能不能出内网,这一条直接决定可选路径
- 再比延迟与稳定性,尤其是并发上来之后的表现
- 最后才看单价,单价便宜但限速严的可能更贵
- 具体数字去站内的 /price-watch 和 /sites 页面看当时的记录
给行业观察者的读新闻清单
发展类信息每天都在刷屏,与其追单条新闻,不如给自己定一套过滤规则。下面这套顺序是给行业观察者用的,执行一次大约几分钟,能过滤掉大部分噪音。
- 先分发布类型看到「发布」先分清是权重发布、接口开放还是产品上线,三者实际影响差一个量级
- 再看能力口径看到「超过」先找评测口径:自测、公开榜单、众测交叉验证,结论强度依次不同
- 再看成本口径看到「降价」先确认是单价降、限速放宽还是额度政策变化,三者对成本影响不同
- 最后归档把每月关键变化记成一行,季度回顾一次,比追单条新闻更容易看出趋势
- 数字核对涉及具体数值时,一律到站内的价格追踪与模型库页面看当时的记录
这套方法不适用的情况也有:如果你正在做紧急选型,没时间按季度复盘,那就直接看站内当前的价格与可信度页面,先解决眼前问题,复盘留到之后补。
看清阶段比记住版本更重要——阶段决定问题,版本只是答案的一次尝试。下一步想核对当前各家接口价格和可用路径,去站内价格追踪和站点导航页看当时的记录,比记在文章里的数字可靠。→
常见问题
大模型的发展是不是就是参数越做越大?
不是。参数规模只是其中一条线,数据质量、训练方法、对齐方式、上下文长度、工具调用能力都在同步变化。有些阶段体感提升明显,但参数并没有大幅增加,而是把已有能力用更好的方式释放出来。判断某个变化重不重要,先看它实际改变了哪一项可测量的指标。
为什么早期模型也能对话,却说那时候不算大模型阶段?
能对话和能稳定按要求完成任务是两回事。早期系统更多依赖规则和模板,换个问法就崩;后来的模型靠预训练学到通用规律,再通过指令微调学会跟随要求,泛化范围完全不同。区分标准可以看:同一意图换几种说法,它还能不能给出一致可用的答案。
能力涌现这个说法靠谱吗?
它描述的是一种观察现象:某些能力在小规模模型上几乎测不出来,规模上去后突然可用。争议点在于,这可能是真实的能力跃迁,也可能是评测指标本身太苛刻导致的错觉。实际判断时,别只看单篇论文结论,去站内测评榜单和众测雷达看多人多时段的交叉结果。
了解发展脉络对实际选型有什么用?
主要是避免用错时代的经验。比如拿「上下文越长越好」直接套到成本敏感的场景,或者以为对齐做好了模型就不会胡编。知道每个阶段解决了什么、留下了什么,就能预判某类需求更可能卡在哪一环,再去站内模型库和官方价格页对号入座,比逐个试用省时间。
这条线以后会往哪走,能预测吗?
大方向可以看几条:推理成本继续下降、上下文与工具调用进一步融合、多模态输入成为常规。但具体到某一代能不能跨过某个门槛,谁都说不准。务实做法是盯可验证的信号,比如站内 AI 日报的每日更新和模型可信度排行的变化,而不是押注某一个说法。