你可能天天在用大模型，但一问「它到底怎么工作的」就卡壳——是查数据库？是搜索引擎换皮？还是背后真有个「大脑」在琢磨？这篇不讲公式，只讲清楚三件事：文字怎么变成它能算的数字、它靠什么机制抓住上下文、输出的字为什么是一个一个挤出来的。看完你能对着别人的追问说出个大概，也知道哪些说法是外行误解。
你可能天天在用大模型，但被问到「它到底怎么工作的」就卡壳。是查数据库？是搜索引擎换皮？还是背后真有个「大脑」在琢磨？其实都不是。这篇不讲公式，只把三件事讲清楚：文字怎么变成它能算的数字、它靠什么机制抓住上下文、输出的字为什么是一个一个挤出来的。
看完你能对着别人的追问说出个大概，也能识别哪些流行说法是外行误解。如果碰到不认识的词，先别急着背定义，到 /ai-dict/category/basics 把术语对照一遍，再回来读下面的流程会顺很多。
第一步：文字先变成一串数字
模型不认识汉字和字母，它只认识数。你打进去的每个词会被切成更小的单元，业内叫 token，再各自换成一串小数组成的向量。这一步的本质，是把语言问题翻译成数学问题，后面所有运算都在数字上做。
- 向量不是随机的：含义相近的词，在数值空间里靠得近，所以模型能「感觉」到「猫」和「猫咪」是一回事
- 同一个词在不同句子里拿到的向量不一样，会带着上下文信息，这正是它区别于老式关键词匹配的地方
- 你不需要记维度是多少，只要记住「先切块、再变数」这个顺序就行
- 遇到 token、向量这类术语卡壳，去 /ai-dict/category/basics 对照一下再往下看
第二步：注意力机制决定它「看哪儿」
处理一句话时，模型会给每个词分配一组权重，判断当前这个词该重点参考句子里哪些位置，这就是注意力机制的核心。读到「它」时，注意力会更多落在前面出现过的名词上，靠这个把指代关系串起来。
模型内部是多层堆叠的：靠前的层主要看邻近的词，靠后的层能看到更远、更抽象的关联。所以层数越多，越能处理复杂的句子结构，但代价是计算量也跟着涨。为什么长上下文贵？因为注意力要把每个位置和其他位置两两比对，文本越长这部分涨得越快。想感受差距，可以到 /tools/model-cost-calculator 按自己的输入长度算一遍。
| 现象 | 背后的原因 |
|---|---|
| 长文本回答变慢 | 注意力要两两比对，位置越多计算涨得越快 |
| 代词指代能对上 | 注意力把权重压在正确的名词上 |
| 复杂句式也能懂 | 多层堆叠让后层看到更抽象的关联 |
| 换个问法结果就变 | 权重分配随输入变化，不是查固定表 |
第三步：它只是在预测下一个字
模型的输出不是「想好了整段再倒出来」。它每次算一遍所有候选词的得分，挑一个、或按概率抽一个吐出来，再把这个字接回输入，继续算下一个。你看到的整段回复，是这么一个个字挤出来的。
- 算分对当前位置的所有候选词各打一个分，分高的更可能被选中
- 选词按概率抽一个词吐出来，这一步受温度参数影响
- 回填把刚吐出的词接到输入末尾，重新跑一遍，算下一个词
- 验证理解同一个问题多问几次答案不同，就是中间某步抽到了不同的词，后面顺着走偏了
所谓「推理」「思考」，都是这套预测过程在不同数据上训练出来的表现，不是它心里真在打草稿。温度参数调节的就是这步的随机程度：低温柔顺、高温柔发散，相关术语到 /ai-dict/category/tips 看定义。
训练和推理：两件完全不同的事
- 训练
- 提前做好的：拿海量文本让它反复预测下一个词，错了就微调内部参数，耗巨大算力，和你的日常使用无关
- 推理
- 你每次提问时发生的事：参数已固定，只做前向计算，所以响应快、成本低
- 知识截止
- 训练结束那一刻，参数就定住了，之后的新事它不知道
- 外部检索
- 要补最新资料，只能靠外挂检索把新内容塞进输入，模型本身不会更新
分清这两步，很多疑问自己就有答案了。一家 5 人小团队想省钱，能改的只有推理侧——换小模型、压上下文、少喂废话；训练侧不是这个量级能碰的事。哪些模型适合哪种用法，到 /rankings 看当时的对照，别只凭印象选。技术路径的细节整理在 /ai-dict/category/tech，有空可以顺着翻。
懂了这个原理，哪些说法就不成立了
有了前面的框架，再听到下面这些说法，你就能自己判断真假了。判断标准很简单：看它描述的是「算出来的」还是「查出来的」，是「临时塞进去的」还是「真的记住了」。
- 它不是搜索引擎：没有「去数据库翻原文」这一步，输出全是现算的，所以才会一本正经地编，这类问题的缓解思路见站内幻觉专题
- 它不是数据库：记不住你上次说的话，所谓「记忆」是每次把历史记录重新塞进输入
- 它没有常识判断：判断全靠训练数据里的统计规律，遇到没见过的情形就容易翻车
- 反过来说，凡是需要最新事实、精确数字、内部资料的场合，都得靠外部手段补，光靠模型本身不行
什么情况下上面这些话不适用？如果你做了检索增强、工具调用或人工复核，把外部信息和模型的生成拼在一起，很多短板会被绕过去。但那是工程手段在补，不是模型自己变强了，别把两件事混为一谈。
下一步原理搞懂了，接下来该看实打实的对比：各家模型和 API 的当前情况、中转站可信不可信、响应速度实测，站内都有现成页面。挑一个你正在纠结的问题去核对当时的数字，比听别人转述靠谱。→常见问题
不懂数学能搞懂大模型原理吗？
能。你只需要抓住三层：文字转成数字、注意力决定关注哪些位置、输出是逐个字预测出来的。中间那些矩阵运算和公式，是做模型的人要管的，使用者和产品经理知道这三层就够做判断了，遇到没听过的术语到 /ai-dict 查一句解释即可。
为什么模型有时候像在思考，有时候又胡说？
两种情况是同一个机制的两面。它每次都在按概率挑下一个词，训练数据里逻辑链条多的场景，它顺着走就像在推理；数据稀少的场景，它照样自信地往下编，因为「下一步该出什么词」和「这句话是不是真的」是两套东西，后者它并不直接管。
知道原理对我实际用 AI 有什么帮助？
最直接的是改提问习惯：把背景、要求、格式一次给全，等于帮它把注意力对准你要的地方；其次是不迷信它的记忆，跨轮次的重要信息自己重复一遍；最后是分得清哪些任务该外挂资料、哪些可以直接问，判断标准可参考站内上下文与检索相关条目。
