自回归生成（Autoregressive Generation）

自回归生成（Autoregressive Generation）是大语言模型生成文本的基本方式：模型每次只做一件事——根据已有内容预测下一个词（token）。预测出的词被追加到序列末尾，接着预测下一个，如此循环直到生成结束符。它重要，因为生成速度、成本与“逐字蹦出”的交互体验都由这一机制决定。

为什么叫“自回归”

统计学术语中“回归”指预测数值，“自”指预测所用的输入包含模型自己此前的输出。也就是“用自己已经说过的话，预测接下来要说的词”。这种把输出回灌为输入的结构，使模型能在没有显式规划的情况下生成连贯的长文本，但也意味着一旦说到一半偏了，后续只能沿着这个偏航继续修正。

核心特点

• 串行生成：必须一个词一个词地算，无法像图像生成那样一次性输出全部内容。
• 耗时与长度成正比：输出越长耗时越多，成本也随输出 token 数增长。
• 流式输出的根源：正因为逐词产生，界面才能边算边显示，形成打字机效果。
• 误差会累积：前面某个词预测偏了，后面会在错误的轨道上继续，可能越走越远。

关联技术

• KV 缓存：缓存历史注意力结果，避免每生成一个词就把全部历史重算一遍。
• 推测解码：即 Speculative Decoding，用小模型先“抢答”多个候选词，再由大模型一次性验证，把串行过程部分并行化。
• 采样策略：温度、截断等参数决定从概率分布里怎么挑词，直接影响输出的稳定与多样。
• 批量与调度：连续批处理把多个请求拼在一起计算，提高硬件利用率、降低单位成本。

对照：扩散模型

扩散模型（图像与视频生成的主力）走的是另一条路——从随机噪声出发，整体逐步去噪，多轮迭代后得到完整画面，而不是逐块生成。因此扩散模型天然适合并行与整体一致的输出，而自回归模型在变长序列与语言结构上更有优势。两条路线的差别，也解释了为什么“改一个字”在语言模型里容易，在图像模型里往往要重画。

实践要点

• 控制输出长度：给模型明确的篇幅与结构要求，能直接降低耗时与费用。
• 尽早暴露首词：首词延迟影响体感，工程上要优先优化预填充阶段。
• 留出纠错空间：允许模型在生成后自检重写，比强行要求一次成稿更稳。
• 缓存要复用：多轮对话中复用前文缓存，避免每轮重复计算相同前缀。

常见误区

• “模型是先想好整段再写”：它没有全局草稿，只有逐步预测。
• “生成慢是因为模型大”：串行特性与缓存策略、批处理调度同样关键。
• “重试一次结果就一样”：采样带随机性，同样输入可能得到不同输出。
• “让它一次写很长最好”：过长输出更容易漂移，分段生成加校验往往质量更高。