你在 API 文档里看到 temperature、top_p、max_tokens 一堆英文词,中文教程叫法又不统一,不确定哪个是哪个、填什么值。这篇把常见参数按「控制什么」分组,给出英文写法、调用里的字段名和保守取值思路,并说明哪些参数在推理接口里根本不起作用。
翻英文 API 文档时,temperature、top_p、max_tokens 这些词挤在一起,中文教程又各叫各的,很容易对不上号。这篇不绕概念,直接按「控制什么」把常见参数分组,给出英文写法、调用里的字段名、往哪个方向调,以及怎么确认它真的生效了。
需要先说明一点:本文讲的是调用接口时你能填的那些可调项,不是模型自身有多少权重那种训练侧话题。搞混这两个,沟通时基本就是鸡同鸭讲。看到拿不准的名词,先去站内词典对一下再往下读。下面按四块讲:先分清两种「参数」,再看英文怎么写,然后是怎么填值,最后是怎么验证。
先分清:参数这个词有两个意思
日常聊天里说「这个模型参数大」,说的是模型自身的权重规模,属于训练侧的话题,你在接口里填什么都改不了它。而你在代码里写 temperature 这类东西,是调用时的可调项,也就是采样参数和限制参数。两者名字撞车,但一个在训练阶段定死,一个每次请求都能换。
| 说法 | 指的是什么 | 你能不能改 |
|---|---|---|
| 模型参数(权重规模) | 训练完成后固定下来的模型本身属性 | 不能,只能换模型 |
| 调用参数(采样/限制) | 每次请求里传进去的可调项 | 能,改一次生效一次 |
| 超参数 | 训练前定好的配置 | 使用者碰不到 |
| 环境变量 | 运行环境里的键值对 | 看你部署方式,和模型无关 |
- 问别人「参数多少」之前,先确认对方说的是模型规格还是调用配置
- 在接口文档里看到 parameter 或 argument,基本都是调用侧的可调项
- 如果你的问题是「换个模型效果会不会更好」,那属于模型选择,不是调参
- 名词对不上时,去 /ai-dict 按中英文各搜一遍,比猜快
常见参数的英文写法与字段名
参数在文档和代码里几乎只用英文,你写中文进去,接口多半直接当未知字段忽略,还不会报错。所以记住字段名的英文拼写,比记住中文叫法更有用。同一个词在不同厂商那里大小写和下划线可能不一样,以你手上那份文档为准。
- temperature
- 控制随机性,越低越稳,越高越发散
- top_p
- 核采样,只在候选词累积概率范围内挑,中文常叫「核采样」
- top_k
- 只从前 k 个候选里挑,部分接口不提供这个字段
- max_tokens
- 限制这次输出最多多少 token,注意不含输入
- stop
- 遇到指定字符串就停,可传单个或多个
- frequency_penalty / presence_penalty
- 压重复,前者按出现次数罚,后者按出现过就罚
大小写和分隔符是常见的坑。同一个意思,有的文档写 max_tokens,有的 SDK 里是 maxTokens,字段名对不上就是无效参数。遇到没见过的字段,先到 /ai-dict/category/tips 查一下再改,别凭手感硬填。
- 字段名一律用英文,值该是数字的别写成字符串
- 不确定拼写时,复制文档里的原词,不要自己翻译
- temperature 和 top_p 一般只调一个,两个都拉满容易出怪结果
- stop 里的内容别选常见的标点,会提前截断
每个参数大致往哪个方向调
这里不给具体数字,因为换了模型手感就不一样。给你的是方向:要稳定复现就压低随机性,要发散创意就抬高,但抬高不等于更好,跑偏的概率一起涨。长度上限别贴着上下文上限写,留出输入和输出的余量,具体规格去 /models 看你选的那个模型页面核对当时的数字。
| 你想要的效果 | 动哪个参数 | 往哪个方向 |
|---|---|---|
| 同一问题多次结果一致 | temperature | 往低调 |
| 回答更有变化 | temperature 或 top_p | 往高调,别两个一起拉满 |
| 答案简短 | max_tokens | 往低设,但要留够 |
| 输出老是复读 | frequency_penalty / presence_penalty | 小幅加一点 |
| 到某个词就停 | stop | 按业务需要传 |
换模型后旧配置不要照搬。同一个数值,在小模型上可能很稳,在大模型上可能已经开始胡说了。做法很简单:换模型后拿同一批输入重跑一遍,看输出是否还在你能接受的范围里。跑不通再调,而不是先调再假设它生效。
怎么确认参数真的生效了
最容易踩的坑是:字段名写错,接口不报错,直接把这一项忽略掉,你还以为是自己调的值起作用了。所以改完参数不能只看「有输出」,要主动验证。下面这套顺序照着做,能排掉大部分误判。
- 固定输入连跑几次同样的提示词、同样的参数,跑三到五次。输出每次都差很多,说明随机性没压住,回去看 temperature 和 top_p 到底传没传对。
- 故意写错一个字段名把 max_tokens 改成明显拼错的形式,看返回有没有变化。如果完全没变,说明接口对未知字段是静默忽略的,那就更要核对你写的每一个字段名。
- 对照文档确认字段拿你实际发出去的请求体,逐项和你手上那份文档的字段名比一遍,注意下划线和大小写。
- 区分参数问题和网络问题如果表现是慢而不是偏,先到 /tools/speed-test 量一遍延迟,别把网络抖动当成调参没生效。
- 把可用组合记下来验证通过的参数组合存成一份自己的小抄,下次直接抄。同一个模型页面去 /models 找,规格数字以那里当时的显示为准。
还有一个判断标准:如果你换了参数但输出几乎没变,先别怀疑模型,先怀疑参数没传进去。特别是走中转站的时候,部分参数可能被丢弃,建议挑一个能明显看出差异的参数做对照测试。中转站怎么挑、怎么核验,站内另有页面讲,这里不展开。
参数写错接口不一定报错,所以「跑通了」不等于「参数生效了」。下一步想先看清你手上这个模型支持哪些字段、上下文上限是多少,去模型资料库按名字查一下,再对着自己的请求体逐项核对,比凭印象填稳得多。→
常见问题
temperature 和 top_p 要同时改吗?
一般只改一个就够了。两个都在控制随机性,一起改会让效果互相抵消,出问题也不好定位。习惯上先动 temperature,不够再考虑 top_p,另一项保持默认。
参数名大小写写错会报错吗?
多数接口不会为此报错,而是把不认识的字段直接丢掉,结果就是你设了跟没设一样。所以调完参数一定要对比输出,别只看请求成没成功。具体字段拼写以你对接的那份文档为准。
为什么别人给的参数值我照抄没用?
参数是跟模型、任务一起起作用的。换模型、换提示词、换输入长度,最优值都可能变。照抄只能当起点,还是要自己跑几轮对比。想要一套固定配置,先把提示词稳定下来再调参。