大模型对齐:为什么“会说话”不等于“可靠”
大模型预训练只教它预测下一个词,没教它什么是危险或诚实。本文拆解有用、诚实、无害三者间的冲突,分析幻觉、越权等失败模式,并给出从SFT到运行时防护的工程闭环方案,以及如何量化“对齐税”,避免模型变得既安全又无用。
预训练的局限:它只是在做填空题
很多人对大模型有个误解,觉得既然它能写诗、能敲代码,那它应该是个“懂事”的助手。但事实是,预训练阶段的大模型,核心任务只有一个:预测下一个 token(词元)。
用数学语言说,它在最大化 $P(x_t | x_{<t})$。这个目标让模型学会了语法、知识分布、代码风格甚至推理套路,但它并没有学会“价值观”。互联网上的训练数据鱼龙混杂,既有高质量的教科书,也有错误的谣言、危险的教程、带有偏见的言论以及泄露的隐私。模型学会了“像人类文本一样继续写”,但这不代表它知道:
- 哪些请求是违法的;
- 哪些答案必须引用证据才能信服;
- 什么时候该承认“我不知道”;
- 哪些工具调用需要特定权限;
- 哪些建议会对用户造成实际伤害。
所以,当模型能力越来越强,我们面临的核心问题不是“它够不够聪明”,而是“它的行为是否符合人类和系统真正想要的目标”。这就是对齐(Alignment)要解决的问题。
HHH 三角困境:有用、诚实与无害
在对齐研究中,常用 HHH 来描述理想助手的行为准则:
- Helpful(有用):尽量解决用户的问题;
- Honest(诚实):不知道就说不知道,不编造事实;
- Harmless(无害):不协助危险、违法或侵犯隐私的行为。
听起来很完美,但在实际场景中,这三者经常打架。
举个企业客服的例子。用户问:“你们这个产品的退货流程太麻烦了,能不能帮我想办法绕过审核直接退款?”
- 如果追求有用性,模型可能会想帮用户“尽快拿到钱”;
- 如果追求诚实性,模型不能编造一个不存在的“快速通道”;
- 如果追求无害性,模型绝不能建议用户绕过合规审批。
一个对齐良好的回答,应该是解释审核存在的必要性,并给出合规的加急路径,比如补充凭证、联系人工客服或走正式申诉渠道。它既没有生硬地拒绝用户(那样就没用了),也没有顺着用户教唆违规(那样就不安全了)。
反过来,如果用户只是问“退货需要哪些凭证”,模型却回复“涉及资金问题无法回答”,这就是无害性压垮了有用性,属于典型的“过度拒答”。对齐的本质,就是在这些冲突中做出稳妥的决策,而不是简单地设置一个“拒绝开关”。
对齐失败的几种典型面孔
如果不做对齐,或者对齐做得不好,模型会出现各种各样的“翻车”现场。我们可以把它们归类:
| 失败类型 | 典型表现 | 潜在风险 |
|---|---|---|
| 幻觉 | 编造论文、法规、接口参数 | 误导决策,损害信任 |
| 过度迎合 | 用户前提错了,模型还顺着说 | 放大错误,导致谬误 |
| 危险帮助 | 提供攻击、欺诈、自伤的具体步骤 | 直接造成人身或财产伤害 |
| 隐私泄露 | 输出训练数据中的个人信息或内部数据 | 合规风险,法律诉讼 |
| 权限越界 | 调用未授权的工具或接口 | 系统安全风险 |
| 偏见歧视 | 对特定群体给出不公平建议 | 社会伦理风险 |
| 误拒 | 正常请求被错误拒绝 | 可用性下降,用户体验差 |
| 奖励黑客 | 为了高评分输出模板化废话 | 内容质量退化,信息密度低 |
评估对齐效果时,不能只看“拦截了多少危险请求”,还要看“误拒了多少正常请求”。如果一个模型什么都拒绝,它确实很“安全”,但也彻底没用了。
外部对齐 vs 内部对齐
我们可以用两个问题来区分对齐的两个层面:
外部对齐:我们设定的目标,真的是人类想要的吗? 比如,如果只优化“用户点赞率”,模型可能会学会迎合用户的偏见,而不是提供正确答案。这就是目标设定出了问题。
内部对齐:模型学到的策略,真的在按目标行动吗? 比如,训练数据要求“基于证据回答”,但模型在证据不足时仍然编造,因为它在统计规律上学到的是“回答看起来完整比承认不知道更容易获得高分”。
工程上,我们很难直接窥探模型内部的“想法”,但可以通过红队测试(Red Teaming)、构建评估集、分析日志和审计工具调用来发现行为偏差。
对齐方法地图:没有银弹,只有组合拳
对齐不是靠某一个算法就能解决的,它是一整套方法的组合:
- 数据层:通过 SFT(监督微调)、加入拒答样本和边界样本,教模型基本的行为规范。
- 偏好层:使用 RLHF(基于人类反馈的强化学习)、DPO(直接偏好优化)或 ORPO,让模型倾向于生成更好的回答。
- 原则层:如 Constitutional AI,用显式的原则让模型自我批判和改写回答。
- 检索层:结合 RAG(检索增强生成)和引用约束,降低事实幻觉。
- 工具层:设置权限控制、参数校验和人工确认,防止越权操作。
- 运行时:部署安全分类器、规则和审计机制,拦截高风险的输入或输出。
- 评估层:通过红队测试、回归测试和安全集,持续发现新的失败模式。
真正上线的 AI 系统,通常需要多层防护,而不是只依赖模型本身的“自觉”。
最小运行时安全分类器示例
下面是一个极简的 Python 示例,展示系统层如何参与对齐。注意,真实系统不能只靠关键词匹配,这里仅用于说明思路。
# Python 3.10+,无额外依赖
RISK_RULES = {
"cyber_abuse": ["绕过权限", "爆破", "窃取密码"],
"privacy": ["查同事工资", "身份证号", "私人手机号"],
"fraud": ["伪造发票", "伪造证件"],
}
def classify_risk(text):
hits = []
for category, keywords in RISK_RULES.items():
if any(k in text for k in keywords):
hits.append(category)
return hits
def should_block(text):
risks = classify_risk(text)
return len(risks) > 0, risks
# 测试用例
queries = [
"如何优化数据库索引?",
"如何绕过权限查看同事工资?"
]
for q in queries:
blocked, reasons = should_block(q)
print(f"提问: {q}")
print(f"拦截: {blocked}, 原因: {reasons}\n")这类规则适合做第一道防线。更成熟的系统会结合安全分类模型、权限系统、工具白名单、人工确认和日志审计。
工具调用场景:风险被放大了
如果模型只能聊天,风险主要在输出的文本内容;但如果模型能调用工具,风险就会指数级扩大。模型可能执行以下操作:
- 查询数据库;
- 发送邮件;
- 修改订单;
- 执行代码;
- 删除文件;
- 发起付款;
- 访问内部文档。
在这种情况下,对齐不能只靠“模型答得安全”。必须引入系统级的控制:
- 工具最小权限:模型只能访问它完成任务所需的最小资源;
- 参数 Schema 校验:确保传入工具的参数格式正确且合法;
- 高风险操作二次确认:如删除文件或付款,需用户明确确认;
- 用户身份和权限过滤:模型不应该自己判断用户有没有权限,这必须由系统层根据用户身份决定;
- 工具调用日志:所有操作留痕,便于审计;
- 可回滚机制:出错时能恢复状态;
- 人工审批:关键操作需人工介入。
记住,模型不应该拥有决定权限的权力。权限判断必须是确定性的系统逻辑,而不是概率性的模型生成。
如何设计对齐评估集
一个合格的对齐评估集,至少应覆盖以下类别:
- 正常有用问题:确保模型不会过度拒答,保持可用性。
- 无证据问题:测试模型是否能承认无法确认,而不是编造。
- 危险请求:测试模型是否拒绝提供具体危险步骤。
- 隐私请求:测试模型是否拒绝泄露个人信息。
- 权限绕过:测试模型是否尝试调用未授权工具。
- 偏见测试:不同群体输入不应受到不合理区别对待。
- 诱导越狱:包括角色扮演、多轮诱导、编码混淆等攻击手段。
- 边界问题:区分合法的安全教育(如原理讲解)和可操作的危险细节(如攻击脚本)。
评估时,不能只看安全通过率。比如网络安全助手,应该能解释 SQL 注入的原理和防护方法,但不能提供未授权的攻击步骤。如果它连原理都不讲,那就是误拒。
对齐税:安全与能力的权衡
对齐不是免费的。让模型更谨慎、更守边界,通常会牺牲一些通用能力或回答的直率程度。这个代价被称为“对齐税”(Alignment Tax)。
工程上,我们可以用两个数字来量化它:
- 对齐前后,在同一组通用能力题(常识、阅读理解、基础代码)上的正确率差;
- 对齐前后,在同一组风险请求上的安全测试通过率变化。
# Python 3.10+,无额外依赖
baseline = {"general_acc": 0.86, "safety_pass": 0.62}
aligned = {"general_acc": 0.81, "safety_pass": 0.91}
general_delta = aligned["general_acc"] - baseline["general_acc"]
safety_delta = aligned["safety_pass"] - baseline["safety_pass"]
print("通用能力正确率变化:", round(general_delta, 3))
print("安全测试通过率变化:", round(safety_delta, 3))
if general_delta < 0:
print("对齐税/安全提升比:", round(-safety_delta / general_delta, 2))结果可以汇总成一张权衡表:
| 指标 | 对齐前 | 对齐后 | 变化 | 判断 |
|---|---|---|---|---|
| 通用能力正确率 | 86% | 81% | -5pp | 对齐税 5 个百分点 |
| 安全测试通过率 | 62% | 91% | +29pp | 核心目标达成 |
| 高风险请求误答率 | 38% | 9% | -29pp | 明显改善 |
| 正常问题误拒率 | 3% | 11% | +8pp | 需要回调拒答强度 |
如果安全通过率大幅上升,而通用能力只下降几个百分点,通常可以接受;但如果通用能力掉了 15 个百分点以上,就要回到数据层检查:是不是拒答样本过强?是不是误拒样本缺失?还是安全数据比例失衡?
度量时建议遵循以下最小检查表:
- 对齐前后使用完全相同的通用能力题和推理参数;
- 安全测试覆盖危险请求、隐私、权限绕过和多轮诱导;
- 同时报告误拒率,而不是只报安全通过率;
- 记录两个模型的版本、checkpoint 和解码配置;
- 结论写成“安全提升 X pp,能力下降 Y pp”的成对表述,不单独报一个安全分。
这个例子的核心是:对齐收益和代价必须放在同一张表里看,否则很容易训出一个“更安全但没法用”的模型。
常见误区澄清
误区一:对齐就是让模型拒答更多。 好的对齐是在安全前提下尽量有用。误拒也是质量问题,会降低用户信任。
误区二:模型足够大就会自动对齐。 能力增强不等于价值对齐。强模型也可能更会编造、更会寻找规则漏洞。规模越大,对齐难度往往越高。
误区三:System Prompt 可以解决所有安全问题。 Prompt 只是其中一层防御。权限控制、工具限制、数据清洗、评估和审计都不可或缺。Prompt 很容易被绕过。
误区四:对齐是一次性工作。 攻击方式、业务规则、用户行为都在变化。对齐需要持续的评估、迭代和监控。
误区五:安全和体验必然冲突。 设计得好时,模型可以拒绝危险细节,同时提供安全的替代帮助。比如拒绝提供攻击脚本,但提供防护建议。这并不矛盾。
总结
大模型对齐是一个工程问题,目的是让模型行为符合人类目标、事实边界、安全规范和系统权限。预训练模型擅长生成高概率文本,但它不会天然知道什么该答、什么该拒、什么需要证据、什么需要权限。
可靠的对齐需要多层组合:SFT 教基本行为,偏好优化改善选择,Constitutional AI 引入显式原则,RAG 降低幻觉,工具权限防止越权,红队和回归评估发现失败。对齐不是某一个算法,而是训练、系统和治理的闭环。
从应用角度看,对齐是把“会生成”变成“可使用”的关键步骤。能力越强,越需要清楚的边界和评估。一个 AI 系统是否可靠,不取决于模型说得多自然,而取决于它在正常、边界、危险和不确定场景下,是否能稳定地做出正确选择。