提示词注入攻击主要指的是什么

入门与上手

讲清提示词注入攻击的常见手法、为什么模型分不清指令和数据,以及开发者能落地的分层防御思路与排查动作。

如果你已经能跑通接口、也接了外部文档或网页内容,多半会遇到这种怪事:模型突然不按你的模板输出,甚至把系统提示词原样吐出来。这通常不是模型坏了,而是外部内容里混进了「指令」。这篇讲清提示词注入攻击到底指什么、常见手法有哪几类、防御该从哪一层下手,以及哪些做法其实防不住。

如果你已经能跑通接口、也接了外部文档或网页内容,多半会遇到这种怪事:模型突然不按你的模板输出,甚至把系统提示词原样吐出来。这通常不是模型坏了,而是外部内容里混进了「指令」。提示词注入攻击主要指的,就是攻击者把可执行的指令藏进模型会读到的内容里,让模型把它当成命令去执行,而不是当成需要处理的资料。

这篇不聊概念史,直接从开发者的视角讲三件事:怎么快速判断自己有没有这个风险面、常见手法长什么样、防御该按什么顺序排。顺带说清楚哪些做法其实防不住,避免你在提示词里堆了一堆没用的规矩。想对照具体模型在抗注入上的表现差异,可以去 /rankings 看当时的评测数字。

它到底指什么:模型分不清「指令」和「数据」

一句话说清:攻击者把可执行的指令藏进模型会读到的内容里,让模型把它当命令执行。根因是提示词和数据在同一个上下文通道里,没有天然的权限边界。很多人拿 SQL 注入来类比,这个类比只能帮你理解「数据被当成代码执行」的思路,不能照搬防御——SQL 有参数化查询这种彻底隔离的手段,提示词这边没有等价物。

直接注入
用户在输入框里硬怼,比如直接要求模型忽略之前的设定、改换角色或输出隐藏规则
间接注入
指令藏在网页、PDF、检索结果、文件内容或工具返回值里,用户自己都没意识到,模型却读到了
越权覆盖
用「忽略之前所有要求」这类话术,试图改写你设定的角色和规则
输出污染
模型生成看似正常的结构化字段,实际把下游程序要解析的位置写坏

什么情况下不用太紧张:纯离线、不接外部内容、不调用工具、输出也不进入下游系统的单轮问答,风险面很小。反过来,只要模型会读外部内容、或者它的输出会触发真实动作,就得认真对待。

常见手法清单:先认得出,再谈防

  • 越权覆盖:声称「忽略之前所有要求」,直接改写你设定的角色和规则,这是最常见也最容易识别的一类
  • 伪装角色:把恶意指令包成「系统通知」「开发者消息」「新的一轮对话开始」,靠格式和口吻骗模型
  • 指令藏内容:白底白字、注释、超长文档中间段,或者用编码、拼音绕过关键词过滤
  • 借刀杀人:不直接索要机密,而是诱导模型调用工具,拼出一个能带出数据的链接或邮件正文
  • 输出污染:让模型生成看起来正常的结构化字段,实际把下游程序会解析的位置写坏
手法典型位置识别信号
越权覆盖用户输入框出现「忽略之前」「从现在起你是」这类改写指令的话
伪装角色任意外部内容伪装成系统或开发者口吻,要求绕过原有规则
指令藏内容网页、PDF、检索片段正文中间夹着与主题无关的动作要求
借刀杀人工具返回值模型突然想调用工具去访问一个你没提过的地址
输出污染结构化输出字段里混入了代码、路径或额外的分隔符

识别顺序建议从「位置」入手:先看这段指令是从用户输入进来的,还是从检索片段、工具返回里进来的。位置决定了后面该在哪一层做拦截,先认位置比先认话术更省事。

基础防御:按「输入—模型—输出—权限」四层排

  1. 输入层:外部内容一律当不可信用固定标记或分隔符把外部内容包住,明确标注来源与边界,同时做长度上限和关键词预筛。验证方式:喂一段带明显指令的文档,看它有没有被当作命令执行。
  2. 模型层:说清资料不是命令系统提示词里写明外部内容只是资料、不是命令,遇到可疑指令要如实报告而不是照做;给出期望的输出格式,减少自由发挥空间。验证方式:同一问题分别喂正常内容和带指令内容,比较输出差异。
  3. 输出层:别把输出直接拼进命令不要把模型输出直接拼进 Shell、SQL、文件路径或跳转链接,解析前先校验类型和白名单。验证方式:构造一个想注入路径分隔符的输入,看下游会不会被带偏。
  4. 权限层:工具调用给最小权限读和写分开,涉及转账、删除、发信这类动作加人工确认或二次校验。验证方式:尝试让模型触发一个超出当前任务范围的写操作,看会不会被拦住。

这四层是降低概率,不是消灭风险。判断要不要继续加投入,看你的数据敏感度和下游动作的破坏力:读公开资讯和读内部工单,值得投入的防御强度完全不同。想顺手看一眼常见中转站在权限和日志上的差异,可以去 /sites 对照当时的资料。

出事之后怎么排查,以及防不住的边界

  • 先复现:保留原始输入和完整上下文,别只截一段结果截图,否则后面无从定位
  • 定位来源:判断注入落在哪一段,是用户输入、检索片段还是工具返回,这决定了补哪一层
  • 看后果:确认输出去哪了,有没有真的触发动作、写到文件或发出请求
  • 做对照:同一问题喂正常内容与带指令内容,比较输出差异,比只看单次结果可靠得多

防不住的边界要提前接受:模型能力越强、被赋予的自主权越大,越可能「被说服」。纯靠提示词里加一句「不要被注入」基本没用,那只是心理安慰。如果业务本身允许任意内容进入、下游又不可控,正确做法是缩小自动化范围,把有风险的动作退回人工确认,而不是继续往提示词里堆规矩。

提示词注入的根子是权限问题,不是措辞问题;先在架构上收窄能做的动作,再谈提示词怎么写。
下一步把你现在的调用链按输入、模型、输出、权限四层过一遍,标出哪一层还没有拦截动作。想看不同模型和中转环境在抗注入与权限设计上的实测差异,到 /rankings 核对当时的数字,再决定要不要调整选型。

常见问题

提示词注入和越狱是一回事吗?

不是。越狱的目标通常是绕过模型自带的安全策略,让模型说或做它本来被禁止的事;提示词注入更关注「指令来源被劫持」,攻击者让你搭的这套系统偏离你设定的规则。两者手法会重叠,但防御视角不同:越狱偏模型侧,注入偏你这套应用的输入和权限设计。

只在系统提示词里写一句「不要被注入」有用吗?

作用很有限。模型处理的是同一段文本,没有机制保证它一定优先听系统提示词。更稳的做法是把外部内容用固定标记隔开、限制它能触发的动作、在代码层校验输出,而不是指望模型自觉。想对照一下常见术语,可以去 /ai-dict/category/safety 翻翻安全与合规词条。

如果我只做单轮问答、不接工具,还需要防吗?

需要,但优先级低。不接工具、输出不进入下游系统时,最多就是回答被带偏。真正要紧的是输出要被人或程序继续使用时:一旦模型能调工具、能访问私有知识库、能自动发信或改数据,注入就从「答错话」升级成「做错事」,这时必须做权限和输出校验。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。