做科研的团队用上大模型之后,最容易卡住的不是「能不能跑」,而是「这批数据能不能喂进去」「算出来的结论敢不敢写进论文」「外包的算力平台会不会把实验记录留下」。这篇不铺概念,按数据、提示词、模型输出、算力环境、结果复核几个环节,给出判断标准和具体动作,帮你把 ai for science 的安全风险过一遍。
做科研的团队用上大模型之后,最先卡住的往往不是「跑不跑得动」,而是三个很具体的问题:这批还没发表的数据能不能喂进去,模型算出来的结论敢不敢写进论文,外包的算力平台会不会把实验记录留下来。这三件事答不上来,工具再顺手也不敢真用。
这篇按数据、提问、输出、算力环境、复核留痕几个环节走一遍,每个环节给判断标准和能马上照做的动作。不铺概念,你可以把它当成一份开工前的对照清单,一项一项过。
先划清范围:科研场景的风险和你平时用聊天工具不是一回事
日常用聊天工具,泄露的多是一段闲聊或一封草稿。科研场景不一样:未发表数据、受试者信息、合作方保密条款下的样本、可能涉密或受出口管制的材料,这几类东西一旦外发,基本收不回来,也说不清去了哪里。所以判断风险不能按「我有没有说敏感词」来,要按数据本身的性质来。
建议把风险拆成四层看:数据出域、模型输出不可靠、算力与工具链环境、成果归属与署名合规。四层对应完全不同的动作,混在一起谈就容易只盯着其中一层,另外三层裸奔。比如很多人只关心数据别外发,却从不复核模型给的引文,结果论文里挂了一条查无实据的参考文献。
| 风险层 | 典型表现 | 先做什么 |
|---|---|---|
| 数据出域 | 未发表数据、受试者信息被整段粘贴进外部模型 | 列数据清单并标授权状态 |
| 输出不可靠 | 数值、公式、引文看着合理但复现不出来 | 给结论设一道复算关 |
| 算力与工具链 | 外部平台留存日志、共享目录权限过宽 | 先问留存与删除机制 |
| 归属与合规 | 署名、贡献、合作方约定没对齐 | 立项时写清使用范围 |
数据能不能喂:一张判断表加三步动作
最省事的判断办法是先分类再决定。把手上数据分三档:公开数据、内部数据、受限数据(受试者、合作方约束、涉密或受管制)。只有第一档可以不加处理直接送外部模型;内部数据要么去标识后再送,要么只送统计摘要;受限数据默认不外发,确有需要就单独走审批,别顺手拖进对话框。
| 数据档位 | 能不能直接送外部模型 | 处理方式 |
|---|---|---|
| 公开数据 | 可以 | 正常使用,仍要核对来源与许可 |
| 内部数据 | 有条件 | 去标识、只送摘要或结构描述 |
| 受限数据 | 默认不行 | 单独审批,优先本地或隔离环境 |
| 说不清归属 | 先别送 | 补授权信息再定 |
具体动作分三步走,做完再决定送不送。三步都不复杂,难的是坚持每次都做,尤其是赶进度的时候最容易省掉第一步。
- 列清单把要用的数据列成一张表,标来源、授权状态、谁能看。列不全就先不往下走。
- 对约定逐条比对合作方协议和所在机构的数据管理规定,重点看「能否用于第三方工具」这一条。查不到就发邮件问,留书面记录。
- 做减法对必须外发的部分去标识,或只送统计摘要、字段结构。送出去的范围写进记录,方便回看。
判断标准可以很朴素:如果说不清这批数据谁能看、看完能不能删,就先别送。术语和口径拿不准时,到 /safety 和 /ai-dict/category/safety 对照一下再定,别凭感觉。
提问环节的注意事项:别把实验细节一次性倒进去
很多人习惯把整段实验记录粘进去让模型「帮我看看」,这一步送出去的数据量往往远超任务需要。先想清楚要模型干的到底是什么:格式整理、写段代码、找文献线索,还是推断结论。任务越具体,需要送出去的原始数据就越少,这是最直接的风险削减手段。
- 提示词里不放能定位到个人或样本编号的信息,用占位符替换后再描述结构
- 附件、表格、代码注释、运行日志都可能夹带敏感字段,粘贴前扫一眼
- 能只给字段名和取值范围的,就别给原始记录
- 同一个任务不要在多家中转或官方入口反复试,每试一次就多一次外发
- 把「这次送出去了什么」记一笔,后面复核和追溯都靠它
间接泄露是最容易忽略的一类:你以为只发了一张表,其实表头带着项目代号,代码注释里写着合作方名字,日志里混着样本编号。粘贴前花十秒扫一遍,比事后解释省事得多。
模型输出靠不靠得住:给科研结论设一道复算关
模型给的东西要分三类对待:可验证的事实、可复现的步骤、无法验证的推断。前两类能进入流程,第三类只能当思路参考,不能当结论。麻烦在于三者在文字上长得一模一样,都写得很自信,所以必须靠人主动分类。
凡是数值、公式、引文、试剂参数,一律回到原始来源核一遍。模型给的引用要能自己搜到原文才算数,搜不到就当它不存在。这一步花的时间不多,但它是把「看起来对」和「确实对」分开的唯一办法。
幻觉的常见表现和排查思路,可以去 /ai-dict/category/basics 补一下基础概念,知道它大概会在哪里编,比笼统地「保持警惕」有用。
算力、平台与工具链:环境层面的风险点
用外部算力或托管推理时,先问三件事:数据落在哪里、谁能看到、退出时怎么把自己的东西带走。具体要确认的是数据留存和日志策略、有没有把输入用于训练的条款、删除机制怎么触发。口径不清就按「会留存」处理,这个默认值偏保守,但不会让你吃亏。
计算环境本身要当成有边界的生产环境来管:账号和密钥按最小权限给,任务跑完就回收,实验数据不落在共享盘的公共目录里。这几条听着像运维的事,但科研团队自己搭环境时最容易漏。
| 检查项 | 要问清的问题 | 口径不清时 |
|---|---|---|
| 数据落地 | 数据存在哪个区域、存多久 | 按会长期留存处理 |
| 训练用途 | 输入会不会进训练集 | 按会进训练集处理 |
| 删除机制 | 怎么触发、多久生效 | 自己先不留副本 |
| 权限 | 谁能看到任务和结果 | 只给必要的人开 |
想横向比不同平台在这几项上的差异,入口在 /compute/platforms,具体条款和当时的说明以页面为准,别记死数字。
复核与留痕:谁签字、留什么、多久回看一次
模型参与的每个环节都要指定一个人负责确认,责任不能落到「模型说的」上。这不是形式主义:出了问题时,能不能说清是谁在什么依据下确认的,决定了这件事是流程问题还是事故。
- 用了哪个模型、从哪个入口调的,记下来
- 这次送出去的数据范围,写到字段级
- 模型输出的原文留存,别只留改写后的版本
- 人工核对记录,包括核了哪些、依据是什么
- 最后确认人是谁,什么时候确认的
回看节奏建议三次:项目立项时过一遍风险表,数据外发前再过一遍,成果投出前最后一遍。发现合作方口径变了、平台条款变了,就重走一次,不要拿旧结论套新情况。
常见踩坑与不适用情形
第一个坑是把「本地部署」当绝对安全。权重在本地不等于数据不外流,日志、监控、插件、自动更新同样可能把信息带出去。本地部署降低的是某一类风险,不是全部,该做的数据分类和复核一样不能省。
第二个坑是以为脱敏就万事大吉。编号、时间戳、稀有参数组合仍可能反推到具体样本,尤其是小样本研究,几组特征凑一起就能对上人。脱敏之后还要问一句:这组数据能不能被反推。
第三个坑是团队各用各的工具、口径不统一,同一批数据在不同环节被反复外发,谁也不知道一共送出去几次。解决办法不复杂:团队统一入口和记录格式,外发前走同一个人确认。
也有不适用的情况:教学演示、公开数据集练习这类场景风险等级低,不必套用整套流程,但复核习惯仍要保留。流程是给高风险数据用的,不是给所有事情加负担。
下一步把这篇当开工前的对照表:先去 /safety 看安全相关的口径说明,再到 /compute/platforms 核对你要用的平台在数据留存和权限上的具体条款,两项对完再决定这批数据怎么送。→常见问题
科研团队用外部大模型处理未发表数据,最先该做哪一件事?
先把这批数据列成清单,标清来源、授权范围和谁能看。只要说不清这三点,就先默认不能送外部模型,改用本地环境或只送统计摘要。这一步做完,再谈用哪个模型、走哪个入口。
模型帮写的文献综述和引文能直接用吗?
不能直接搬。模型给的引文经常看似完整但查不到原文,凡是引用都要自己搜到原文献核对作者、出处和结论。没核过的引文不要出现在任何对外材料里,这是最容易出事也最容易避免的一环。
本地部署模型是不是就没有数据外流风险了?
不是。权重在本地只解决推理不经过第三方,日志、监控插件、自动更新和外部工具调用仍可能把内容带出去。要按环境整体看:谁能登录、日志存哪、有没有对外连接,逐项确认过才算隔离。
外包算力平台跑实验,要问清哪些事?
至少问三件:数据落在哪个区域和介质、平台方人员能否访问、任务结束后怎么删除以及能否给出确认。答不上来或口径含糊,就按数据会被留存来处理,敏感数据不进这类环境。
模型给的分析结论,怎么判断能不能写进报告?
用能不能脱离模型复现来做标准。数值回到原始数据重算一遍,步骤按描述自己跑一遍,引文自己搜一遍。三样都过得去才能写;过不去就只把模型当草稿工具,不改结论。