北大校友出题考AI:22个模型里只有Claude能接蛋白质序列
Anthropic 用蛋白质序列训练模型?
11月19日晚,
Anthropic 在纳斯达克敲钟,代码 ANT,发行价 83 美元。上周它才发布 Claude Fable 5.2,这几天随便点开哪个群,讨论的都是它写代码又厉害了多少、这个模型卖得贵不贵。

APPSO 昨天在 Hacker News 首页看到这篇博客。讲的内容跟代码无关,也跟股价无关,标题只有一句,「
Claude was trained on protein sequences at scale」,意思是 Claude 训练时读过大量蛋白质序列。
帖子 165 分、71 条评论,当天首页上它不算最热。不过点进去看完,我们觉得这件事比上市本身更有意思。

作者 Xinming Tu 的经历挺有意思:本科读北大,生物和计算机两个方向一起修,之后到华盛顿大学攻读计算机博士,今年已是最后一年。
他日常做的就是拿题去考 AI,题目都出自生物领域。搭档 Leo Tianlai Chen 则在哈佛医学院。
他们干的事,APPSO 一句话大致能说清。
从数据库里挑一批根本没人研究过的蛋白质,只给出开头,让 22 个模型接着往下写。
结果接得上的,只有 Claude。

一道绕开论文的题,考出了什么?
事情起因是
GPT 这类模型近来在蛋白质题目上得分不低。
有人让 GPT-6 Astra 给名为 SOD1 的蛋白质变体排序,成绩跟专门的蛋白质模型 ESM-2 接近。Xinming Tu 想弄清楚这分数从哪来——模型是真读过 UniProt 这类蛋白质数据库,还是只读过论文里讨论蛋白质的文字。
蛋白质由 20 种氨基酸连成一条长链,每种氨基酸对应一个字母,因此一条蛋白质写出来就是一串字母,像 MRSGGQPLHPQ 这样往下排,短的有一百多个,长的要好几百个。
拿有名的蛋白质出题,测不出东西。绿色荧光蛋白 GFP 的序列在无数论文里出现过,他在博客里写道,大多数前沿模型都能把它背下来。

所以他专挑没人写过的,从细菌和古菌中选出 668 条,分属 167 个连功能都还不清楚的蛋白家族。这些家族都没有解析过的结构,相关论文最多 3 篇,其中 128 个家族一篇都没有。

出题方式是:把一条蛋白质从中间切开,前半段交给模型,再附上一句指令——「预测它怎么往下接。只回复接下来的 10 个氨基酸,用单字母代码写在一行里,别的都不要。」评分只看第一个字母对不对。每条蛋白质切 5 个位置,合计 3340 道题。
光这样还不够。
20 种氨基酸本身出现频率就不均,模型即便完全没见过这条蛋白质,按前面字母的比例瞎猜也能撞对一些。
于是同一条蛋白质他再问一次,这回把字母顺序彻底打乱。字母一个不少,顺序没了,只会瞎蒙的模型两次得分理应相同。
两次测试的差值,才是它真正认识这条序列的部分。

先看 Claude。Fable 5.2 拿到真序列,下一个字母猜对 54%,刚过一半;同一条序列打乱后交给它,只剩 9%。Opus 5.5 差一些,真序列 34.9%,打乱后 7.5%。
20 种氨基酸里纯靠蒙,命中率是 5%。打乱后猜对的 9% 和 7.5%,比纯蒙高不出多少。
可真序列能猜对 54%,性质就完全不同了。
博客把两次的差值视为模型对序列的了解程度:Fable 5.2 是 45.1 个百分点,Opus 5.5 是 27.4。后面所有比较用的都是这个差值。
它还不只是猜对下一个字母。题目要求一口气往下写 10 个,Fable 5.2 有 88 回把这 10 个字母全写对;换成打乱的序列,这种情况一次都没出现。
可见 Fable 面对这类题目确有真本事,靠的不是碰巧蒙对。
那别家表现如何?他按从上到下的顺序在图里排了 22 个模型,Claude 之外的点几乎都堆在零附近。GPT-6.2 Sol 拿到 2.4,已算其中偏高的;
Gemini 4 Carbon 仅为 0.9。
国产模型里 Qwen 3.8 的数值最高,为 1.9,DeepSeekV4.1 Flash 是 1.4,Kimi它和 GLM 同为 1.2。

通用模型压过生物专用 AI
耐人寻味的是,Claude 起初同样不擅长预测蛋白质序列。
数年前 Opus 4.5 与 4.6 的差值分别为 1.9 和 0.9,和其他模型几乎没拉开差距。
到 Opus 4.7 这一代,局面像是开了个头,指标一下子跳到 8.9,此后便一路快速攀升。
再往后,Fable 5.1 升到 14.9,Opus 5.5 直接翻倍冲到 27.4,Fable 5.2 又差不多翻了一倍,达到 45.1。

假如只是偶然读过几条序列,成绩不会这样一阶一阶地往上爬。APPSO 更倾向的解释是:Anthropic 每推出新一代模型,都会在训练数据里多加入一些蛋白质相关数据。
拿来跟 Claude 对照的,还有生物领域自家的工具。
做蛋白质研究的人常用一种叫蛋白质语言模型的东西,它只拿这类序列来训练,完全不会说人话。
Xinming Tu 挑出了自己能运行的最强两款。ProGen3-3B 的差值为 32.5;ProtGPT3-10B 有 100 亿参数,是公开模型中最大的,差值为 27.7。Opus 5.5 与后者几乎持平,Fable 5.2 则比这两款都高出十几个百分点。

Claude 平日帮人写软件、做科研,顺带把蛋白质序列这门课也学了,分数还更漂亮。
专用模型的长处就在于只读序列这一招,如今通用模型把这块能力也纳入了。
这个结果还能有别的解释吗?博主逐条做了验证。
会不会是从论文里看来的?那 128 个一篇论文都没有的家族,Fable 5.2 的差值是 45.9,比全部家族的 45.1 还略高一点。
会不会是临场推理出来的?接口记录却显示,Fable 5.2 只有 9% 的回答启用了思考,未思考的那部分正确率为 54.7%,思考过的反而只有 48.2%。
数据库也提供了一条线索。同一类蛋白质在库里收录得越多,Claude 就接得越准。只收录几十条的小家族,它接得平平。收录到三百条上下,Fable 5.2 的成绩基本到顶,再多也涨不上去了。只读序列的专用模型也遵循同样的规律。GPT 和 Gemini 则不论家族大小,始终贴在零附近。

Leo Tianlai Chen 给出了一组颇具洞见的实验数据,APPSO 认为这组结果很有价值。
他找来 56 条今年 8 月 2 日到 27 日才首次公开的蛋白质,它们与此前数据库中任何一条的相似度都不到一半。
在这批新蛋白质上,Fable 5.2 的差值是 22.1,两款专用模型分别为 12.0 和 6.7,GPT-6.2 Sol 是 −0.4。
样本量也是短板。Xinming Tu 自己承认,这组数据只有 56 条,偏少。另一点,Claude 的训练数据到底截止到哪天,他们并不确定,7 月 1 日只是估出来的。真要截止得更晚,那批 8 月才公开的蛋白质就谈不上“没见过”。
Xinming Tu 说,“这需要大量的序列数据,不是几个例子,蛋白质序列在它们的训练里占了不小的一块。”

对AI来说,蛋白质也是一种语言
Fable 5.2 的官方介绍页,APPSO 从头翻到尾,没有一处交代训练数据里放了什么。上面那些结论,其实都是两位研究者根据模型表现反推出来的。能查到的,是 Anthropic 自己公开过的事:今年 9 月 17 日它发过一篇文章,称 Claude 用不到四周时间改写了 30 多个开源生物模型,平均提速大约 4 倍,蛋白质语言模型就在这 30 多个里面。

跑分栏里有一项 De novo binder design,意思就是给模型 24 小时,让它自行设计一个能结合到指定目标上的蛋白质。再往下是 Safeguards 一节,写明 Fable 5.2 对网络安全和生物两类问题设了防护,被标记的提问会转交给能力弱一些的模型回答。

这套防护,Xinming Tu 自己就撞上过。测 Claude Fable 5 时,44% 的题被过滤器拦下,系统给的理由是网络攻击内容,可他发过去的不过是一串氨基酸字母。
Fable 5.1 被挡的比例还有 2.5%,到 Fable 5.2 已经一题没挡。Hacker News 上有人在帖子下抱怨,“连我自己的 DNA 都没法分析,一半的时候会触发 Opus 5.5 的拦截。”
也有人拿 DNA 去测。人和小鼠基因里负责编码蛋白质的片段,Opus 5.5 能接着往下写:500 个片段中有 25 次把后面 20 个碱基一个不差地写了出来。靠瞎猜碰上一次的概率,大约是一万亿分之一。
但一离开编码区,换到基因组其他地方,它就接不下去了。博客里的说法是,它学的是蛋白质,不是基因组。
先把大门锁上,再把完整能力只开放给验过身份的机构。这个顺序,是不是说明 Anthropic 很清楚自家模型在生物上走到了哪一步?

博客最后还留了一个没测的问题。专门的蛋白质模型除了会接字母,在上面加一个小模块就能算出蛋白质的三维结构,ESMFold 就是这么来的。Claude 如今背得出蛋白质的字,那它看不看得懂蛋白质的形状?
这个问题,Anthropic 已经在接招。今年 9 月,它宣布 Claude 在一种专门感染细菌的病毒里翻出了一段不寻常的 DNA,排列方式很像大名鼎鼎的基因编辑工具 CRISPR,也就是常说的“基因剪刀”。公司生命科学负责人 Eric Kauderer-Abrams 后来对《科学美国人》说,这段东西到底干什么用,他们自己也还不确定。
再往前两年,Dario Amodei 写过一篇长文,说 AI 有机会把生物学五十到一百年的进展压缩到五到十年。那时候,这话听起来只像一句愿景。
这么看,蛋白质对 Claude 来说压根不是顺手学的一门选修课,而是必修课。

大家还在比谁的模型代码写得好,Anthropic 已经悄悄把蛋白质当成一门语言在教了。