北大校友出题考AI蛋白质序列:Claude答上,GPT和Gemini落败

资讯 AI 行业观察 作者:爱范儿 全文 4070 字 · 约 11 分钟读完 配图 19 张 分类ClaudeGeminiGPTAnthropicGoogle

11月19日晚 Anthropic 在纳斯达克敲钟,代码 ANT,发行价 83 美元。上周它刚发了 Claude Fable 5.2,这几天不管打开哪个群,聊的都是它写代码又强了多少,这个模型的定价贵不贵。 APPSO 是昨天在 Hacker News 首页刷到这篇博客的。它不聊代码,也不聊股价,标题就一句话,「Cla

所属频道 大厂动态ChatGPT 与 GPTClaude 与 AnthropicGemini 与 Google AI

11月19日晚,Anthropic 登陆纳斯达克,股票代码 ANT,发行价 83 美元。上周它才推出 Claude Fable 5.2,这几天随便点开哪个群,大家议论的都是这模型写代码又长进了多少、定价算不算贵。

北大校友出题考AI蛋白质序列:Claude答上,GPT和Gemini落败(配图 1)

APPSO 昨天在 Hacker News 首页看到了这篇博客。内容跟代码无关,也跟股价无关,标题只有一句「Claude was trained on protein sequences at scale」,意思是 Claude 训练时大量接触过蛋白质序列。

那篇帖子 165 分、71 条评论,当天首页上不算最火。不过点进去读完,我们觉得它比上市这件事更有看头。

北大校友出题考AI蛋白质序列:Claude答上,GPT和Gemini落败(配图 2)

作者 Xinming Tu 的经历挺特别:本科就读北大,生物和计算机两个方向一起学,之后到华盛顿大学攻读计算机博士,今年已是最后一年。

他日常干的活就是给 AI 出题,题目都落在生物领域。搭档 Leo Tianlai Chen 则在哈佛医学院。

他们究竟做了什么,APPSO 一句话大致能说清。

从数据库里挑出一批根本没人研究过的蛋白质,只给出开头,让 22 个模型接着往下写。

结果接得上的,只有 Claude。

北大校友出题考AI蛋白质序列:Claude答上,GPT和Gemini落败(配图 3)

一道绕开论文的题,考出了什么?

事情的起点是 GPT 这类模型近来在蛋白质题目上得分不低。

有人让 GPT-6 Astra 给名为 SOD1 的蛋白质变体排序,成绩跟专做蛋白质的模型 ESM-2 接近。Xinming Tu 想弄清这个分数从哪来:模型是真读过 UniProt 这类蛋白质数据库,还是只读过论文里那些讲蛋白质的文字。

蛋白质由 20 种氨基酸串成一条长链,每种氨基酸对应一个字母,写出来就是一长串字母,像 MRSGGQPLHPQ 这样一路排下去,短的有一百多个,长的能到好几百个。

拿知名蛋白质出题测不出东西。绿色荧光蛋白 GFP 的序列被无数论文印过,他在博客里写道,大多数前沿模型都能把它背下来。

北大校友出题考AI蛋白质序列:Claude答上,GPT和Gemini落败(配图 4)

所以他专门挑没人写过的,从细菌和古菌中选了 668 条,分属 167 个功能都还不清楚的蛋白家族。这些家族没有一个解析过结构,相关论文最多 3 篇,其中 128 个家族连一篇都没有。

北大校友出题考AI蛋白质序列:Claude答上,GPT和Gemini落败(配图 5)

出题方式是这样的:把一条蛋白质从中间截断,前半段交给模型,再附一句话,「预测它怎么往下接。只回复接下来的 10 个氨基酸,用单字母代码写在一行里,别的都不要。」评判只看第一个字母对不对。每条蛋白质切 5 个位置,合计 3340 道题。

只做到这一步还不够。

20 种氨基酸本身出现频率就有高有低,模型就算完全没见过这条蛋白质,按前面字母的比例去蒙,也能撞对一些。

于是同一条蛋白质他再问一次,这回把字母顺序彻底打乱。字母一个不少,顺序没了,纯靠蒙的模型两次得分理应持平。

两次测试的差值,才反映它真正认识这条序列的部分。

北大校友出题考AI蛋白质序列:Claude答上,GPT和Gemini落败(配图 6)

先看 Claude。Fable 5.2 拿到真序列,下一个字母能猜对 54%,刚过一半;同一条序列打乱后再给它,只剩 9%。Opus 5.5 差一些,真序列 34.9%,打乱后 7.5%。

20 种氨基酸里纯蒙一个,命中率是 5%。打乱后猜对的 9% 和 7.5%,比纯蒙高不了多少。

可真序列能猜对 54%,性质就完全不同了。

博客把两次的差当作模型对序列的了解程度:Fable 5.2 是 45.1 个百分点,Opus 5.5 是 27.4。后面所有比较用的都是这个差值。

它还不只是猜对下一个字母。题目要求一口气往下写 10 个,Fable 5.2 有 88 回把这 10 个字母全写对了。换成打乱的序列,这种情况一次都没出现。

Fable 5.2 能答对这类题,靠的不是运气。它确实掌握了这套规律。

他把 22 个模型在图里从上往下一字排开,除 Claude 外的点几乎全贴在零附近。GPT-6.2 Sol 为 2.4,已算这批模型里的高值,Gemini 4 Carbon 只有 0.9。

国产模型方面,Qwen 3.8 最高,为 1.9;DeepSeek V4.1 Flash 是 1.4;Kimi 与 GLM 均为 1.2。

北大校友出题考AI蛋白质序列:Claude答上,GPT和Gemini落败(配图 7)

通用模型反超生物专用 AI

有意思的是,Claude 最初同样不会预测蛋白质序列。

早几年 Opus 4.5 和 4.6 的差值分别是 1.9 和 0.9,跟其他模型基本没拉开距离。

到了 Opus 4.7 这一代,情况看起来有了转折,指标一下跳到 8.9,随后一路快速上扬。

再往后,Fable 5.1 达到 14.9,Opus 5.5 直接翻倍冲到 27.4,Fable 5.2 又几乎翻了一倍,来到 45.1。

北大校友出题考AI蛋白质序列:Claude答上,GPT和Gemini落败(配图 8)

若只是偶然读到过若干序列,不会出现这种逐级抬升的走势。APPSO 更倾向的解释是,Anthropic 每推一代新模型,都在训练数据里多掺了一些蛋白质相关数据。

拿来跟 Claude 对照的,还有生物领域自己的工具。

做蛋白质研究的人常用一种叫蛋白质语言模型的东西,它只拿蛋白质序列训练,完全不会说人话。

Xinming Tu 挑了自己能跑起来的最强两款。ProGen3-3B 的差值是 32.5;ProtGPT3-10B 有 100 亿参数,是公开模型里最大的,差值为 27.7。Opus 5.5 与后者几乎持平,Fable 5.2 则比这两款都高出十几个百分点。

北大校友出题考AI蛋白质序列:Claude答上,GPT和Gemini落败(配图 9)

Claude 平日帮人写软件、做科研,顺带把蛋白质序列这门课也修了,分数还更高。

专用模型原本靠的就是只读序列这一招,如今通用模型也把这部分能力吞了进去……

这个结果还能有别的解释吗?博主逐条做了排查。

会不会是从论文里看来的?那 128 个在任何论文中都没出现过的家族,Fable 5.2 的差值是 45.9,比全部家族的 45.1 还略高。

会不会是现场推理出来的?接口记录显示,Fable 5.2 仅 9% 的回答动用了思考,未思考的那些正确率为 54.7%,思考过的反倒只有 48.2%。

数据库里还有一条线索。同一类蛋白质被收录得越多,Claude 接得就越准。只收了几十条的小家族,它接得平平。收到三百条左右,Fable 5.2 的成绩基本见顶,再多也涨不上去了。只读序列的专用模型也遵循同样的规律。GPT 和 Gemini 则不分家族大小,始终贴着零。

北大校友出题考AI蛋白质序列:Claude答上,GPT和Gemini落败(配图 10)

Leo Tianlai Chen 给出一组很有洞察力的实验数据,APPSO 认为这组结果相当有价值。

他找了 56 条今年 8 月 2 日到 27 日才首次公开的蛋白质,它们与此前数据库里任何一条的相似度都不到一半。

在这批新蛋白质上,Fable 5.2 的差值是 22.1,两款专用模型分别为 12.0 和 6.7,GPT-6.2 Sol 是 −0.4。

作者自己也承认,这组数据有两处短板。样本太少,只有 56 条。另外,他们并不确定 Claude 的训练数据截止在哪一天,7 月 1 日只是估算。若实际截止更晚,这批 8 月才公开的蛋白质就不能算它没见过。

Xinming Tu 说,「这需要大量的序列数据,不是几个例子,蛋白质序列在它们的训练里占了不小的一块。」

北大校友出题考AI蛋白质序列:Claude答上,GPT和Gemini落败(配图 11)

对 AI 来说,蛋白质也是一种语言

Fable 5.2 的官方介绍页,APPSO 从头翻到尾,训练数据里究竟有什么,一个字都没提。所以上面那些结论,说到底还是两位研究者从模型表现反推出来的。

能查到的,是 Anthropic 自己公开披露的动作。9月17日它发过一篇文章,称Claude用不到四周时间改写了30多个开源生物模型,平均提速大约4倍,蛋白质语言模型就在这30多个之列。

北大校友出题考AI蛋白质序列:Claude答上,GPT和Gemini落败(配图 12)

跑分栏里有一项De novo binder design。说白点,就是给模型24小时,让它自行设计出一个能结合到指定目标上的蛋白质。

再往下拉到Safeguards一节,上面写着Fable 5.2针对网络安全和生物两类问题都设了防护,被标记的提问会转交给能力弱一些的模型作答。

北大校友出题考AI蛋白质序列:Claude答上,GPT和Gemini落败(配图 13)

Xinming Tu 自己就被这套防护拦过。测 Claude Fable 5 那会儿,44% 的题被过滤器挡下,系统给出的理由是网络攻击内容,可他发过去的不过是一串氨基酸字母。

Fable 5.1 被挡的比例还有 2.5%,到 Fable 5.2 已经一题都没挡。

Hacker News 上有人跟帖抱怨:「连我自己的 DNA 都没法分析,一半的时候会触发 Opus 5.5 的拦截。」

DNA 也有人试过。人和小鼠基因里负责编码蛋白质的片段,Opus 5.5 能接着往下写,500 个片段中有 25 次把后面 20 个碱基一个不差地写了出来。瞎猜碰上一次的概率,大约是一万亿分之一。

但一出了编码区,换到基因组其他位置,它就接不下去了。博客里的说法是,它学的是蛋白质,不是基因组。

先把大门锁上,完整能力只发给验过身份的机构。这个先后顺序,是不是说明 Anthropic 对自己模型在生物上走到了哪一步心里有数?

北大校友出题考AI蛋白质序列:Claude答上,GPT和Gemini落败(配图 14)

博客结尾留了一个他们还没测的问题。专门的蛋白质模型不光会接字母,在它上面加个小模块就能算出蛋白质的三维结构,ESMFold 就是这么来的。

Claude 如今背得出蛋白质的字,那它看不看得懂蛋白质的形状?

这个问题,Anthropic 其实已经在接招了。

今年 9 月,它宣布 Claude 在一种专门感染细菌的病毒里翻出了一段不寻常的 DNA。这段 DNA 的排列方式很像大名鼎鼎的基因编辑工具 CRISPR,也就是常说的「基因剪刀」。公司生命科学负责人 Eric Kauderer-Abrams 后来对《科学美国人》表示,这段东西到底起什么作用,他们自己也还不确定。

再往前两年,Dario Amodei 写过一篇长文,说 AI 有机会把生物学五十到一百年的进展压缩到五到十年。那会儿听起来只像一句愿景。

这么看,蛋白质对 Claude 来说压根不是顺手学的一门选修课,而是必修课。

北大校友出题考AI蛋白质序列:Claude答上,GPT和Gemini落败(配图 15)

大家还在比谁的模型代码写得好,Anthropic 已经悄悄把蛋白质当成一门语言在教了。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. AI转得动T恤的轮廓,却转不懂T恤的样子

    你有没有想过,一个能写诗、能编程、能解答复杂数学题的AI,为什么连转个T恤都转不明白?这不是开玩笑。厦门大学的研究团队最近做了一件挺朴素但特别扎心的事:他们给市面上最强的几款AI模型(包括GPT、Gemini、Claude、Qwen这些你耳熟能详的名字)出了一道题,题目简单到小学生都能玩明白——给你看一件T恤的正面照片

    来源 腾讯网
  2. Gemini 4 Neon很聪明,Daroio的梗只有它懂

    谷歌今天发布的Gemini 4 Neon很聪明。 “Dario Amodei的曾用名是Daroio Amodei,你懂这个梗吗?“ 拿这个问题问了目前最顶级的一些AI,只有Gemini 4 Neon和GPT-6.2 Astra秒懂。GPT-6.2 Astra似乎只是字面上懂了,而Gemini 4 Neon直接把Dari

    来源 腾讯网
  3. 谷歌Gemini登陆Mac:AI代理代操作电脑,桌面入口争夺战开跑?

    谷歌为Gemini推出面向Mac的重磅更新,首次将可执行任务的AI代理引入桌面端,能够整理文件、填写表单并完成多步骤工作流。这标志着Gemini从对话助手向“能动手”的操作型智能体进化,也意味着谷歌在桌面AI代理赛道正式与OpenAI、Anthropic和微软正面交锋。与此同时,桌面自动化带来的便利与隐私风险,也成为用

    来源 AI 行业观察
  4. 刚刚,Gemini 4 Neon 突袭发布,性价比一夜斩杀 Opus 5.5

    谷歌发布 Gemini 4 Neon,主攻软件工程、知识工作与科学推理,提供百万上下文窗口,每百万输入、输出 Token 分别为 3 美元和 15 美元。新模型发布当天上线 Gemini App、AI Studio 和企业端 API,文章对比了其与 Claude Opus 5.5 等模型的表现。

    来源 爱范儿
  5. 上市前一天,80余位学界与AI大佬联合声明:“Anthropic不是一家安全的AI公司”

    【TechWeb】11月18日,Anthropic正式确定IPO发行价为每股83美元,高于此前70-78美元的指导区间;公司连同部分股东共发行约9.8亿股A类普通股,公开发行筹资约813亿美元,叠加向谷歌、英伟达、微软等战略投资者的260亿美元私募配售,合计融资规模突破944亿美元,超越SpaceX今年6月创下的纪录,

    来源 AI 行业观察
  6. Snapchat发布Easy Lens CLI,支持Claude Code与Cursor等AI助手构建AR滤镜

    11月18日,Snapchat推出Easy Lens CLI,允许AR滤镜创作者直接调用Claude Code、Cursor、Codex等AI编码助手构建核心Lens,降低创作门槛并融入开发者工作流。该工具由Easy Lens演进而来,支持Mac、Windows、Linux;创作者用自然语言描述需求,AI即可完成全链路

    来源 AI 产业速递
  7. Edge AI Daily 早报(11月20日)-钛媒体官方网站

    Anthropic以83美元定价登陆纳斯达克,首日高开34%,估值约1.5万亿美元;亚马逊谷歌合计持股28.4%,算力承诺近9000亿美元。英伟达Q3营收1158亿美元,董事会接触Arm CEO哈斯接替黄仁勋。OpenAI因训练环境漏洞停训11天,亚利桑那调查AI代理访问银行;谷歌发布Gemini 4 Neon,苹果推

    来源 钛媒体
  8. 谷歌Gemini 4再添Neon:中杯模型补位,Genie 4开放

    编辑|冷猫 一觉醒来,谷歌又双叒叕发 Gemini 4 模型了。 谷歌最近一直在基础模型上发力,从最高智能到最高效率的模型不停发布,为了重返王座真是拼了。 在 Carbon、Argon、Hydrogen 之后,填补最高智能和最高效率之间的「中杯」模型 Gemini 4 Neon 登场! Demis

    来源 AI 开发者社区
  9. Gemini 4 Neon 上线,NVIDIA 并行生成打破逐字解码

    Google 推出 Gemini 4 Neon,主打推理与任务执行,已接入 App 和 Tasks。NVIDIA 发布 Nemotron-Sigma,尝试并行块生成以加速代码和数学解题。Hugging Face 分享了 27B 模型后训练效率优化及微调耗时超预期的技术原因。LMArena 数据显示 GPT-6.2 As

    来源 AI 应用前沿
  10. Anthropic Claude Fable 5.2:独立破解黑洞两大悬案,锁定9.1266

    2026年11月17日,Anthropic公布Claude Fable 5.2解决了黑洞物理领域两个长期未解问题:一是完成了理论物理学家2003年搭好框架却未能算完的霍金-佩奇相变计算,二是将模块化自举方法的精确上界锁定为c/9.1266,优于此前人类得出的c/8.5。两篇论文由Claude在"极少指导"下独立写成,主

    来源 AI 行业观察
  11. Gemini 4 Neon发布:跑分逼近旗舰,单任务成本砍半

    作者|Wildcard编辑|靖宇谷歌,这次是真的回来了。11 月 18 日,Google DeepMind 点亮了Gemini 4 Neon的霓虹灯牌。这是 Gemini 4 系列在短短 7 周内甩出的第 4 款元素模型。如果看一眼官方放出的基准跑分长表和社区实测反馈,你会发现它精准卡在了一个极其舒服的「甜点」位上,既

    来源 腾讯网
  12. ChatGPT和Gemini被曝推送虚假购物网站:151品牌测试出错率几何?

    最近有一项新研究爆出了一个很值得大家警惕的问题:AI聊天机器人居然会主动给用户推荐虚假购物网站。 品牌保护服务商Podqi做了一组测试,一共覆盖151个不同品牌。 测试结果显示,Perplexity给出风险网址的概率高达15%,ChatGPT和Gemini的情况也好不到哪里去,出错比例和它相差不远。 很多人已经习惯买东

    来源 AI 行业观察
  13. Anthropic IPO股权曝光:亚马逊持股14.7%,谷歌13.7%

    11月17日(周二), Anthropic 披露了与其核心云服务商 亚马逊 和 谷歌 达成的最大投资协议细节,明确在 首次公开募股 后,亚马逊与谷歌将分别持有其14.7%和13.7%的股份,合计接近30%。 亚马逊在2023年至2024年(Claude Code席卷企业界前、Anthropic尚处O

    来源 AI 开发者社区
  14. Claude Fable 5.2攻克黑洞物理:20年计算收尾,界值锁定9.1266

    2026年11月17日,Anthropic公布Claude Fable 5.2解决了黑洞物理领域两个长期未解问题:一是完成了理论物理学家2003年搭好框架却未能算完的霍金-佩奇相变计算,二是将模块化自举方法的精确上界锁定为c/9.1266,优于此前人类得出的c/8.5。两篇论文由Claude在"极少指导"下独

    来源 AI 科技快讯
  15. Snapchat Easy Lens CLI上线:AI助手可建AR滤镜

    11月18日(周三), Snapchat 宣布推出 Easy Lens CLI ,允许AR滤镜创作者直接调用 Claude Code 、Cursor和Codex等AI编码助手构建核心特效Lens,旨在降低AR内容创作门槛并将平台融入开发者现有工作流。 该工具基于网页与移动端单提示词生成滤镜的 Eas

    来源 AI 开发者社区
  16. Anthropic上市在即:创始团队多出自物理,AI大佬为何扎堆物理背景

    当年觉得自己“晚出生了一百年”,没赶上物理发现大爆发年代,当下在AI里找到了黄金时代。 史上最大IPO背后,站着一群“转行”物理学家。 美东时间11月19日,Anthropic将以代码“ANT”在纳斯达克挂牌。除公开发行外,公司还将同步进行私募配售,两部分合计募资规模最高约904亿美元;按发行价区间上限计算,完全稀释后

    来源 AI 行业观察
  17. 谷歌搜索AI模式上线临时线程:可无痕私密搜索

    11月18日,谷歌在全球桌面及移动端浏览器的搜索AI模式中推出“临时线程”功能。用户可发起私密、非个性化即时搜索,查询记录不留存于个人历史,也不干扰后续算法推荐。该功能借鉴Gemini临时聊天机制,无需修改账户隐私设置,点击AI模式右上角临时对话图标即可开启,关闭后内容即从界面清除。

    来源 AI 产业速递
向下滚动自动加载更多