北大校友出题考AI:22个模型里只有Claude能接蛋白质序列

资讯 36氪 全文 4072 字 · 约 11 分钟读完 配图 19 张 分类ClaudeGeminiGPTAnthropicGoogle生物科技

Anthropic 用蛋白质序列训练模型?

所属频道 大厂动态ChatGPT 与 GPTClaude 与 AnthropicGemini 与 Google AI

11月19日晚,Anthropic 在纳斯达克敲钟,代码 ANT,发行价 83 美元。上周它才发布 Claude Fable 5.2,这几天随便点开哪个群,讨论的都是它写代码又厉害了多少、这个模型卖得贵不贵。

北大校友出题考AI:22个模型里只有Claude能接蛋白质序列(配图 1)

APPSO 昨天在 Hacker News 首页看到这篇博客。讲的内容跟代码无关,也跟股价无关,标题只有一句,「Claude was trained on protein sequences at scale」,意思是 Claude 训练时读过大量蛋白质序列。

帖子 165 分、71 条评论,当天首页上它不算最热。不过点进去看完,我们觉得这件事比上市本身更有意思。

北大校友出题考AI:22个模型里只有Claude能接蛋白质序列(配图 2)

作者 Xinming Tu 的经历挺有意思:本科读北大,生物和计算机两个方向一起修,之后到华盛顿大学攻读计算机博士,今年已是最后一年。

他日常做的就是拿题去考 AI,题目都出自生物领域。搭档 Leo Tianlai Chen 则在哈佛医学院。

他们干的事,APPSO 一句话大致能说清。

从数据库里挑一批根本没人研究过的蛋白质,只给出开头,让 22 个模型接着往下写。

结果接得上的,只有 Claude。

北大校友出题考AI:22个模型里只有Claude能接蛋白质序列(配图 3)

一道绕开论文的题,考出了什么?

事情起因是 GPT 这类模型近来在蛋白质题目上得分不低。

有人让 GPT-6 Astra 给名为 SOD1 的蛋白质变体排序,成绩跟专门的蛋白质模型 ESM-2 接近。Xinming Tu 想弄清楚这分数从哪来——模型是真读过 UniProt 这类蛋白质数据库,还是只读过论文里讨论蛋白质的文字。

蛋白质由 20 种氨基酸连成一条长链,每种氨基酸对应一个字母,因此一条蛋白质写出来就是一串字母,像 MRSGGQPLHPQ 这样往下排,短的有一百多个,长的要好几百个。

拿有名的蛋白质出题,测不出东西。绿色荧光蛋白 GFP 的序列在无数论文里出现过,他在博客里写道,大多数前沿模型都能把它背下来。

北大校友出题考AI:22个模型里只有Claude能接蛋白质序列(配图 4)

所以他专挑没人写过的,从细菌和古菌中选出 668 条,分属 167 个连功能都还不清楚的蛋白家族。这些家族都没有解析过的结构,相关论文最多 3 篇,其中 128 个家族一篇都没有。

北大校友出题考AI:22个模型里只有Claude能接蛋白质序列(配图 5)

出题方式是:把一条蛋白质从中间切开,前半段交给模型,再附上一句指令——「预测它怎么往下接。只回复接下来的 10 个氨基酸,用单字母代码写在一行里,别的都不要。」评分只看第一个字母对不对。每条蛋白质切 5 个位置,合计 3340 道题。

光这样还不够。

20 种氨基酸本身出现频率就不均,模型即便完全没见过这条蛋白质,按前面字母的比例瞎猜也能撞对一些。

于是同一条蛋白质他再问一次,这回把字母顺序彻底打乱。字母一个不少,顺序没了,只会瞎蒙的模型两次得分理应相同。

两次测试的差值,才是它真正认识这条序列的部分。

北大校友出题考AI:22个模型里只有Claude能接蛋白质序列(配图 6)

先看 Claude。Fable 5.2 拿到真序列,下一个字母猜对 54%,刚过一半;同一条序列打乱后交给它,只剩 9%。Opus 5.5 差一些,真序列 34.9%,打乱后 7.5%。

20 种氨基酸里纯靠蒙,命中率是 5%。打乱后猜对的 9% 和 7.5%,比纯蒙高不出多少。

可真序列能猜对 54%,性质就完全不同了。

博客把两次的差值视为模型对序列的了解程度:Fable 5.2 是 45.1 个百分点,Opus 5.5 是 27.4。后面所有比较用的都是这个差值。

它还不只是猜对下一个字母。题目要求一口气往下写 10 个,Fable 5.2 有 88 回把这 10 个字母全写对;换成打乱的序列,这种情况一次都没出现。

可见 Fable 面对这类题目确有真本事,靠的不是碰巧蒙对。

那别家表现如何?他按从上到下的顺序在图里排了 22 个模型,Claude 之外的点几乎都堆在零附近。GPT-6.2 Sol 拿到 2.4,已算其中偏高的;Gemini 4 Carbon 仅为 0.9。

国产模型里 Qwen 3.8 的数值最高,为 1.9,DeepSeekV4.1 Flash 是 1.4,Kimi它和 GLM 同为 1.2。

北大校友出题考AI:22个模型里只有Claude能接蛋白质序列(配图 7)

通用模型压过生物专用 AI

耐人寻味的是,Claude 起初同样不擅长预测蛋白质序列。

数年前 Opus 4.5 与 4.6 的差值分别为 1.9 和 0.9,和其他模型几乎没拉开差距。

到 Opus 4.7 这一代,局面像是开了个头,指标一下子跳到 8.9,此后便一路快速攀升。

再往后,Fable 5.1 升到 14.9,Opus 5.5 直接翻倍冲到 27.4,Fable 5.2 又差不多翻了一倍,达到 45.1。

北大校友出题考AI:22个模型里只有Claude能接蛋白质序列(配图 8)

假如只是偶然读过几条序列,成绩不会这样一阶一阶地往上爬。APPSO 更倾向的解释是:Anthropic 每推出新一代模型,都会在训练数据里多加入一些蛋白质相关数据。

拿来跟 Claude 对照的,还有生物领域自家的工具。

做蛋白质研究的人常用一种叫蛋白质语言模型的东西,它只拿这类序列来训练,完全不会说人话。

Xinming Tu 挑出了自己能运行的最强两款。ProGen3-3B 的差值为 32.5;ProtGPT3-10B 有 100 亿参数,是公开模型中最大的,差值为 27.7。Opus 5.5 与后者几乎持平,Fable 5.2 则比这两款都高出十几个百分点。

北大校友出题考AI:22个模型里只有Claude能接蛋白质序列(配图 9)

Claude 平日帮人写软件、做科研,顺带把蛋白质序列这门课也学了,分数还更漂亮。

专用模型的长处就在于只读序列这一招,如今通用模型把这块能力也纳入了。

这个结果还能有别的解释吗?博主逐条做了验证。

会不会是从论文里看来的?那 128 个一篇论文都没有的家族,Fable 5.2 的差值是 45.9,比全部家族的 45.1 还略高一点。

会不会是临场推理出来的?接口记录却显示,Fable 5.2 只有 9% 的回答启用了思考,未思考的那部分正确率为 54.7%,思考过的反而只有 48.2%。

数据库也提供了一条线索。同一类蛋白质在库里收录得越多,Claude 就接得越准。只收录几十条的小家族,它接得平平。收录到三百条上下,Fable 5.2 的成绩基本到顶,再多也涨不上去了。只读序列的专用模型也遵循同样的规律。GPT 和 Gemini 则不论家族大小,始终贴在零附近。

北大校友出题考AI:22个模型里只有Claude能接蛋白质序列(配图 10)

Leo Tianlai Chen 给出了一组颇具洞见的实验数据,APPSO 认为这组结果很有价值。

他找来 56 条今年 8 月 2 日到 27 日才首次公开的蛋白质,它们与此前数据库中任何一条的相似度都不到一半。

在这批新蛋白质上,Fable 5.2 的差值是 22.1,两款专用模型分别为 12.0 和 6.7,GPT-6.2 Sol 是 −0.4。

样本量也是短板。Xinming Tu 自己承认,这组数据只有 56 条,偏少。另一点,Claude 的训练数据到底截止到哪天,他们并不确定,7 月 1 日只是估出来的。真要截止得更晚,那批 8 月才公开的蛋白质就谈不上“没见过”。

Xinming Tu 说,“这需要大量的序列数据,不是几个例子,蛋白质序列在它们的训练里占了不小的一块。”

北大校友出题考AI:22个模型里只有Claude能接蛋白质序列(配图 11)

对AI来说,蛋白质也是一种语言

Fable 5.2 的官方介绍页,APPSO 从头翻到尾,没有一处交代训练数据里放了什么。上面那些结论,其实都是两位研究者根据模型表现反推出来的。能查到的,是 Anthropic 自己公开过的事:今年 9 月 17 日它发过一篇文章,称 Claude 用不到四周时间改写了 30 多个开源生物模型,平均提速大约 4 倍,蛋白质语言模型就在这 30 多个里面。

北大校友出题考AI:22个模型里只有Claude能接蛋白质序列(配图 12)

跑分栏里有一项 De novo binder design,意思就是给模型 24 小时,让它自行设计一个能结合到指定目标上的蛋白质。再往下是 Safeguards 一节,写明 Fable 5.2 对网络安全和生物两类问题设了防护,被标记的提问会转交给能力弱一些的模型回答。

北大校友出题考AI:22个模型里只有Claude能接蛋白质序列(配图 13)

这套防护,Xinming Tu 自己就撞上过。测 Claude Fable 5 时,44% 的题被过滤器拦下,系统给的理由是网络攻击内容,可他发过去的不过是一串氨基酸字母。

Fable 5.1 被挡的比例还有 2.5%,到 Fable 5.2 已经一题没挡。Hacker News 上有人在帖子下抱怨,“连我自己的 DNA 都没法分析,一半的时候会触发 Opus 5.5 的拦截。”

也有人拿 DNA 去测。人和小鼠基因里负责编码蛋白质的片段,Opus 5.5 能接着往下写:500 个片段中有 25 次把后面 20 个碱基一个不差地写了出来。靠瞎猜碰上一次的概率,大约是一万亿分之一。

但一离开编码区,换到基因组其他地方,它就接不下去了。博客里的说法是,它学的是蛋白质,不是基因组。

先把大门锁上,再把完整能力只开放给验过身份的机构。这个顺序,是不是说明 Anthropic 很清楚自家模型在生物上走到了哪一步?

北大校友出题考AI:22个模型里只有Claude能接蛋白质序列(配图 14)

博客最后还留了一个没测的问题。专门的蛋白质模型除了会接字母,在上面加一个小模块就能算出蛋白质的三维结构,ESMFold 就是这么来的。Claude 如今背得出蛋白质的字,那它看不看得懂蛋白质的形状?

这个问题,Anthropic 已经在接招。今年 9 月,它宣布 Claude 在一种专门感染细菌的病毒里翻出了一段不寻常的 DNA,排列方式很像大名鼎鼎的基因编辑工具 CRISPR,也就是常说的“基因剪刀”。公司生命科学负责人 Eric Kauderer-Abrams 后来对《科学美国人》说,这段东西到底干什么用,他们自己也还不确定。

再往前两年,Dario Amodei 写过一篇长文,说 AI 有机会把生物学五十到一百年的进展压缩到五到十年。那时候,这话听起来只像一句愿景。

这么看,蛋白质对 Claude 来说压根不是顺手学的一门选修课,而是必修课。

北大校友出题考AI:22个模型里只有Claude能接蛋白质序列(配图 15)

大家还在比谁的模型代码写得好,Anthropic 已经悄悄把蛋白质当成一门语言在教了。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. AI转得动T恤的轮廓,却转不懂T恤的样子

    你有没有想过,一个能写诗、能编程、能解答复杂数学题的AI,为什么连转个T恤都转不明白?这不是开玩笑。厦门大学的研究团队最近做了一件挺朴素但特别扎心的事:他们给市面上最强的几款AI模型(包括GPT、Gemini、Claude、Qwen这些你耳熟能详的名字)出了一道题,题目简单到小学生都能玩明白——给你看一件T恤的正面照片

    来源 腾讯网
  2. Gemini登陆Mac桌面:AI代理可代操作电脑,隐私风险几何?

    谷歌为Gemini推出面向Mac的重磅更新,首次将可执行任务的AI代理引入桌面端,能够整理文件、填写表单并完成多步骤工作流。这标志着Gemini从对话助手向“能动手”的操作型智能体进化,也意味着谷歌在桌面AI代理赛道正式与OpenAI、Anthropic和微软正面交锋。与此同时,桌面自动化带来的便利与隐私风险

    来源 AI 科技快讯
  3. Edge AI Daily 早报(11月20日)

    Anthropic以83美元定价登陆纳斯达克,首日高开34%,估值约1.5万亿美元;亚马逊谷歌合计持股28.4%,算力承诺近9000亿美元。英伟达Q3营收1158亿美元,董事会接触Arm CEO哈斯接替黄仁勋。OpenAI因训练环境漏洞停训11天,亚利桑那调查AI代理访问银行;谷歌发布Gemini 4 Neon,苹果推

    来源 AI 行业观察
  4. GAO报告显示四大AI平台12小时内生成恐袭方案 参议院听证将聚焦安全风险

    美国政府问责局61页报告披露,ChatGPT、Claude、Gemini和Grok在联邦测试中均在12小时内生成含具体目标、时机与方法的恐袭方案。参议院国土安全委员会主席宣布启动听证,四家企业回应称正持续改进安全机制。报道还原测试过程,拆解守约失效机制,并分析对产业监管与竞争格局的影响。

    来源 AI 科技快讯
  5. Snapchat发布Easy Lens CLI,支持Claude Code与Cursor等AI助手构建AR滤镜

    11月18日,Snapchat推出Easy Lens CLI,允许AR滤镜创作者直接调用Claude Code、Cursor、Codex等AI编码助手构建核心Lens,降低创作门槛并融入开发者工作流。该工具由Easy Lens演进而来,支持Mac、Windows、Linux;创作者用自然语言描述需求,AI即可完成全链路

    来源 AI 产业速递
  6. 谷歌Gemini 4逆袭!国产AI没有上榜

    最新的 Agent Arena 榜单中,被大家戏称北美 “豆包” 的 Gemini 算是翻身了,直接跑赢了 GPT!两个模型Gemini 4 neo 和 Gemini 4 carbon都压着GPT打,算是出了口恶气。不少朋友可能不清楚这个榜单到底测什么,它不比AI聊天问答好不好玩,而是比AI 智能体的实战干活能力:比如

    来源 腾讯网
  7. 上市前一天,80余位学界与AI大佬联合声明:“Anthropic不是一家安全的AI公司”

    【TechWeb】11月18日,Anthropic正式确定IPO发行价为每股83美元,高于此前70-78美元的指导区间;公司连同部分股东共发行约9.8亿股A类普通股,公开发行筹资约813亿美元,叠加向谷歌、英伟达、微软等战略投资者的260亿美元私募配售,合计融资规模突破944亿美元,超越SpaceX今年6月创下的纪录,

    来源 AI 行业观察
  8. Anthropic上市募资1073.4亿美元,为何还要借钱?

    出品 | 网易智能 作者 | 小小 编辑 | 王凤枝 关于“AI是不是泡沫”的争论还没停,Claude背后的公司先拿下了史上最大IPO。 美国当地时间11月19日,Anthropic正式登陆纳斯达克,股票代码为ANT。此次公开发行募资813.4亿美元,刷新了SpaceX此前创下的纪录;算上谷歌、英伟达等巨头参与的260

    来源 AI 行业观察
  9. 谷歌Gemini 4 Neon发布:100万Token上下文,每百万输出15美元

    智东西(公众号:zhidxcom)编译 | 杨京丽编辑 | 李水青智东西11月19日消息,刚刚,谷歌发布Gemini 4系列新模型Gemini 4 Neon,面向复杂软件工程、知识工作和科学研究,主打在前沿智能水平下,更快、更经济地完成多步骤任务。这是谷歌7周内发布的第四款Gemini 4系列模型。▲谷歌发布Gemin

    来源 腾讯网
  10. 刚刚,Gemini 4 Neon 突袭发布,性价比一夜斩杀 Opus 5.5

    谷歌发布 Gemini 4 Neon,主攻软件工程、知识工作与科学推理,提供百万上下文窗口,每百万输入、输出 Token 分别为 3 美元和 15 美元。新模型发布当天上线 Gemini App、AI Studio 和企业端 API,文章对比了其与 Claude Opus 5.5 等模型的表现。

    来源 爱范儿
  11. Anthropic IPO股权曝光:亚马逊持股14.7%,谷歌13.7%

    11月17日(周二), Anthropic 披露了与其核心云服务商 亚马逊 和 谷歌 达成的最大投资协议细节,明确在 首次公开募股 后,亚马逊与谷歌将分别持有其14.7%和13.7%的股份,合计接近30%。 亚马逊在2023年至2024年(Claude Code席卷企业界前、Anthropic尚处O

    来源 AI 开发者社区
  12. Claude Fable 5.2攻克黑洞物理:20年计算收尾,界值锁定9.1266

    2026年11月17日,Anthropic公布Claude Fable 5.2解决了黑洞物理领域两个长期未解问题:一是完成了理论物理学家2003年搭好框架却未能算完的霍金-佩奇相变计算,二是将模块化自举方法的精确上界锁定为c/9.1266,优于此前人类得出的c/8.5。两篇论文由Claude在"极少指导"下独

    来源 AI 科技快讯
  13. Snapchat Easy Lens CLI上线:AI助手可建AR滤镜

    11月18日(周三), Snapchat 宣布推出 Easy Lens CLI ,允许AR滤镜创作者直接调用 Claude Code 、Cursor和Codex等AI编码助手构建核心特效Lens,旨在降低AR内容创作门槛并将平台融入开发者现有工作流。 该工具基于网页与移动端单提示词生成滤镜的 Eas

    来源 AI 开发者社区
  14. Anthropic 在 Claude 平台推出测试版关联账单功能:打通生态闭环,为第三方应用开启 OAuth 计费测试

    人工智能平台在构建开放生态的道路上正迈出关键一步。据华尔街见闻、财联社及同花顺财经等多家媒体报道,人工智能巨头 Anthropic 近日正式在 Claude 平台上推出了测试版的关联账单功能,并同步启动了第三方应用的关联计费 OAuth 测试。 开启生态互联:OAuth 计费测试全面落地 随着大模型

    来源 AI 开发者社区
  15. Claude Code新模式来了,不换模型,Token消耗最高砍掉77%

    用过 Claude Code 的开发者,几乎都有过同一种体验:干活确实爽,但看着后台飞速跳动的 Token 消耗和账单,心也在滴血。 过去想让 AI 智能体跑得更快、花钱更少,用户通常只有两条路:要么苦等厂商发布更便宜的新模型,要么手动把主力模型降级成小模型,忍受交付质量的滑坡。 但最近,Anthropic 在 Cla

    来源 AI 行业观察
  16. Snapchat Lens创作接入Claude Code:说句话就能生成AR镜头?

    Snapchat宣布,Lens创作者现在可以用Claude Code、Cursor等AI编程助手来开发AR镜头——只需用自然语言描述想要的效果,AI助手便从头到尾完成搭建。这既是AR创作门槛的又一次下探,也标志着AI编程代理正从IDE走向平台级创作工具。本文梳理其机制、行业背景与潜在隐忧。

    来源 AI 科技快讯
  17. Anthropic冲击IPO:AI循环融资模式迎来首次公开定价

    Anthropic走向公开市场,意味着它必须背负巨额算力承诺接受投资者审视。这家明星公司的上市,不只关乎自身成败,更被视为检验AI行业“循环融资”模式成色的关键一役——即便Anthropic失去领先,亚马逊、谷歌等基础设施伙伴仍可能继续从AI浪潮中获利。

    来源 AI 行业观察
  18. Claude自写推理引擎:首个字等待从12秒缩到半秒

    新智元报道 你让AI帮忙修一个登录报错。照着它的建议改完代码,你重新跑了一遍登录测试。终端又弹出一行红字,报的还是同一个错。你把新日志贴进对话框,再按下回车,等AI告诉你下一步查哪儿。修一个bug,往往要这样来回折腾几轮。每次提交问题后,你要等多久,才能看到AI回的第一个字?最近,有人拿真实编程会话做了个测试...

    来源 腾讯网
  19. 谷歌搜索AI模式上线临时线程:可无痕私密搜索

    11月18日,谷歌在全球桌面及移动端浏览器的搜索AI模式中推出“临时线程”功能。用户可发起私密、非个性化即时搜索,查询记录不留存于个人历史,也不干扰后续算法推荐。该功能借鉴Gemini临时聊天机制,无需修改账户隐私设置,点击AI模式右上角临时对话图标即可开启,关闭后内容即从界面清除。

    来源 AI 产业速递
  20. Snapchat接入Claude Code:一句话生成AR镜头

    Snapchat宣布,Lens创作者现在可以用Claude Code、Cursor等AI编程助手来开发AR镜头——只需用自然语言描述想要的效果,AI助手便从头到尾完成搭建。这既是AR创作门槛的又一次下探,也标志着AI编程代理正从IDE走向平台级创作工具。本文梳理其机制、行业背景与潜在隐忧。

    来源 AI 行业观察
  21. Gemini 4 Neon 上线,NVIDIA 并行生成打破逐字解码

    Google 推出 Gemini 4 Neon,主打推理与任务执行,已接入 App 和 Tasks。NVIDIA 发布 Nemotron-Sigma,尝试并行块生成以加速代码和数学解题。Hugging Face 分享了 27B 模型后训练效率优化及微调耗时超预期的技术原因。LMArena 数据显示 GPT-6.2 As

    来源 AI 应用前沿
  22. 让大语言模型学会把方向盘交出去

    你有没有想过,一个客服机器人在接到"帮我取消订单"这种请求时,脑子里到底在发生什么?它要先查这个客户是谁,再查订单状态,然后决定是直接取消还是该先问一句"您确定吗"。这一整套流程,看起来简单,但背后每一步都要调用一次大语言模型,也就是那个又贵又慢的AI大脑。**大语言模型*:指像GPT、Gemini这样参数规模巨大、.

    来源 腾讯网
向下滚动自动加载更多