元基因组预训练
在超过 1.5 万亿碱基对的废水来源 DNA 与 RNA 序列上预训练,语料覆盖数万个物种,建模的是人类微生物组的整体基因组分布,而非单一物种。
拖动滑块完成拼图,通过后发送验证码
独立第三方 AI 评测平台 · 只用实测数据
METAGENE-1 是一个 70 亿参数的自回归 transformer 语言模型,训练语料是来自人类废水(市政进水)的元基因组 DNA 与 RNA 序列,合计超过 1.5 万亿碱基对,覆盖数万个物种。它的目标不是分析单一物种基因组,而是捕捉人类微生物组中完整的基因组信息分布,服务于公共卫生领域的流行病监测、病原体检测与新兴健康威胁的早期发现。模型采用为元基因组序列定制的 BPE 分词,上下文长度为 512 token,专门优化了对 100-300 碱基对短读段的异常检测。短板也很明显:512 token 的上下文限制了它在复杂序列设计类任务上的适用性,且模型与论文等资源的具体授权与使用条款未公布。
METAGENE-1 是一个元基因组基础模型,由研究团队以 70 亿参数规模预训练而成。它的训练数据来自人类废水样本——也就是市政进水——经过深度元基因组(下一代)测序处理,得到覆盖数万个物种的 DNA 与 RNA 序列。与只针对单一基因组或特定物种集合的基因组模型不同,它的目标是建模人类微生物组中完整的基因组信息分布。
模型采用自回归 transformer 架构,对数据做了针对元基因组序列定制的字节对编码(BPE)分词,再在此基础上预训练。上下文长度为 512 token。据称在病原体检测与元基因组嵌入基准上取得了当前最优表现,并在人类、动物及其他基因组的标准评估任务上展现出泛化能力。团队还构建了病原体检测与异常检测场景,作为下游应用潜力的初步演示。
对公共卫生与生物信息研究者来说,它可以直接用于废水监测数据的病原体筛查和异常信号发现;对做科学基础模型的研究者,它提供了一个开放的元基因组预训练底座,可以在其之上做微调或嵌入提取。论文、GitHub 仓库与 Hugging Face 模型页均已公开。
在超过 1.5 万亿碱基对的废水来源 DNA 与 RNA 序列上预训练,语料覆盖数万个物种,建模的是人类微生物组的整体基因组分布,而非单一物种。
针对病原体检测任务做了优化,在相关基准上取得当前最优表现,可用于从测序读段中识别病原体信号。
专门优化了对 100-300 碱基对短元基因组读段的异常检测,适合生物监测场景下发现偏离常态的序列信号。
在元基因组嵌入基准上取得当前最优表现,可把序列转成向量表示,供下游分类、聚类等任务使用。
对训练数据做针对元基因组序列定制的字节对编码(BPE)分词,使 token 切分更贴合元基因组数据的特点。
在面向人类、动物及其他基因组设计的标准评估任务上通过测试,体现出跨基因组的泛化能力。
配套发布技术报告论文、GitHub 仓库与 Hugging Face 模型页,研究团队与开发者可获取模型与文档。
当你的任务是废水监测、病原体筛查或元基因组异常检测时,METAGENE-1 值得优先评估:它在病原体检测和元基因组嵌入基准上取得当前最优表现,训练语料超过 1.5 万亿碱基对、覆盖数万个物种,且专门优化了 100-300 碱基对短读段的异常检测。当你的任务需要长上下文或复杂序列设计时,要谨慎:512 token 的上下文长度会构成硬性限制。另外,价格、授权与商用条款均未公布,落地前需先确认使用条件。
做废水流行病监测、需要从短读段中发现病原体信号的机构,模型针对 100-300 碱基对读段做了优化。
需要用元基因组嵌入做下游分析的研究者,可直接取用预训练表示而不必从零训练。
关注元基因组方向基础模型的研究者,可基于开放权重做微调与对比实验。
需要长上下文或做复杂序列设计的团队,512 token 的上下文长度会构成限制。
价格与授权条款未公布,涉及商业落地时无法在立项阶段确认使用条件。
它是一个 70 亿参数的元基因组基础模型,用人类废水测序数据训练,面向公共卫生场景,主要做病原体检测、流行病监测和元基因组异常检测。它建模的是人类微生物组整体的基因组信息分布,而不是单一物种的基因组。
训练语料来自人类废水(市政进水)的元基因组测序,合计超过 1.5 万亿碱基对 DNA 与 RNA 序列,覆盖数万个物种。数据经过深度元基因组(下一代)测序处理,再做针对元基因组序列定制的字节对编码(BPE)分词。
它专门优化了对 100-300 碱基对短读段的异常检测,适合病原体检测与生物监测。上下文长度为 512 token,这限制了它在复杂序列设计类任务上的适用性。据称在病原体检测与元基因组嵌入基准上取得当前最优表现。
团队公开了技术报告论文、GitHub 仓库(github.com/metagene-ai)和 Hugging Face 模型页(huggingface.co/metagene-ai),研究者和开发者可据此获取模型与相关文档。
官网未公布价格、免费额度与授权条款。有具体使用计划时,需要先确认可用的授权范围再推进。
普通基因组模型通常针对单个基因组或经过筛选的特定物种集合,而 METAGENE-1 的训练语料来自废水测序,目标是一次性捕捉人类微生物组中完整的基因组信息分布,因此在病原体检测和异常发现这类场景上更贴合。