AREX Feed Article
Hugging Face 联合中关村学院、那不勒斯费德里科二世大学开源 Carbon-X：14.8B 的 DNA 对话模型，自评五项基准平均 66.7%、刻意不训练病毒序列
10 月 22 日，Hugging Face 的 HuggingFaceBio 团队发布了开源 DNA 模型 Carbon-X：显示，这是一个 14.8B 参数、Apache 2.0 许可的 decoder-only 模型（页面创建于 10 月 21 日、22 日更新），DNA 序列和自然语言共享同一条 token 流、同一个 decoder，没有独立的 DNA 编码器。 同日报道，模型由 Hugging Face 与中关村学院（中国）、那不勒斯费德里科二世大学（意大利）的研究人员合作开发；模型卡致谢栏列出的合作方还包括 Telethon 遗传学与医学研究所（TIGEM）的团队。
按团队自评，Carbon-X 在五项 DNA 基准上平均得分 66.7%（关闭思考模式），比它所基于的 Qwen3-14B 高 27 分，接近 GPT-6.1 Sol 的 67.5%，而单题推理成本约为后者的 1/1,800。它由 Qwen3-14B 经 3,020 亿 token 中期训练，再做监督微调（SFT）与可验证奖励强化学习（RLVR）得到。训练数据刻意不含病毒序列；这些成绩为团队自报，模型卡写明该模型未经临床验证。
图片来源：Wired 报道配图（Photo Illustration: Jobanny Cabrera；Getty Images）
把 DNA 贴进对话框：6 个碱基切成一个 token
模型卡给出的用法是：把原始 DNA 序列直接粘进普通聊天消息，模型用英文回答——预测一个变异是良性还是致病、识别控制基因活性的区域、按物种类群给序列分类、预测序列接下来的碱基，并解释自己的推理；回复里可以同时出现 DNA 和自然语言。
DNA 的读入靠一套混合 tokenizer。Carbon-X 保留 Qwen3 的 BPE（字节对编码）文本词表，另加 5,515 个 DNA token：4,096 个 6-mer（每 6 个碱基切成一个 token）、1,364 个处理非 6 倍数长度序列的尾部 token，加上 <dna>、</dna>、<oov> 三个标记。提示词里出现至少 6 个连续的 A/C/G/T 碱基，会被自动打上 DNA 标签；含 IUPAC 模糊码（N、R、Y 等）的 6-mer 会整体变成一个 <oov> token。
上下文窗口是 40,960 token。中期训练用的序列长 8,192 token，约折合 4.9 万碱基对。Tunstall 对 Wired 说，用户没法上传完整的人类基因组，一次只能查询 5 万碱基对左右的小片段。
从 Qwen3-14B 出发的训练路径，和一份没有病毒的 DNA 数据清单
Carbon-X 从 Qwen3-14B 初始化：先冻住 Transformer 主体，用约 100 亿 token 只训练随机初始化的 DNA 嵌入，再解冻整个模型，做 3,020 亿 token 的中期训练。数据构成是 55% 裸 DNA、20% 英文、15% 生物文本、10% 指令数据；DNA 部分里真核基因组占 38.5%——其他脊椎动物 16.2%、哺乳动物 10.3%、无脊椎动物 7.6%、植物 3.1%、真菌 1.1%、原生生物 0.2%——另有 mRNA（信使 RNA）8.8%、原核基因组 5.5% 等。Wired 把这批数据概括为 DNA 序列、英文文本和把 DNA 对应到生物学描述的样本。
病毒不在这份清单里。Hugging Face 高级研究员 Lewis Tunstall 向 Wired 解释，团队没有用病毒序列训练模型，因为不希望它被用于潜在危险的应用。
模型卡还记下了中期训练的一个教训：消融显示学习率是这个阶段的主导变量——低了保得住英文，但 DNA 停在随机水平；高了学得会 DNA，英文却忘了。之后是 3 个 epoch 的监督微调（覆盖变异效应推理、序列分类、DNA 操作技能和指令跟随的 20 个数据子集），再用异步 GRPO（分组相对策略优化）做两轮强化学习：第一轮跑 98,433 个提示、150 步，第二轮从该检查点出发再用 58,249 个提示；奖励是按任务编写、由代码校验的验证器，其中包括对无依据推理的惩罚。模型卡称，全部训练数据针对测评基准做了三道去污染检查：整段 DNA 重叠、文本 n-gram 重叠和序列同源搜索。
分项成绩与成本账：两项领先，分析 240 万个变异约需 300 美元
五项基准覆盖变异效应预测、序列理解和下一个碱基预测。Carbon-X 的分项成绩是：编码变异效应 BioReason Coding 74.9（所有被测模型中最高）、复杂变异效应 BioReason Non-SNV 85.1、DNA 理解 GenomeQA 63.6、碱基预测 NextBase 39.4（最高）、单碱基变异效应 FrontierVEP 70.4，平均 66.7%。对照组平均分：GPT-6.1 Sol 67.5、Opus 5.5 60.9、Kimi K3 50.4、Gemini 4 Argon 49.8、DeepSeek V4.1 Flash 47.1、GLM-5.3 39.8。团队称，Carbon-X 高于其评估的所有其他开源模型。BioReason 和 GenomeQA 来自已有文献，FrontierVEP 和 NextBase 是团队自建。
成本是团队强调的另一半。对比模型按标准 API 定价折算，Carbon-X 按每 H200 小时 5 美元的实测吞吐计算；团队估算，分析 ClinVar 数据库里 240 万个意义不确定的变异，用 Carbon-X 约需 300 美元，而他们评估的前沿模型要花 3.2 万～400 万美元。模型卡解释，Carbon-X 不做长链推理、直接作答，每道题的输出 token 很少。
这些数字全部是团队自报，测评条件为关闭思考、默认采样设置、每题单样本。模型卡提醒，它不应用于医疗决策，并列出弱项：GenomeQA 里剪接位点任务只拿到 29.8%、组蛋白标记 34.6%；长 DNA 生成质量会下降，它没有被训练去设计新序列；缺少上下文时，它可能编造序列的身份或功能。模型卡还报告了 IFEval 指令遵循成绩（严格口径 79.3%），称其仍是一个有能力的通用助手。
14B 是刻意选择：让敏感序列留在自己的机器上
Tunstall 告诉 Wired，研究者把可识别或敏感的患者数据上传给前沿 AI 模型时面临种种限制，所以团队有意把模型做小到 14B 级别，让它能在用户自己的硬件上运行；他说，不会有任何数据被发送给 Hugging Face 或其他公司。模型卡的表述是：BF16（16 位浮点格式）权重装得进单张 80 GB GPU，vLLM 一条命令就能启动服务，研究者可以把敏感或未发表的序列留在自己的基础设施上。
团队还把它设计成 agent 的工具。模型卡提供了 OpenAI 风格的工具调用示例，并附带可装入 Claude Code 或 Codex CLI 的现成 skill：ask 命令就命名的 DNA 文件提问，compare 命令按序列似然给等长变异排序；脚本只依赖 Python 标准库，但需要一张约 80 GB 显存的 GPU。模型卡建议序列按引用传递——放在文件或查找表里、让 agent 报名字——因为语言模型经常抄错长序列。一个部署限制：llama.cpp 等 GGUF 运行时不受支持，DNA 分词器是自定义 Python 代码，这些运行时装载不了。
对话接口是差异点，湿实验室验证还欠着
Wired 把 Carbon-X 放进已有模型之间定位：Google DeepMind 去年发布的 AlphaGenome 能预测 DNA 序列和遗传突变的影响，但输出是数值格式，也需要更多算力；Arc Institute 与 Nvidia 及学术伙伴开发的 Evo 2 说「DNA 的语言」，能从零生成完整基因组。Carbon-X 的差异点，是把 DNA 和自然语言合进同一个对话接口。
Tunstall 给出的用途设想是帮助研究者设计新药和基因疗法，也可能帮患者解读自己的基因组。「我们解锁了语言模型的一种新能力，本质上是能够与 DNA 对话」，他说；用自然语言意味着非技术用户「可以问出其他任何工具都问不了的 DNA 问题」。Wired 还交代了发布方的背景：这家被称为「AI 界的 GitHub」的平台，Nvidia 已于今年 9 月同意以近 130 亿美元收购。
模型卡把 Carbon-X 称为「连接 DNA 与语言研究的起点」。Wired 写道，开发者自己提醒，他们还没有用真实的湿实验室实验验证过这个模型，说不准它的预测到底有多准。