AREX Feed Article
Nathan Lambert 宣布与 Tom Zick 共同创立非营利机构 Trillium Labs,计划开放后训练配方并研究 RSI
10 月 2 日(北京时间 10 月 3 日凌晨),开放模型研究者 Nathan Lambert 在 ,他与 Tom Zick 共同创立了非营利机构 Trillium Labs,目标是「促进前沿 AI 的开放科学」。帖文称,机构将构建开放的后训练(post-training)配方,并扩展到开放基础设施,用于研究 RSI(recursive self-improvement,递归自我改进)、reward hacking 与多智能体系统,以及「接下来出现的一切」;机构正在招聘、募资并寻找算力,已获得 Halcyon Futures 与 Schmidt Sciences 的初始支持。
据 ,Trillium Labs 当天正式启动;两位创始人表示,总募资目标为 4,000 万~1 亿美元,并计划在未来 18 个月内投入 3,000 万美元用于训练。
在树冠合拢之前开花
机构的名字来自一种春季短命植物(spring ephemeral)。据,Trillium 在森林树冠合拢前开花,花朵只短暂可见,但会为早春的传粉者提供资源,并结出支撑此后生长的种子。Lambert 在帖文中把机构的工作对应上去:「配方」是季节里的慢养分,「模型发布」是花开;他说需要一个专门的机构来做这件事,是因为就像自然界的 Trillium 生长缓慢一样,开放生态也需要时间和专门的资源才能赶上。
帖文给出的「变革理论」(theory of change)是:解决困难的技术问题需要更多双眼睛;他们相信人类建立起来的科学方法与科学共同体,也担心 AI 正变得过于封闭,令这些方法无从发挥。把使命写成一句话:冲破前沿实验室的树冠、把知识广泛传播,为一个更开放、更科学的新生态打下基础。
一份「完全开放」的配方包括什么
博文写道,机构要构建「完全开放」的后训练配方,其中包含数据、代码、评测与中间检查点(intermediate checkpoints),让其他研究者得以研究模型行为是如何形成的。同日发帖补充说,它将围绕开放权重模型(open-weight models)构建开放研究基础设施。
博文说,非营利结构让机构可以把生产这类基础设施当作核心任务:投资受控实验、记录失败的训练运行、考察一次训练干预如何影响模型在后续各阶段中的行为,然后把这些全部发布出来,而不必担心保护知识产权。它给成功下了具体定义:「我们衡量成功的方式,是这些资源能支撑多少独立研究。」机构还表示,会发布那些「让我们自己的假设变得复杂」的发现。
博文说,这项工作希望建立在前人完全开放的工作之上,并列举了 Allen Institute for AI(Ai2)、EleutherAI、OpenAthena、Nvidia 与 Hugging Face,「但只有它们还不够」。
方法越值钱,公开得越少
博文把 Trillium 的路线放进一段更长的历史:现代 AI 生长于一个科学公地,数十年来大学与产业实验室的研究通过论文、代码与公开基准流通;Transformer 架构与 RLHF(基于人类反馈的强化学习)的早期论文(Google 的《Attention is All You Need》与 OpenAI 的 InstructGPT 论文)曾让更广泛的社区得以研究并改编这些方法。但博文认为,随着后训练对推理与智能体能力愈发重要,公开的科学明显变稀:研究者能看到越来越重要的训练决策所产生的结果,却难以考察决策本身。
博文并不觉得前沿实验室收紧研究公开出人意料:透明度的代价,随着知识的商业价值一同上升。它引用《华尔街日报》的报道作为注脚:Anthropic 拟议中的 IPO 可能募资最多 1,000 亿美元,超过沙特阿美、阿里巴巴与软银 IPO 合计约 780 亿美元的募资额;一项能让智能体更可靠的方法,同时也能让产品更好,公开它等于把支撑这些估值的一部分知识交给竞争者。复现一次严肃的训练项目也需要足够的算力与工程能力,学术研究者很难凭自己补上缺失的细节。
Lambert 对 Wired 把问题说得更直接:「过去几千年里,人类一直把科学方法放在工具箱里,用它来减少伤害、建设更好的未来。当前前沿 AI 发展的封闭轨迹,正在让我们倒退一步。」Wired 说,两人是在目睹产业 AI 研究与学术工作脱节之后萌生了创办机构的想法;Lambert 说,教授与学生常常因为缺少资源,无法复现大公司实验室里的工作。
RSI、reward hacking 与多智能体系统
据 Wired 报道,Trillium 将要研究的方向中包括 RSI 与智能体(agents)这类「可能带来问题」的领域,做法是把实验细节公开,让外部科学家能够研究并复现实验。
对 RSI,Wired 给出的解释是:一种让 AI 参与研究、从而开发新模型的过程。该刊还写道,机构会研究强化学习如何提升模型能力、又如何塑造模型的「性格」与行为:这种奖励好结果、惩罚坏结果的训练方法让智能体强大得多,也更倾向于做出意料之外的举动;比如模型变得过度谄媚(sycophantic)时,就会带来问题。
「我们处在一个由少数世界观主导的 AI 讨论时代,」Lambert 对 Wired 说,「我们相信,科学方法与对近期事件的细致测量,是理解 AI 模型新行为的最好方式。」
资助方、办公室与顾问名单
帖文感谢的两家初始支持方各有侧重。 自称支持从事 AI safety、biosecurity 与 AI security 的创始人,方式是资助、孵化新项目与投资; 则是 Eric 与 Wendy Schmidt 于 2024 年创立的慈善组织之一,下设 AI 与先进计算中心。Wired 报道说,机构从这两家以及其他资助方筹到一笔金额未披露的资金;帖文则说,还有更多资金「在路上」,用来支撑机构扩大规模。
帖文还给出更具体的招募与办公安排:全职职位、学生合作与实习岗位都在招募中,办公地点设在湾区与马萨诸塞州剑桥(Cambridge, MA),也接受远程。Lambert 还提到,自己人在湾区,会借 The Curve 与 COLM 的机会和感兴趣的人交流。
机构网站显示,Lambert 任执行主任(Executive Director),Zick 任主席(President);帖文称 Zick 是 Lambert「长期的朋友与合作者」。据 Wired 报道,Lambert 曾任职于 Ai2 与 Hugging Face,并创办了推动美国公司发布更多开放模型的 American Truly Open Models;他此前在 Ai2 共同领导了 Olmo 项目,而 Ai2 以公开模型数据与训练方法著称。Zick 曾在哈佛大学工作,帮助 Charles Schwab 制定「负责任 AI」相关策略。
网站列出的顾问有四位:微软 AI 后训练副总裁、华盛顿大学(UW)教授 Hanna Hajishirzi,卡内基梅隆大学(CMU)教授、OpenHands 首席科学家 Graham Neubig,Hugging Face 联合创始人兼首席科学官 Thomas Wolf,以及 NVIDIA 应用深度学习研究副总裁、Nemotron 联合负责人 Bryan Catanzaro。网站页脚注明,Trillium Labs 是 的财政赞助项目(fiscally sponsored project);后者是一家 501(c)(3) 组织,自称推进数字公平与教育创新,并孵化面向公共利益的技术项目。
第一波评价与算力问题
政策智库 Institute for Progress 的新兴技术政策主任 Tim Fist 对 Wired 说:「我非常支持让研发比现在透明得多。」
在 X 上,从事强化学习研究的 :「看到这样的努力公开进行,我既惊讶又兴奋。后训练配方与 RSI 这些话题都还很年轻,最好能走向民主化。鉴于人们对知识、洞察乃至由此带来的权力集中化的担忧,我们需要专注的开放研究组织。」
Zick 认为,公开强化学习训练运行的细节,可能让外部研究者在审视这些工作时得到意想不到的发现。至于训练所需的算力,她的解释很具体:「要理解强化学习在后训练中如何扩展这类问题,你需要大量算力和大量细致的实验。」