Ilya Sutskever新公司SSI首模型曝光：剑指持续学习

前 OpenAI 首席科学家 Ilya，大概就是「哥已不在江湖，但江湖却到处都是哥的传说」的典型代表。

亲手缔造深度学习时代的他，离开 OpenAI 已两年有余。自己创办的 SSI 不发模型，不做产品，几乎从牌桌上消失。

可 AI 圈每隔一段时间，还是会有人追问同一个问题：Ilya 在干嘛？

就在刚刚，X 上网友「三只草莓」爆料，SSI 正在探索一种基于 TTT（Test-Time Training，测试时训练）的小型推理引擎。

据其描述，这个模型会用专门整理的数据学习「如何学习」，再在解决问题的过程中更新部分权重。

即使模型规模不大，也足以和经过更大规模训练的模型掰手腕。

更进一步，他还在评论区表示，SSI 当前版本已经准备就绪，团队正在把下一代版本的规模直接扩展 10 倍。

更更更关键的是，这可能不是一张「未来可期」的支票。

按照他的说法，当前版本最快这个 8 月就可能露面，早期将会向少数用户开放。

也就是说，如果爆料属实。SSI 藏了两年的第一把剑，可能真要出鞘了。

也有人判断，只要这种路线能顺利扩大规模，其他公司将很难追上 SSI。

但就在大伙已经准备迎接「Ilya 王者归来」的时候，又有消息称：

老实说，Ilya 离开 OpenAI 自立门户之后，围绕 SSI 的传闻已经多到满天飞。

有人质疑 Ilya 在深度学习历史中的真实贡献，GPT 真正的父亲其实是 Alec Radford；

也有人说他像梁文锋一样，转头研究量化去了。

但这一次爆料能迅速炸开，还真不只是因为「Ilya」三个字自带流量。

而是它确实碰上了几条已经公开的线索，经梳理至少有三条：

第一条，部署后持续学习，和 Ilya 去年 11 月在 Dwarkesh Patel 播客中表达的观点高度一致。

当时 Ilya 表示：「AGI」和「预训练」两个词把行业带偏了。

因为人并不是生来便掌握所有工作的通用智能，人真正依靠的是持续学习。

他设想中的超级智能，更像一个极其聪明、求知欲旺盛的 15 岁少年。

它懂得不算多，却能在部署之后学习编程、医学和各种工作，在一次次试错中继续成长。

在 Ilya 看来，SSI 要造的不是一台出厂时（预训练结束后）便无所不知的机器，而是一个能够学会任何工作的心智。

这个目标带有明显的元学习色彩：模型需要掌握的不只是某项技能，还有学习新技能的方法。

Ilya 虽然当时没有提到 TTT，但它们指向了同一个问题：

第二条，英伟达与 SSI 合作，透露「悄悄推进新的研究路线」。

今年 7 月 27 日，英伟达与 SSI 宣布长期战略合作，同时投资 SSI，并向其提供下一代 Vera Rubin 系统。

SSI 的算力将增加一个数量级，也就是约 10 倍，而且据路透社爆料，投资金额高达 50 亿美元。

英伟达在公告里特意写道，SSI 过去两年一直在悄悄推进一条新的研究路线。

英伟达罕见地接触到这项严密保密的研究后，决定推动它进入下一阶段。

换句话说，老黄验过牌了。至于牌是什么，他没说。

Ilya 自己的表态同样耐人寻味：是时候扩大 SSI 了！

第三条，TTT 本身在过去两年的进展。

最近，越来越多研究者开始尝试越过「不断扩展上下文」这条路线，寻找一种更接近持续学习的范式。

原因也很简单。因为人并不是通过把小抄越写越长来学习，更不会像《记忆碎片》里的男主一样，把遇到的每件事都纹在身上。

经历一件事之后，大脑会调整内部连接。下一次再遇到类似问题时，人已经不是上一次的自己，这也是 TTT 这条路线真正有意思的地方。

简单来说，TTT（Test-Time Training）就是测试时训练，它让模型不再把「训练」和「推理」彻底切开，而是在真正解决问题时，拿眼前的数据继续训练自己，再根据预测结果与目标之间的误差，调整内部状态，甚至直接更新一部分参数。

爆料中，「三只草莓」还特意提到了一篇相关的论文——

End-to-End Test-Time Training for Long Context。

简单来说，这篇论文把长上下文问题重新理解成了一个持续学习问题。

传统长上下文模型会把前文保存在上下文窗口中，每次生成新内容时，再回头查找需要的信息。

论文提出的 TTT-E2E 则把整段上下文当成训练数据，让模型在读取过程中继续做下一个 Token 预测，并把读到的信息压进自己的权重。

由此，上下文不再只是一张随时翻阅的作弊小抄，而开始变成真正改变模型本身的学习材料。

而且值得补充说明的是，TTT 和最近爆火的 Agent Harness、Context Engineering 有本质的不同。

后两者依靠外部上下文搭建脚手架，让模型看到更多信息、调用更多工具，但模型本身并没有改变。

TTT 则更进一步，它不只是让模型看到更多、调用更多，而是让模型在解决问题的过程中，直接改变自己。

**既然 TTT 不是新东西，且这么牛，为什么没有早点用起来？**原因嘛，也不难猜：

因为模型一旦能在部署后修改自己，就可能学错、学偏，甚至忘掉原有能力。

2016 年，微软聊天机器人 Tay 上线不到 24 小时，就在网友诱导下开始输出攻击性内容，最终被紧急下线。

Tay 与 TTT 并非同一种技术，却很早就暴露了同一个难题：

所以，就自然有网友提问了这个问题，然后三只草莓表示 Ilya 已解决。

当然，这句话远远算不上证据，甚至更像一句轻飘飘的江湖传言。

但偏偏，它又绕回了 SSI（Safe Superintelligence）名字里的那个 S：

如果 Ilya 真想造一个部署之后不断成长的超级智能，那么「让它学会学习」其实只解决了一半问题。

剩下那一半甚至更难：让它知道，什么不能学。

为什么一则连真实性都没法确认的匿名爆料，会让这么多人兴奋？

只因为站在山门后面的那个人，是 Ilya Sutskever。

他是 OpenAI 联合创始人、前首席科学家，也是过去十几年深度学习最有影响力的研究者之一。

从 AlexNet、Sequence-to-Sequence、AlphaGo 到 GPT 系列，都能看到他的名字。

英伟达在这次合作公告里还特意提到，Ilya 后来还主导了最终通向 OpenAI o1 等推理模型的研究。

换句话说，他最吓人的地方从来不是发模型多。

而是职业生涯里，几次在技术路线真正成为共识之前，就已经站到了那条路上。

也正因为如此，2024 年 5 月离开 OpenAI 之后，Ilya 下一步要做什么，一直是 AI 圈最大的谜题之一。

而离开一个月之后成立的 SSI 更是将神秘刻在了骨子里。

除了目标安全超级智能以外，此后两年，SSI 不发模型、不做产品、不公开论文，外界甚至不知道他们具体在研究什么。

Ilya 哪怕偶尔露面，也只是反复谈泛化、持续学习，以及预训练时代可能正在走向终点。

直到今年 7 月，英伟达在看过 SSI 高度保密的研究后决定加码，并帮助其将算力提升一个数量级，SSI 才重回公众视野。

由此，我们再看今天这则 TTT 爆料，味道就不一样了。

Ilya 一直在说，真正的超级智能应该能够在部署之后继续学习；

现在又有人爆料，SSI 正在做一种会在推理过程中继续更新自己的模型。

当然，现在依然没有实锤。但如果这两条线最终真能对上——

那 Ilya 闭关两年磨的，可能真的不是又一个更大的 GPT。

参考链接 [1]https://x.com/i/trending/2087551605553901958 [2]https://www.youtube.com/watch?v=aR20FWCCjAs

---