Dwarkesh Patel：下一代AI，可能是干活干出来的 - 世界杯官网

硅谷知名播客主持人 Dwarkesh Patel 提出了一个关于人工智能下一代训练模式的疑问。这位年仅 25 岁的播客主，以其 Dwarkesh Podcast 迅速在 AI 领域崭露头角，并采访了 Ilya Sutskever、Andrej Karpathy 等多位行业领袖，被《TIME》杂志誉为 2024 年 TIME100 AI 榜单的成员。

在近期的一期节目中，Patel 总结了当前前沿 AI 实验室关注的训练方法，即“可验证奖励强化学习”（RLVR）。该方法的核心在于让模型通过大量可自动评判对错的任务进行反复试错，从而提升规划、纠错、迭代和长期执行的能力，这在代码和数学等领域的近期进展中起到了重要作用。

然而，Patel 进一步探讨了仅依靠“可验证任务”训练 AI 是否足够。他认为，一个任务不仅需要“可验证”，还需要“可刷”，即具备“可磨性”（grindability），能够被大规模地重复执行和测试。代码和数学任务因其易于复制、并行和重置的特性，成为 RLVR 的理想训练场。

Patel 指出，AI 在“使用电脑”方面的进展相对缓慢，并非因为这类任务不可验证，而是因为其难以被大规模复制和回放。例如，在真实电商网站上进行大规模的模拟交易会面临被识别和封禁的风险，而构建高成本、低扩展性的模拟器也存在挑战。因此，AI 在某一领域的快速进步，不仅源于答案的可验证性，更在于该领域能够被转化为可复制、可回放、可并行试错的训练环境。

他将讨论引向更复杂的现实世界任务，如创业、法律诉讼、市场盈利或赢得选举。虽然这些任务的结果最终可判断，但由于反馈周期长、变量多、环境不可重置且难以在数据中心复制，使得传统的 RLVR 训练范式难以直接应用。这类任务的环境接近“不可重置、非平稳”的特点，对模型的泛化能力提出了更高要求。

Patel 对 RLVR 训练出的模型能否有效泛化到这些真实世界任务表示怀疑，认为真实世界最有价值的知识往往并非以清晰、可验证、可重复的方式呈现，而是隐藏在模糊的反馈、失败的会议或隐性流程中。模型要掌握这些知识，需要具备真正的样本效率，而不仅仅是“刷题”。

这引出了他关于“把学习重新写回权重”（learning back to the weights）的核心观点。他指出，当前大模型擅长“上下文内学习”（in-context learning），但这种学习大多是暂时的，并未真正固化到模型权重中。他认为，模型在真实部署后从用户互动和任务执行中获得的经验才是其最有价值的训练信号，这些经验若无法沉淀为模型权重的长期能力，则是一种巨大的浪费。

Patel 提出了“按策略自我蒸馏”（on-policy self-distillation, OPSD）和“梦境”（dreaming）作为下一代训练范式可能的方向。OPSD 允许一个在长会话中积累了经验的模型作为“教师”，指导基础模型进行学习，将上下文中的知识蒸馏回权重。而“梦境”则指 AI 根据真实观察构建模拟环境进行反复练习，并将经验压缩回模型。他认为，这种“测试时训练”（test-time training）或“梦境”可能成为 AI 的第四个扩展轴。

他设想，未来的训练流程将是：首先通过 RLVR 训练出基础 agent，然后将其部署到真实世界进行实际工作，通过用户反馈和任务完成情况，将学到的经验（可能通过 OPSD 或 dreaming 等方式）蒸馏回模型权重。这将使 AI 的能力边界得以突破，从可验证任务扩展到更复杂的现实世界应用。

最终，Patel 强调，下一代 AI 训练范式将是从“发布前训练”转向“发布后学习”，从“人类数据”转向“环境经验”，从“上下文里的临时适应”走向“权重里的长期能力”。AI 在真实世界中完成任务时积累的经验，将成为未来最重要的训练数据。