最近，谷歌TPU软件工程师Patrick Toulme提出了一个颇有意思的观点。他认为，外界对于某些模型通过蒸馏快速逼近顶级模型能力的理解存在偏差。
很多人认为，GLM5.2蒸馏Claude或者GPT-5.5，本质上是在“复制智能”。
但Patrick认为，这些人真的是外行，对于复杂Agent任务而言，蒸馏更重要的作用，可能只是帮助模型跨越一个长期被忽视的问题——零梯度困境（Zero-gradient Problem）。
这个观点值得认真讨论，因为它实际上解释了一个更大的问题：强化学习已经研究了几十年，为什么直到大模型时代才突然焕发出巨大的生命力？
梯度：神经网络学习的方向盘
无论是图像识别、机器翻译，还是今天的大语言模型，神经网络训练的基本逻辑都很简单：
1.模型输出结果；
2.计算结果与目标之间的差距；
3.根据差距计算梯度；
4.利用梯度调整模型参数。
所谓梯度，可以理解成一种反馈信号，它告诉模型：
“哪些参数应该修改，应该朝什么方向修改，以及修改多少。”
监督学习之所以容易成功，是因为它天然拥有明确答案。
模型翻译错了一句话，分类错了一张图片，损失函数都会告诉模型哪里出了问题，反向传播会自动生成连续而稳定的优化方向。
强化学习则不同。
强化学习没有标准答案。
它只有奖励。
模型执行动作，环境给予反馈：
成功，奖励1分；
失败，奖励0分。
问题也正是从这里开始出现。
Agent任务为什么容易陷入零梯度困境？
传统聊天任务往往奖励密集。
回答得不错，可以给0.7分；
回答一般，可以给0.3分；
完全错误，给0分。
模型始终能获得一些优化方向。
但是Agent Coding完全不同。
假设任务是：
“修复一个Linux内核Bug。”
模型可能需要连续完成六个步骤：
读取日志；
分析调用栈；
定位源码文件；
修改函数；
重新编译；
运行测试。
只有所有步骤全部成功，最终奖励才会出现。
否则：
Reward = 0。
如果模型当前每一步成功率只有50%左右，那么整体成功概率可能只有千分之一。
如果任务再复杂一些，需要十几步甚至几十步协同完成，那么成功概率甚至可能低于十万分之一。
这时候，强化学习会出现一个非常尴尬的现象。
模型采样1000次。
1000次全部失败。
得到的奖励全部都是0。
奖励信号消失。
梯度也随之消失。
模型根本不知道自己哪里错了。
更准确地说，它甚至无法区分：
是第一步错了；
还是第五步错了；
还是最后测试环节失败了。
所有错误看起来都一模一样。
这就是Patrick所提到的零梯度困境。
在强化学习领域，更常见的称呼是奖励稀疏问题（Sparse Reward Problem）或者探索失败（Exploration Failure）。
著名游戏Montezuma's Revenge曾经长期困扰强化学习研究者。
智能体必须先拿钥匙、跳平台、爬梯子、躲避怪物，经过十几分钟复杂操作后，才能获得第一个积分。
随机探索的Agent，可能训练几亿步都拿不到一次奖励。
Agent Coding与此极为相似。
蒸馏真正解决的问题是什么？
Patrick认为，很多人高估了蒸馏本身。
蒸馏的核心价值，可能并不是直接复制顶级模型的智能。
它更像是给强化学习安装了一副辅助轮。
原本学生模型成功率可能只有：
0.0001%。
几乎永远碰不到正确答案。
经过蒸馏之后，模型学会了一些基本模式：
先看README；
先运行测试；
定位失败函数；
逐步修复。
即使成功率提升到5%。
强化学习就开始发生变化。
100次尝试。
可能出现5次成功。
奖励不再全部为零。
梯度重新出现。
模型终于知道：
哪些行为值得强化；
哪些路径值得继续探索。
强化学习这台发动机，直到此刻才真正启动。
从这个意义上说，蒸馏更像是一种冷启动机制。
它提供的是一个“非零策略初始化”。
不是直接赋予智能，而是帮助模型获得第一次成功。
其实，强化学习早就知道这个问题
那么问题来了。
如果非零初始化如此重要，为什么强化学习过去十几年发展得如此缓慢？
答案可能有些出人意料：
不是没人想到。
而是以前缺少让它真正发挥作用的条件。
AlphaGo就是最经典案例。
AlphaGo并不是直接依靠强化学习训练出来的。
第一阶段，是利用16万局职业棋谱进行监督学习。
先学会人类怎么下棋。
第二阶段，才开始自我对弈强化学习。
本质上，这就是一种非零初始化。
类似思想早已广泛存在。
Behavior Cloning；
Learning from Demonstration；
Imitation Learning；
Expert Policy；
Demonstration Dataset。
这些概念几十年前就出现了。
问题不在算法。
问题在环境。
强化学习真正缺失的三样东西
今天回过头看，强化学习长期停滞，主要缺少三个条件。
第一，缺少足够强大的基础模型。
过去神经网络规模只有几百万参数。
今天的大模型已经达到数百亿甚至数千亿参数。
模型本身就已经拥有庞大的知识先验。
第二，缺少可验证环境。
聊天质量很难自动评价。
但是代码可以编译。
单元测试可以自动运行。
浏览器操作可以自动检查。
数学题可以自动判分。
Agent第一次拥有了近乎无限的奖励来源。
第三，缺少廉价而优秀的老师。
过去专家数据需要真人标注。
成本极高。
今天，Claude、GPT-5.5等顶级模型，可以自动生成海量高质量Agent轨迹。
它们实际上成为了强化学习时代最廉价、最稳定的教师。
大模型时代，也许是强化学习第一次真正具备工业化条件
过去十几年，强化学习最大的瓶颈，可能从来不是算法。
PPO、Actor-Critic、Policy Gradient等方法，很多早在十年前就已经成熟，在微软工作的时候用强化学习干了几个方向结果都让人很颓废，现在明白了当时真正缺失的是：
一个足够聪明的初始策略；
一个能够自动验证结果的环境；
一个可以无限提供示范数据的教师。
如果说过去的强化学习是在黑暗中摸索前进，那么今天的大模型时代，相当于同时打开了灯，递上了地图，还配备了一位经验丰富的向导。
Patrick关于“零梯度困境”的讨论，也许提醒了我们一件事情：
Agent时代最困难的问题，可能不是如何优化智能，而是如何让智能体第一次获得成功。
一旦跨过这道门槛，强化学习真正的潜力，才刚刚开始释放。
下一主题
