# 一堂「强化学习」大师课｜对谈清华叉院助理教授吴翼

> 42章经 精读

- 发布日期：2025-04-05
- 主持：曲凯
- 原节目：https://www.xiaoyuzhoufm.com/episode/67efcaf5f9578163d601286a
- 网页版：https://42zhangjing.qiaomu.ai/ep/67efcaf5f9578163d601286a.html
- 精读字数：约 8976 字（阅读约 20 分钟）

> 本文为 42zhangjing.qiaomu.ai 基于节目转写的 AI 整理精读，不是逐字稿；引用请注明出处并链接网页版。

吴翼2020年从OpenAI回国，现在是清华大学交叉信息研究院助理教授。他的博士论文题目叫 On Building Generalizable Learning Agents，研究强化学习、泛化和多智能体。2025年4月，他和蚂蚁研究院开源的 AReaL-boba 在7B模型上把AIME24刷到61.9。

这期42章经，曲凯和他聊了73分钟。话题从“到底什么是RL”开始，一路走到RLHF、慢思考、Agent、Scaling law、团队组织、人才稀缺，最后落到人生选择。曲凯的体感很直接：Agent团队里有一个RL算法强的人，变得特别吃香。

很多人对RL的印象还停在打游戏、下棋、机器人。吴翼把线接上了：预训练给理解，RL给决策，两者相乘才有今天的智能体。文章按对话顺序整理，保留关键数据、案例和吴翼的判断。

## RL处理多步决策，人生难在奖励函数 1:51

曲凯先问最基础的问题：到底什么是强化学习。吴翼把它放回机器学习的大框架。传统机器学习处理单步判断，给一张图片，判断猫还是狗，数据里有人标好的标准答案。强化学习处理一串动作，打乒乓球要发球、接球、回球，打游戏要往左、往右、跳，最后才有一个输赢。

**RL的关键是“多步决策”和“延迟奖励”。**中间每一步没有标准答案，只有最后好坏的概念。吴翼说，人生就是一个强化学习的过程，因为有很多选择，没人告诉你正确答案。曲凯追问：人生没有客观奖励函数，RL还适合吗。吴翼的回答很直接，RL的前提是知道奖励函数，人生难在探索奖励函数。你可能以为在优化一件事，走到结果才发现奖励函数不是那个。

> 人生就是一个强化学习的过程，因为你有很多种选择，没人告诉你正确答案。

RL比传统机器学习更一般，问题范围更大，求解也难。它到AlphaGo才出圈，人脸识别早就出圈，原因就在这里。曲凯把两者比成简单问题的解和一系列复杂决策的解，吴翼认可这个区分，同时补了一句：RL把生活中几乎所有问题都包进去，问题越大，越难求解。

这里有个容易忽略的前提。RL训练时假设你知道打分方式，知道赢了还是输了。人生经常不知道reward长什么样，或者知道了才发现它不对。吴翼说，人生很大一部分时间在探索奖励函数，在跟不确定的世界交互。这个说法给后面的讨论埋了伏笔。

曲凯又问，大模型和Agent完成的任务常常没有明确解，RL怎么办。吴翼把话题带到历史：大模型是next token prediction，熟读唐诗三百首，读大量文章，模型通用了。它和RL一直没关系，因为RL有目标，大模型预训练没有目标。要接上，得先找到一个既需要目标又能大规模训练的任务。

## 从InstructGPT到慢思考，RL接上大模型 6:22

这个任务是指令遵从。吴翼讲了InstructGPT的背景。GPT-3训练完很强，给外行用却不好用。你让它解释登月，它会把“explain the moon landing for me”重复很多遍。那个年代用友商大模型也会遇到类似问题。原因是指令被当成一段文章补全，模型只负责预测下一个词，没有“按指令完成”的概念。

OpenAI把这件事建模成RL。指令是任务，模型输出的每个词是动作，最后判断输出是否符合指令。判断标准很难写死，只能靠人。人类写指令，让模型输出，再排序哪个好哪个不好，训练一个奖励模型。这就是RLHF。

**吴翼说，RLHF的主要价值是让模型好用，它不能让模型更聪明。**它像一个聪明的清北学生经过实习，变成公司里能打的员工。Scaling law讲的是更多算力、更多数据、更大模型带来智力提升，RLHF不在那条曲线上。曲凯提到，有OpenAI的人认为RLHF本质是对齐，算不上真正的强化学习。吴翼承认两者有区别，但把历史线接得很清楚。

第二曲线来自慢思考。Ilya想，人在复杂问题前会先思考，传统大模型却立刻next token给出答案。OpenAI最后跑通的办法是让模型多吐字，先写一万个字，再说答案，这叫thinking token，也叫inference-time thinking。想10秒、30秒、100秒，答案会更准。为什么多吐字会work，到今天也没有理论解释。OpenAI从立项到做出来，花了一年半到两年。

训练慢思考又回到RL。中间吐什么字不限制，只看最后答案对不对。问题在于探索空间太大，输出可能几十万token，人类没法评判“想了1万字”和“想了2万字”哪个推理过程更好。OpenAI的办法很简单：只用有标准答案的问题训练，数学题算出X=3就对了，X=4就不对。模型可以自由发散，答案可检验。

这也带来一个常见毛病。吴翼提到，DeepSeek的1+1会想半天，因为它没有被限制思考过程。Anthropic的thinking控制做得很好，给1+1就不想，给24点会想10秒。他也不知道Anthropic背后是不是藏了几个模型，OpenAI的o3就提供low、medium、high三档。DeepSeek用标准答案训练后能泛化到文科题，靠大模型泛化能力，最后还要用文科数据掰回来。DeepSeek的report里，最后把理科模型和人文模型合并，再做SFT和RLHF，得到一个中间位置的模型。

这段讨论把两个词分开了。RLHF解决“好不好用”，慢思考RL解决“能不能更聪明”。前者是后训练里的对齐工作，后者把RL接到推理能力上。吴翼反复强调，后者目前还处在早期，很多现象只能看结果，理论解释没有跟上。

## DeepSeek证明可做，Anthropic把思考控制做细 16:10

曲凯问，为什么说Anthropic的RL做得好。吴翼从思考控制讲起。中间推理过程很难限制，1+1想半天是常见问题。Anthropic的模型会判断问题难度，简单题不想，复杂题想一会儿。这个能力背后可能是训练得好，也可能藏了多个模型，外界不得而知。

DeepSeek的贡献是证明这条路可做。吴翼说，OpenAI从立项到发布o系列花了两年，大家觉得很难。DeepSeek团队专注，可能个把月就做出来，等于告诉行业“我回来了，灯塔就在这个方向，往前走一个月就到”。这个信心很难得。

**DeepSeek证明RL推理可做，但做好还需要好基座和好系统。**基座模型不能是小学水平，至少得是高中生，才能通过思考做大学题。RL输出长度特别长，要允许模型自由探索一万字，还要很多模型并行想、判断、回训。系统稳定性和训练效率要求很高。DeepSeek是国内最早有比较好RL系统的团队之一。

行业是否形成最优路径共识。吴翼的判断是，国内DeepSeek、字节豆包团队都在同时探索很多方向，其他团队在追赶。国内很难有一个模型全面超过o系列，大家说差不多，真正全面超过还没有。海外团队有不同belief，OpenAI还有东西没拿出来。

OpenAI的RL已经不只在做推理。deep research和operator把RL从“一个指令输出答案”推到“一个指令想一会儿、操作、看到新反馈、再想、再操作”。这是多轮交互，还要和虚拟世界交互。多轮难度高于一轮加一轮加一轮，因为模块更多。做数学题只有让AI想、判断答案、训练三个模块；做deep research或operator，至少多一个虚拟网页模块，复杂系统模块越多越容易不稳定。

曲凯问，Agent概念2023年初就有，AutoGPT那时是不是完全不具备基础。吴翼先定义Agent：传统大模型只是写字，不会对软件、硬件、网页产生任何影响；只要能对世界产生影响，就认为它是Agent。家里有个开关，大模型输出开或关，电线连过去灯就关了，这也是Agent。当下大家最关注的是复杂决策加对现实或虚拟世界的action。

AutoGPT和早期Agent框架靠prompt engineering和脚本，把不同大模型输出组合起来。OpenAI的operator和deep research改变了这一点：给一个指令，剩下每一步怎么做，由大模型端到端做。吴翼用GPT-4o画图举例，一年前可以用ComfyUI搭流程图，每一步用一个diffusion model，也能把狗穿上衣服换风格；有了强多模态模型，这些流程工作不需要了。Agent同理，强决策模型会吃掉大量prompt和流程工作。

## OpenAI三次碰壁，理解靠预训练，决策靠RL 25:11

曲凯把问题拉回历史：抛开大模型，单纯RL为什么没有做出通用Agent。吴翼讲了OpenAI的三次碰壁。

2016年，OpenAI有个项目叫Universe，也叫World of Bits。目标是通过RL在网页上买机票：打开美联航网页，输入旧金山到纽约，敲回车。几十人团队搭本机可跑的网页环境，demo很炫，最后失败，成了OpenAI第一次大规模裁员。吴翼当时问中枢的人，对方说那些人写network、写前端，也不知道能来做啥。

2019年，OpenAI机器人团队用RL控制灵巧手拧魔方。2020年，他们想做通过图像输入在桌上整理桌面，和今天具身智能公司做的事很像，报告不太成功。2021年机器人团队解散。年底，华盛顿大学团队用OpenAI自己发的CLIP，把语言和图片预训练出好表征，接到RL或收数据上，做出语言控制机器人叠衣服的demo。

**这些失败指向同一件事：RL给决策能力，给不了理解能力。**理解要靠预训练。吴翼2017年在Facebook做embodied agent，也希望通过RL做，同样失败。你需要一个好预训练模型，才能激发RL的能力。

曲凯追问，RL有奖励，最后判断机票买成功就OK，为什么一定要理解前面所有东西。吴翼说，核心是泛化。下围棋的AI不能直接下象棋，因为所有训练和推理都基于那个围棋棋盘。买机票，世界上几十家航空公司都买过又怎样，来一家新公司，你很难保证AI是记住了，还是真的看懂了网页。世界上有1亿种网页，让AI狂点理论上也可以，效率极低。当时的Agent更像死记硬背，数据不够，广度不够。

吴翼给出一个公式：**Intelligence = LLM（理解）× RL（决策），二者缺一不可。**预训练和RL是乘法关系，起码得有一个非空的基座。预训练现在依然重要。你可以在预训练时训练更好的理解、记忆、基础长程逻辑，最后加一个强RL，得到完整智能体。

> 预训练跟强化学习是一个乘法的关系。

曲凯问了一个马后炮问题：先做理解模型，再加RL决策，逻辑听起来很顺，为什么大家摸索这么多年才形成共识。吴翼说，RL不够这件事是反复试错才知道。他2018年就意识到具身智能的瓶颈在视觉和理解，于是放弃。大家花了很长时间发现真不行。第二，需要多少数据才能泛化，这是scaling law。第三，当年监督学习、对比学习、next token prediction路线之争很久，GPT-3在文本上跑出scaling law，中间有很多偶然。Ilya想做，Alec Radford说试试，这哥们够强，换菜鸟也干不出来。回到战争迷雾的年代，每一步逻辑都对，后验看才顺。

## 预训练收益变小但没停，RL刚到起步，团队要有破圈意识 34:14

曲凯问Scaling law的未来。吴翼先纠正一个流行说法：预训练收益变小了，并没有停。RL在scaling的初始阶段斜率够高，大家觉得它比较好做。一个团队从零做GPT-4很难，做一个单点突破的推理模型相对容易。

预训练还有两个方向。第一是数据，像挖矿，地表石油挖完还有页岩油，加压还能洗出数据。第二是合成数据。文本数据多，图文混在一起、前后强关系的数据少很多。训练好多模态理解模型，数据要靠构造和合成。行业从浅水区走进深水区，石油没了，现在要研究往里面加什么添加剂。第三是模型规模，RL模块已经这么复杂，1T或10T模型训练不了，怎么把模型变小也是好问题。OpenAI的mini模型做得厉害。吴翼说，蒸馏不可耻，能蒸出像o3 mini那么好的模型也不容易。

RL还在早期，能刷的榜没刷完，决策能力还不够好，智能还能提升。各家开始有特色。Claude在编程任务上受欢迎，刷分不一定比o系列强，但编程体验好。大部分人的use case是画PPT、画网页、提bug，需要多轮交互。DeepSeek最新基座模型也专注代码。走到深水区后，不同公司会有不同个性。做deep research、网页Agent可能喜欢GPT，写代码可能喜欢Claude，什么都会一点可能用另一个。

怎么判断RL训练得好。吴翼说先看指标，数学分数、代码指标要刷得足够高。过程靠炼丹，调参数、改训练算法、选数据、搭基建。他用奥数培训打比方，老师出什么题很关键，学生能力欠缺，给两道合适的题，做完就会；天天灌小学数学题，刷很久也没用。基建也关键。AReaL的7B模型两天训完，最早一版要训一周。两天迭代四次，一周只能看到一次效果，试错机会差很多。

RL训练过程很难讲。看着涨得很好，突然不涨；一直不涨，突然猛增，都有可能。DeepSeek说的顿悟时刻很难预测。判断只能看最后结果，看最难的几个指标，再看体感。指标高也不代表模型真的好，自己试了才知道。

组织架构怎么设计。吴翼认为预训练和后训练范式差别大，至少要有预训练团队和后训练团队。分工不要分得太开。做RL后训练要考虑冷启动SFT用什么数据，基座缺能力还要反馈给预训练团队补数据。多模态、语音、RLHF可以按目标区分。**AI时代团队最大的差别是每个人要有破圈意识，最好所有东西都知道，才不容易出问题。**

曲凯提到一个反常识事实：理解一张图片花费的token比生成更高。吴翼说，理解更难，核心是可控和instruction following。你没学过俄文，指令写成俄文，你学一辈子也学不会；预训练时就会俄文，后训练可以比较快教你做俄文题。画画也一样，先有能力，再讲明白就能画。生成本身都能做，给你两三张图，交互式让你生成最后结果，这才难。RL会提升理解能力，基础能力还是在预训练奠定，RL更多是激发。

## RL人才稀缺，三大分支分化，框架决定实验速度 47:38

曲凯问，现在做Agent的公司配一个懂RL的人是否合理。吴翼认为合理，至少有一个人对这件事有认知。RL门槛还很高，开源的目的就是降门槛，一两年总能降下来。大家以后可能自己微调、做RL微调，这一天会来，只是不知道多久。先储备人没错。

前两年大家讨论应用公司要不要自己做预训练，现在讨论少了。过两年模型能力、Agent能力、RL能力足够强，创业公司是否还需要自己做。吴翼不给确定答案，但给了一个创业公司视角：创业公司不能想终局思维，要想partial solution。想终局就别活了，这世界没有你的机会。AI变化这么快，切口就在终局没到来时把一件事做了。他提到一家做产品的公司，市场上没有上一款产品时，用最快方式，微调也好，调API也好，做出可用的东西，这就是创业公司的机会。

RL人才为什么稀缺。吴翼给了几个原因。论文引用数上，做CV、NLP的引用很高，RL少一个order。门槛高，机器学习问题定义简单，环境配好跑下来能复现，已经筛掉很多人，数学还更麻烦。工业界大规模使用RL的机会相对少，很多人学校做研究，没有工业级人才值。RL对工程要求非常高，很多公司业务场景少，很多人没有机会用好的基建，用工程化方式把RL scale up。

吴翼回国后做了多智能体框架、大规模强化学习框架，最近做AReaL，目的之一就是补工程化人才缺口，做开源降门槛。2016年AlphaGo带动一波热度，后面RL热度下去，OpenAI也碰壁，很多RL人转向机器人。吴翼2014年读PhD，运气好在伯克利，北美RL高校大本营之一。几位教授推动all in RL，伯克利合作风气好。他第一篇工作Value Iteration Network拿了NIPS2016最佳论文，当时敲Peter Abbeel的门，说想试试，Peter让他挑一个项目，他挑了这个。OpenAI早期和伯克利联系强，他引用最高的工作和OpenAI同事一起做。他把这些归为运气，在那个地方，有机会选。

图灵奖颁给RL的两位先驱，萨顿本科心理学。吴翼说，很多做AI的人本科不一定是科班，RL长期冷门，美国小众领域多年前就有人研究。阿尔伯塔、UMass Amherst在国人看来不是主流名校，有人就在犄角旮旯里做，最后做成了。国内公司想招或培养RL人，吴翼不太想给统一建议，不同公司阶段需要的人不同，大公司可能看研究背景，小公司可能看动手能力。培养时，他看重没有边界意识、愿意学、发自内心想学、愿意动手的人，这样的人可培养。

RL未来路线。吴翼说，主干还是scaling，提升智能的law没停，会和预训练结合。之后会分叉。DeepSeek泛化做得好，哲学题也能想一想；Claude代码做得好；OpenAI的Agent做得好，deep research从头到尾不要写复杂代码，但要很多次交互调函数。泛化、代码、Agent是三个大分支，都能长出大东西。决策的scaling law在用户端体现为结果准确率、交互体验、多轮提问能力。Claude调bug会问你环境包、依赖是什么，普通模型直接说“我帮你看看”，差别就在这里。Agent要适时提问，做个性化选择，水很深。

框架对RL意味着什么。吴翼说两件事。第一，RL是scaling law，要能scale up，得有一个框架在1万张卡上做大规模RL训练。要宰牛，先得有牛刀。很多公司框架不开源。第二，要快。复杂系统模块多，交互模式不可预测，效率差10倍不夸张。算法迭代阶段，能做多少实验就有多少improvement。infra快10倍，就能多做10倍实验。AReaL-boba是第二个版本，跟蚂蚁研究院合作，开源源代码、数据、评测脚本，7B上AIME24做到61.9。7B、32B能稳定训练，32B还没达到想要的效果。团队内部有更快的版本，没做到满意，后面会发下一个版本。

国内海外差距。吴翼3月去GDC和美国朋友聊，认为美国还是领先，尤其探索性工作。OpenAI和Claude有明显的大规模RL环境训练Agent能力，Claude的模型肯定是RL出来的，OpenAI的deep research也说了。国内推理做得可以，代码做得也可以，做到那么细有差距。DeepSeek一直没做多模态，团队小，资源有限，把一件事做到极致，吴翼很佩服。OpenAI开始slowdown，越来越像Google。Google目标明确时做得也挺好。总体差距还在，他给的态度是谨慎乐观。

行业里有一个需要被听到的共识。吴翼说，RL的数据、基建非常重要。很多人觉得工程是工程，算法是算法，RL里不能这么分。基建为算法服务，很难标准化定义要什么，需要能做工程的算法同学，需要很多时间打磨。**基建远大于所有，数据大于算法。**算法只要有一两个能判断对错的人就可以。团队能搭出很牛的基建，算法不会做得差。DeepSeek证明了这件事，数据也很好。

> 我觉得基建远大于所有基建。

## Diversity-driven RL与最大熵人生 1:06:05

最后一个问题回到人生。研究决策和路径的方法，能不能泛化到人身上。吴翼提到一套他喜欢但引用不高的论文，diversity-driven reinforcement learning。传统RL只要赢，一旦发现赢的策略，就停在那里重复。踢足球，中路带球单刀能赢，就每次都单刀，这是最efficient最稳定的方法。人玩游戏会腻，会想换短传渗透、传中、头球。这是人生的样子。

Diversity这件事有意思。人之所以为人，因为有不同的人，有diversity追求，一定要跟你不一样，才导致大家有不一样的生活和决策。曲凯提到之前录过一期德扑主题的播客，嘉宾说最好的牌手越来越趋同，大家都在学AI，游戏变得没意思。吴翼喜欢那个系列的工作：让AI在RL时加constraint，不光reward要高，还要跟之前找到的所有solution都不一样。模型会自然发现一些很好玩的东西，虽然不知道有什么用。

他观察到很多学生喜欢去风险最低的路径。有学生说去美国有签证风险，要保研，保研是稳妥选择。吴翼觉得，20岁的年纪做所有事情都是对的，但你只有去选，才有机会。他在伯克利读书，如果不去敲Peter的门，不会有机会选；如果不回国看一看，不会有后来的人生经历。他建议想想diversity-driven RL，**追求一种最大熵的生活**，主动和不确定的世界交互，才能找到自己的奖励函数。

> 可能就追求一种最大熵的生活。

曲凯问，RL在仿真世界可以无限次试错，人没有这种条件。吴翼说，RL理论上无限次，所以没有后悔情绪。人经常后悔，没选的东西总觉得可能更好。选择之后期望会变高，V也变大，大概率变好，小概率变差。大家恐惧小概率变差，不愿意选。差其实差不到哪里去，不选就永远不会explore，会在local optima里出不来。跳一跳，大不了再跳回来。人生怎么着也能选三四次。

奖励函数中途改变怎么办。吴翼喜欢人机合作和多智能体研究。跟人一起玩Overcooked做菜，AI要猜人想干嘛，才能合作。这是information seeking的过程，只有去试、有交互，才有signal，才知道reward是什么。跟不确定的世界交互，要active seek。吴翼说，有时并非先找到目标再去做，做的过程当中再找。读书时判断未来只能判断三年，现在最多一年半。他劝学生别先读个博再想，六年过去，预测没有意义。

节目最后，吴翼宣传了AReaL。全称是Ant Reasoning Reinforcement Learning，和蚂蚁研究院一起做的强化学习训练框架，已经开源。AReaL-boba是第二个版本，源代码、数据、评测脚本全部开放。7B尺寸上用RL做到SOTA，AIME24在7B模型上公开汇报60以上，具体是61.9。他希望想尝试RL的人来用这个框架，后面会持续发布，完全开源，欢迎去GitHub点赞。

把整期节目收成几句可带走的判断。Agent热里，懂RL的人确实稀缺，团队至少要有一个人能判断RL训练的对错，越早储备越好。RL的竞争不只拼算法，基建决定实验速度，数据决定上限，算法只要有人能判断方向。预训练和RL是乘法，基座空了，RL再强也激不出来。对个人，吴翼给的建议是主动和不确定的世界交互，先做起来，在交互里找奖励函数，追求高熵，别一开始就把自己锁在风险最低的局部最优里。