# 我是这样用 RL + LLM 做 Agent 的｜对谈 Pokee AI 创始人朱哲清 Bill

> 42章经 精读

- 发布日期：2025-01-18
- 主持：曲凯
- 原节目：https://www.xiaoyuzhoufm.com/episode/678b10ecfd38652366dc9038
- 网页版：https://42zhangjing.qiaomu.ai/ep/678b10ecfd38652366dc9038.html
- 精读字数：约 4845 字（阅读约 11 分钟）

> 本文为 42zhangjing.qiaomu.ai 基于节目转写的 AI 整理精读，不是逐字稿；引用请注明出处并链接网页版。

2024 年 12 月，朱哲清（Bill）从 Meta 离职。他在那里待了七年半，最后几年是应用强化学习组的负责人，把 RL 这套框架推进到广告竞价和推荐系统里，同时还在斯坦福读完了强化学习方向的博士，导师是 Benjamin Van Roy。出来之后他做了 Pokee AI，一个用强化学习加语言模型做 Agent 的创业公司。

曲凯这次把他请到 42 章经，聊的是一条和主流叙事不太一样的路线。市面上大多数 Agent 是「语言模型加 RAG 加工程编排」，Bill 的做法反过来：决策核心是一个只有一千多万参数的强化学习模型，语言模型退到外围，负责把人类需求翻译成抽象动作、把结果翻译回人话。这套东西在电商场景里已经跑出了公测产品，训练一个月花了不到一万美金。

这期对话把强化学习和大模型的关系讲得比大多数科普清楚：为什么语言模型做不了多步规划，RL 到底在算什么，Agent 的市场格局卡在哪，以及一个 2025 年的判断。下面按时间顺序整理。

## 从 Meta 广告系统里长出来的 RL 经验 0:00:48

Bill 在 Meta 的前三年做的是 to B 业务的机器学习推荐系统，之后转向强化学习，参与了 Meta 第一批 RL 应用之一：广告折扣上的决策优化。这段经历的价值在于，它面对的是真实业务里「action 之间互相影响」的复杂系统，和实验室里的游戏环境完全不同。

他提到 RL 在 Meta 用得最好的场景有两个特征。一是可以尝试的空间足够大，二是优化的不是单一场景的结果，而是总体结果。广告竞价就是典型：某几个竞价上做得没那么好，但另一些竞价上让用户有 20% 到 30% 的提升，总体广告效率就上去了。**RL 算的是期望值，不是每个局部的最优解。**

另一个例子是 Facebook 上针对新用户的探索型推荐。用 bandits 的 exploration 算法，对那些兴趣点不清楚的用户做探索式推荐，engagement 有几十个百分点的提升。普通推荐算法面对新用户时不知道他喜欢什么，不确定性很大，用户很快就流失了。

反过来，如果所有 action 都是单一的、结果已知的纯预测问题，RL 在里面不会有什么太大作用。这条边界 Bill 说得很清楚。

## RL 为什么在 2024 年重新变热 3:06

2016 年 AlphaGo 之后，强化学习在游戏环境里一路突破，然后沉寂了很久。核心痛点是：游戏环境可以无限次交互拿结果，真实环境做不到。2020 年前后 GPT 系列起来，一批 decision transformer 的工作出来说，规划问题也许用 transformer 做模仿学习就够了，不需要 RL。

转折发生在更复杂的规划和推理问题上。Bill 的判断是，只靠过往经验和一定程度的模仿学习，已经不足以完成这类任务。OpenAI 做 o1 时的思路，业界普遍猜测是在 inference 阶段用了 MCTS 这类探索型规划算法，目的是找到预训练和后训练数据里没有的能力，通过搜索去探索未知路径。

他引了一位 OpenAI 研究员的说法，大意是发现 RL 非常 powerful 之后，思考问题的方式全面 RL 化了。Bill 自己的看法是：**RL 和大模型不是平行的两种技术，RL 是一种学习方式，可以垂直地叠在 transformer 之上。**语言模型给了 RL 一个对世界的基础理解，RL 再去产生更强的交互能力。过去 RL 需要专门设计架构来理解环境和 action，现在这些可以用语言和 embedding 重构，门槛降了一大截。

## 一个 Agent 的完整链路：RL 做决策，LLM 做翻译 6:05

Bill 描述了他们的技术架构。用户或终端给 Agent 一个需求，系统先解构：目标是什么，可以采取哪些措施，当前处在什么状态，需要几步完成。接下来 RL 上场，尝试「先做措施一，再做措施三，再做措施四」，算出成功概率，再换一条路径试，找到最容易达到结果的路径。

拿到结果之后，语言模型负责重写成人能读懂的东西。

这里有个关键区分：action 是否被完整定义。供应链问题里 action 是完全定义的，货物只能从 A 点派到 B 点，直接搜索就行。解数学题这类 action 没有被完全定义，就需要语言模型辅助，先生成一个结果，评估这个结果好不好，卡住了再倒推回来换一条路。

没有语言模型的时候，问题在于系统不知道哪条路径最好，可能永远卡在同一条路径上打转。语言模型本身也没法验证，它基于数据集训练，只有「一根筋」，探索方式几乎完全随机，效率很低。

Bill 用吃饭打比方。三家想去的店，一家每周去五次，一家去过一次非常差，一家从没去过。想知道自己最喜欢哪家，理性选择是去第三家，因为对它不确定性最高。RL 做的就是这个：找到不确定性在哪里，优先探索那里，更快找到最优路径。语言模型则是随机在三家里选。

## RL 解的是平行宇宙问题 10:13

曲凯提到一部德剧，讲二战如果德国日本胜利世界会怎样。Bill 说这个类比很准：**强化学习要解决的就是平行宇宙的问题。**某件事永远没发生过，将来可能也不会发生，但你要思考如果做了这一系列事情会发生什么。

它不是真的在后台试了一遍，而是根据过往所有决策数据，算一个条件概率下的 value。你走过五条路径，用的是不同决策方式，把角色稍微偏一偏，能得到的结果是什么。它是概率性的期望，条件在自己的决策方式上。

语言模型没有这个能力。它的决策方式是固定的，不会变，所以它无法推理「换一个策略会发生什么」。

曲凯总结成理科生和文科生的差别。这个说法不算严谨，但抓住了要点：一个在算条件概率下的期望，一个在按固定模式生成下一个 token。

至于 RL 加 LLM 是不是公认最好的路线，Bill 说并没有统一。李飞飞团队最新的 Agent 论文更偏向以模仿学习为核心。也有人想彻底推翻 transformer，比如做持续学习的方向，理由是语言模型在数据流无限进入的情况下不具备永久训练的能力，模型会饱和。但实际应用层面，大多数人还是希望把语言模型和某种规划型模型组合起来，快思考加慢思考。

Bill 的路线更彻底：一个完全不同的决策模型，用不同算法训练，结果再反馈给语言模型，形成组合型 Agent。他打了个比方，大脑每个区域的思维方式不一样，RL 的训练像多巴胺刺激，多巴胺越高做的事越好，决策跟着最终结果走；语言模型是知识区，存下来怎么回给你。

## 为什么语言模型做不出规划型 Agent 18:42

曲凯问了个具体需求：到上海出差要去三个地方，再跑一趟杭州，两天内回北京，怎么安排。Bill 说这正是他创业 pitch 投资人的第一个 demo，做单一城市下多天多酒店多地点的规划问题。

2024 年上半年一堆黑客松里都有 AI 旅游、AI 行程规划的项目，但基本做不出来。原因在于复杂度。短途规划语言模型能完成，多重规划就撞上平行宇宙问题：规划到第 11 步发现这个城市卡住了，往前推也不知道推到哪，每多一步复杂度指数级上升。

**需要的不是穷举能力，是搜索能力。**要理解每一步措施对未来产生的影响，再在考虑未来的前提下产生下一步措施。语言模型基于过去预测下一个 token，不可能先知道未来会发生什么再推理下一步决策。

RL 在这里能起作用：算做完这件事之后对未来的期望，如果某个措施做完期望变成 0，就知道这条路走不通，换别的。语言模型在这里的角色是把人类语言和具体措施变成抽象动作，让 RL 去做决策。

曲凯追问：按这个逻辑，RL 才是核心，语言模型只是输入输出的翻译？Bill 的回答是，他们最新发布的产品里，所有决策全是 RL 做的，外部所有接口是语言模型架构。

## 一个电商 Agent：1500 万参数，一个月训练 23:35

Pokee AI 2024 年发布了电商方向的 Agent，架在 Shopify 架构上。规模说出来有点反直觉：1500 万参数的 RL 模型加一个 10B 不到的语言模型，训练不到一个月，掌握了 Shopify 底层的几十个 API，具备搜索、推荐、客服的基础能力。放到任何一个 Shopify 网站上，不需要特殊个性化训练。

它替代的是什么？Shopify 应用市场有几千个插件，搜索要装搜索插件，某个品类还要再装一个，推荐一个，客服一个，加起来几十个，每个都要付费。这些插件本质上是在 Shopify 底层 API 之上插了一层收钱。Pokee 的 Agent 直接学底层 API。

学习方式是 self-play：把 API 从具象变成抽象 action，RL 在自我对弈中学会这些 API 能解决什么问题、什么时候调用、参数用哪些。语言模型在这里干三件事：判断做得好不好、生成需求、提供 embedding 把 API 从文字变成抽象向量。

曲凯的类比是「招了一个网站负责人」。Bill 认同。前端除了产品展示页面，搜索、推荐、客服、促销这一系列 UI 都由 Agent 基于模板生成，后台数据一致，所以能联动。

2024 年底他们开放了 50 个电商商家的公测，原本 14 天免费试用延长到 30 天。正在做的功能包括商户和用户通过 Agent 议价、自动上线折扣、用 prompt 改变整个网站的推荐和搜索策略。

## 圣诞促销这个例子，把成本差距说清楚了 34:07

Bill 举了个一年后的场景。圣诞节要搞促销，商家要做三件事：给圣诞相关产品打折，修改运费和运输时间，把首页推荐和搜索全换成圣诞主题。

现在怎么做？找销售换首页内容，每个商品写介绍，找工程师改搜索排序，找第三方推荐公司手动改推荐，改折扣要工程师手动往数据库里写。有些电商每个季度花上百万美金就为干这件事，还要打电话发邮件等人回复，对方可能还在放假。

成型之后，商家直接写一段话：现在圣诞节，首页换成圣诞主题，推荐搜索结果往圣诞偏，帮我把这三个产品和 promotion code 上线到数据库。五分钟搞定，结果可能还更好。

成本方面，Bill 说训练一个月不到一万美金，推理成本也非常低，RL 模型可以在 CPU 上跑。有投资人 challenge 他们说这不是大模型公司的故事，他的回应是：为什么大家都要追捧很大的大模型？能解决问题就好，不一定要把榔头造成核武器，机枪能解决的问题没必要上核弹。

> 我们从来不说我们是大模型公司，我们是 Agent 公司，强推理和规划型的工具使用 Agent 公司。

## API 杀手，以及 2025 年的市场判断 40:33

Pokee 的路线图是把电商场景推下去，然后把 API 开放给非 Shopify 用户。再往后横跨旅行、教育、健身，最后进入法律、金融，金融类 API 特别多，是好的应用场景。曲凯说这有点像「API 杀手」：哪个领域 API 越开放，就先进去让 Agent 学会用，然后任何人直接靠 API 完成很多任务。

Bill 估计，如果真做成了，Shopify 那几千个插件里可能有百分之四五十到五六十都没用了，纯工程类的东西基本可以被替代掉。

关于 2025 年的硅谷 AI 市场，他的观察是：投资人对 Agent 很有兴趣，做垂类 Agent 融资概率很高。垂类 Agent 的定义接近他说的这种，能取代大多数内部工程解决的问题。当前最大的难题是准确性、可依赖性，以及怎么盈利。用 GPT-4 级别的模型完成同样的能力，价格是他们的 1000 倍，不可能按他们的价格收费。

竞争壁垒在于：即便别人把语言模型的思维路径压缩到极致放到单一垂类上，Pokee 的方案不需要基础语言模型的价格，成本仍然更低。

市场层面，钱不缺。他形容 AI 投资像雨后春笋般往外冒，规模大多在千万到上亿美金，活跃度很高。缺的是标的，因为赛道非常乱，大个子太多，小个子不知道怎么生存。投资人会更多关注小型市场，找偏 science、偏 supply chain 这类做得少的场景，看有没有突破性公司。

至于「Agent 元年」的说法，Bill 不认。这个概念很多年前就有。**他的判断是 2025 年会有很多公司真的把 Agent 做出来并产生实际结果，真正由 Agent 采取措施、完成任务。**

对读者来说，这期对话最值得带走的是两个判断。一是语言模型的短板在算法层不在架构层，o1 没有改 transformer 架构，改的是训练算法，所以「加个规划模块」这件事有工程上的可行性。二是 Agent 的商业模式可能不在模型大小，而在对 API 的整合能力：现实世界里真正需要从零写代码的场景越来越少，大多数工作是组合各种 API，谁能把这件事做得可靠、便宜，谁就有位置。