我是这样用 RL + LLM 做 Agent 的｜对谈 Pokee AI 创始人朱哲清 Bill

2024 年 12 月，朱哲清（Bill）从 Meta 离职。他在那里待了七年半，最后几年是应用强化学习组的负责人，把 RL 这套框架推进到广告竞价和推荐系统里，同时还在斯坦福读完了强化学习方向的博士，导师是 Benjamin Van Roy。出来之后他做了 Pokee AI，一个用强化学习加语言模型做 Agent 的创业公司。

曲凯这次把他请到 42 章经，聊的是一条和主流叙事不太一样的路线。市面上大多数 Agent 是「语言模型加 RAG 加工程编排」，Bill 的做法反过来：决策核心是一个只有一千多万参数的强化学习模型，语言模型退到外围，负责把人类需求翻译成抽象动作、把结果翻译回人话。这套东西在电商场景里已经跑出了公测产品，训练一个月花了不到一万美金。

这期对话把强化学习和大模型的关系讲得比大多数科普清楚：为什么语言模型做不了多步规划，RL 到底在算什么，Agent 的市场格局卡在哪，以及一个 2025 年的判断。下面按时间顺序整理。

从 Meta 广告系统里长出来的 RL 经验 0:00:48

Bill 在 Meta 的前三年做的是 to B 业务的机器学习推荐系统，之后转向强化学习，参与了 Meta 第一批 RL 应用之一：广告折扣上的决策优化。这段经历的价值在于，它面对的是真实业务里「action 之间互相影响」的复杂系统，和实验室里的游戏环境完全不同。

他提到 RL 在 Meta 用得最好的场景有两个特征。一是可以尝试的空间足够大，二是优化的不是单一场景的结果，而是总体结果。广告竞价就是典型：某几个竞价上做得没那么好，但另一些竞价上让用户有 20% 到 30% 的提升，总体广告效率就上去了。RL 算的是期望值，不是每个局部的最优解。

另一个例子是 Facebook 上针对新用户的探索型推荐。用 bandits 的 exploration 算法，对那些兴趣点不清楚的用户做探索式推荐，engagement 有几十个百分点的提升。普通推荐算法面对新用户时不知道他喜欢什么，不确定性很大，用户很快就流失了。

反过来，如果所有 action 都是单一的、结果已知的纯预测问题，RL 在里面不会有什么太大作用。这条边界 Bill 说得很清楚。

RL 为什么在 2024 年重新变热 3:06

2016 年 AlphaGo 之后，强化学习在游戏环境里一路突破，然后沉寂了很久。核心痛点是：游戏环境可以无限次交互拿结果，真实环境做不到。2020 年前后 GPT 系列起来，一批 decision transformer 的工作出来说，规划问题也许用 transformer 做模仿学习就够了，不需要 RL。

转折发生在更复杂的规划和推理问题上。Bill 的判断是，只靠过往经验和一定程度的模仿学习，已经不足以完成这类任务。OpenAI 做 o1 时的思路，业界普遍猜测是在 inference 阶段用了 MCTS 这类探索型规划算法，目的是找到预训练和后训练数据里没有的能力，通过搜索去探索未知路径。

他引了一位 OpenAI 研究员的说法，大意是发现 RL 非常 powerful 之后，思考问题的方式全面 RL 化了。Bill 自己的看法是：RL 和大模型不是平行的两种技术，RL 是一种学习方式，可以垂直地叠在 transformer 之上。语言模型给了 RL 一个对世界的基础理解，RL 再去产生更强的交互能力。过去 RL 需要专门设计架构来理解环境和 action，现在这些可以用语言和 embedding 重构，门槛降了一大截。

一个 Agent 的完整链路：RL 做决策，LLM 做翻译 6:05

Bill 描述了他们的技术架构。用户或终端给 Agent 一个需求，系统先解构：目标是什么，可以采取哪些措施，当前处在什么状态，需要几步完成。接下来 RL 上场，尝试「先做措施一，再做措施三，再做措施四」，算出成功概率，再换一条路径试，找到最容易达到结果的路径。

拿到结果之后，语言模型负责重写成人能读懂的东西。

这里有个关键区分：action 是否被完整定义。供应链问题里 action 是完全定义的，货物只能从 A 点派到 B 点，直接搜索就行。解数学题这类 action 没有被完全定义，就需要语言模型辅助，先生成一个结果，评估这个结果好不好，卡住了再倒推回来换一条路。

没有语言模型的时候，问题在于系统不知道哪条路径最好，可能永远卡在同一条路径上打转。语言模型本身也没法验证，它基于数据集训练，只有「一根筋」，探索方式几乎完全随机，效率很低。

Bill 用吃饭打比方。三家想去的店，一家每周去五次，一家去过一次非常差，一家从没去过。想知道自己最喜欢哪家，理性选择是去第三家，因为对它不确定性最高。RL 做的就是这个：找到不确定性在哪里，优先探索那里，更快找到最优路径。语言模型则是随机在三家里选。

RL 解的是平行宇宙问题 10:13

曲凯提到一部德剧，讲二战如果德国日本胜利世界会怎样。Bill 说这个类比很准：强化学习要解决的就是平行宇宙的问题。某件事永远没发生过，将来可能也不会发生，但你要思考如果做了这一系列事情会发生什么。

它不是真的在后台试了一遍，而是根据过往所有决策数据，算一个条件概率下的 value。你走过五条路径，用的是不同决策方式，把角色稍微偏一偏，能得到的结果是什么。它是概率性的期望，条件在自己的决策方式上。

语言模型没有这个能力。它的决策方式是固定的，不会变，所以它无法推理「换一个策略会发生什么」。

曲凯总结成理科生和文科生的差别。这个说法不算严谨，但抓住了要点：一个在算条件概率下的期望，一个在按固定模式生成下一个 token。

至于 RL 加 LLM 是不是公认最好的路线，Bill 说并没有统一。李飞飞团队最新的 Agent 论文更偏向以模仿学习为核心。也有人想彻底推翻 transformer，比如做持续学习的方向，理由是语言模型在数据流无限进入的情况下不具备永久训练的能力，模型会饱和。但实际应用层面，大多数人还是希望把语言模型和某种规划型模型组合起来，快思考加慢思考。

Bill 的路线更彻底：一个完全不同的决策模型，用不同算法训练，结果再反馈给语言模型，形成组合型 Agent。他打了个比方，大脑每个区域的思维方式不一样，RL 的训练像多巴胺刺激，多巴胺越高做的事越好，决策跟着最终结果走；语言模型是知识区，存下来怎么回给你。

为什么语言模型做不出规划型 Agent 18:42

曲凯问了个具体需求：到上海出差要去三个地方，再跑一趟杭州，两天内回北京，怎么安排。Bill 说这正是他创业 pitch 投资人的第一个 demo，做单一城市下多天多酒店多地点的规划问题。

2024 年上半年一堆黑客松里都有 AI 旅游、AI 行程规划的项目，但基本做不出来。原因在于复杂度。短途规划语言模型能完成，多重规划就撞上平行宇宙问题：规划到第 11 步发现这个城市卡住了，往前推也不知道推到哪，每多一步复杂度指数级上升。

需要的不是穷举能力，是搜索能力。要理解每一步措施对未来产生的影响，再在考虑未来的前提下产生下一步措施。语言模型基于过去预测下一个 token，不可能先知道未来会发生什么再推理下一步决策。

RL 在这里能起作用：算做完这件事之后对未来的期望，如果某个措施做完期望变成 0，就知道这条路走不通，换别的。语言模型在这里的角色是把人类语言和具体措施变成抽象动作，让 RL 去做决策。

曲凯追问：按这个逻辑，RL 才是核心，语言模型只是输入输出的翻译？Bill 的回答是，他们最新发布的产品里，所有决策全是 RL 做的，外部所有接口是语言模型架构。

一个电商 Agent：1500 万参数，一个月训练 23:35

Pokee AI 2024 年发布了电商方向的 Agent，架在 Shopify 架构上。规模说出来有点反直觉：1500 万参数的 RL 模型加一个 10B 不到的语言模型，训练不到一个月，掌握了 Shopify 底层的几十个 API，具备搜索、推荐、客服的基础能力。放到任何一个 Shopify 网站上，不需要特殊个性化训练。

它替代的是什么？Shopify 应用市场有几千个插件，搜索要装搜索插件，某个品类还要再装一个，推荐一个，客服一个，加起来几十个，每个都要付费。这些插件本质上是在 Shopify 底层 API 之上插了一层收钱。Pokee 的 Agent 直接学底层 API。

学习方式是 self-play：把 API 从具象变成抽象 action，RL 在自我对弈中学会这些 API 能解决什么问题、什么时候调用、参数用哪些。语言模型在这里干三件事：判断做得好不好、生成需求、提供 embedding 把 API 从文字变成抽象向量。

曲凯的类比是「招了一个网站负责人」。Bill 认同。前端除了产品展示页面，搜索、推荐、客服、促销这一系列 UI 都由 Agent 基于模板生成，后台数据一致，所以能联动。

2024 年底他们开放了 50 个电商商家的公测，原本 14 天免费试用延长到 30 天。正在做的功能包括商户和用户通过 Agent 议价、自动上线折扣、用 prompt 改变整个网站的推荐和搜索策略。

圣诞促销这个例子，把成本差距说清楚了 34:07

Bill 举了个一年后的场景。圣诞节要搞促销，商家要做三件事：给圣诞相关产品打折，修改运费和运输时间，把首页推荐和搜索全换成圣诞主题。

现在怎么做？找销售换首页内容，每个商品写介绍，找工程师改搜索排序，找第三方推荐公司手动改推荐，改折扣要工程师手动往数据库里写。有些电商每个季度花上百万美金就为干这件事，还要打电话发邮件等人回复，对方可能还在放假。

成型之后，商家直接写一段话：现在圣诞节，首页换成圣诞主题，推荐搜索结果往圣诞偏，帮我把这三个产品和 promotion code 上线到数据库。五分钟搞定，结果可能还更好。

成本方面，Bill 说训练一个月不到一万美金，推理成本也非常低，RL 模型可以在 CPU 上跑。有投资人 challenge 他们说这不是大模型公司的故事，他的回应是：为什么大家都要追捧很大的大模型？能解决问题就好，不一定要把榔头造成核武器，机枪能解决的问题没必要上核弹。

我们从来不说我们是大模型公司，我们是 Agent 公司，强推理和规划型的工具使用 Agent 公司。

API 杀手，以及 2025 年的市场判断 40:33

Pokee 的路线图是把电商场景推下去，然后把 API 开放给非 Shopify 用户。再往后横跨旅行、教育、健身，最后进入法律、金融，金融类 API 特别多，是好的应用场景。曲凯说这有点像「API 杀手」：哪个领域 API 越开放，就先进去让 Agent 学会用，然后任何人直接靠 API 完成很多任务。

Bill 估计，如果真做成了，Shopify 那几千个插件里可能有百分之四五十到五六十都没用了，纯工程类的东西基本可以被替代掉。

关于 2025 年的硅谷 AI 市场，他的观察是：投资人对 Agent 很有兴趣，做垂类 Agent 融资概率很高。垂类 Agent 的定义接近他说的这种，能取代大多数内部工程解决的问题。当前最大的难题是准确性、可依赖性，以及怎么盈利。用 GPT-4 级别的模型完成同样的能力，价格是他们的 1000 倍，不可能按他们的价格收费。

竞争壁垒在于：即便别人把语言模型的思维路径压缩到极致放到单一垂类上，Pokee 的方案不需要基础语言模型的价格，成本仍然更低。

市场层面，钱不缺。他形容 AI 投资像雨后春笋般往外冒，规模大多在千万到上亿美金，活跃度很高。缺的是标的，因为赛道非常乱，大个子太多，小个子不知道怎么生存。投资人会更多关注小型市场，找偏 science、偏 supply chain 这类做得少的场景，看有没有突破性公司。

至于「Agent 元年」的说法，Bill 不认。这个概念很多年前就有。他的判断是 2025 年会有很多公司真的把 Agent 做出来并产生实际结果，真正由 Agent 采取措施、完成任务。

对读者来说，这期对话最值得带走的是两个判断。一是语言模型的短板在算法层不在架构层，o1 没有改 transformer 架构，改的是训练算法，所以「加个规划模块」这件事有工程上的可行性。二是 Agent 的商业模式可能不在模型大小，而在对 API 的整合能力：现实世界里真正需要从零写代码的场景越来越少，大多数工作是组合各种 API，谁能把这件事做得可靠、便宜，谁就有位置。