锐评国模与 Neo Lab，畅谈 RL 人生与 RLaaS | 对谈 Mind Lab 首席科学家骁腾

马骁腾（Pony）的履历里有一处空白：他没在任何一家模型厂实习过，没在 OpenAI、Anthropic、智谱、月之暗面的机房里训过一天模型。2025 年 10 月，他和陈凯杰、Andrew 一起创办 Mind Lab，做后训练和强化学习相关的业务。到录这期播客时，他们已经在 DeepSeek 的架构上训 LoRA，做出了一套能在一个 base model 上挂 100 万个 LoRA 做推理的系统，也开始接企业客户的后训练项目。

曲凯在节目里把问题问得很直接：没在厂里待过，凭什么能训好模型？马骁腾的回答绕回了博士期间的一段苦日子。2018 年前后，导师让他做一个五千万级别的项目，在一万核 CPU 加一百张 V100 的集群上做大规模对战训练。那时候 PyTorch 还在 0.3、0.4 的早期版本，Ray 也是 0.2、0.3，他就在这套东西上摸爬滚打。按他的说法，今天训大模型面对的问题本质没变，还是 reward hacking、还是怎么做更好的 simulator、怎么设计 reward 和 benchmark，只是网络变大了、表征能力变强了、做实验变贵了。

这期播客聊的范围很宽：一个 RL 研究者的人生选择、对国产模型逐家的锐评、Neo Lab 这个标签到底意味着什么、Mind Lab 从 Macaron 到 RLaaS 的转型账本，以及他最近最关心的 continual learning。马骁腾说话不绕，评价同行时也不留情面。曲凯在节目开头说，这期对他们来说打破了不少固有认知。

做 RL 学到的三件事，后来变成了人生哲学 3:46

马骁腾说，RL 里有些非常基本的概念，现在变成了指导他做人生规划的东西。他数了三件。

第一件是 exploration 和 exploitation 的平衡。早期做 Atari 小游戏，算法会随机选 10% 的动作。这 10% 看上去极其低效，但不做这个随机探索，就到不了最优解。今天训大模型控制熵也是同一个道理，训得过猛、熵掉下去，泛化性就变差。他把这个搬到生活里：不跳出既定思维去做一些自己觉得有意义的事，就会永远困在 local optimal 里。所以他自称 90 分主义者，一件事做到 90 分，就把剩下 10% 的精力拿去 explore something new。

第二件是 policy 和 value 的对偶关系。RL 里有 policy iteration 和 value iteration 两个流派，路径不同，但都要求值和策略保持一致。不一致，要么是策略更新晚了，要么是值更新得不够。他从中读出的是知行合一：不停更新自己的判断，做出判断后一定要去 collect experience，用真实结果反过来修正判断。

第三件是折扣因子。GRPO 是单步决策，问一个问题回答一次，而人生是 single pass，一条非常非常长的轨迹。折扣因子决定 agent 的视野，0.99 大约对应看未来一百步。这个值不能太大也不能太小，太小就短视，太大就不收敛，因为未来充满噪声。他给自己的方案是目光放远，但要有好的 plan。

曲凯追问：个人生活里做 90 分主义者可以理解，创业总得在某个点上做到 100 分甚至更高吧？马骁腾承认这里有矛盾，解法是分工：他负责 inspiration 那一部分，陈凯杰和 Andrew 负责让整个团队变成 100 分的状态，补上他在商业化上的不足。

没在模型厂待过，凭什么训模型 10:06

读博期间马骁腾在清华叉院待过一段非常绝望的日子。组里有个同学硕士毕业时发了 30 篇论文，答辩只给 30 分钟，做了 30 页 PPT，每页讲一篇，念完标题就翻页。这位同学现在是清华的教授。他去找张春杰老师，说自己做不出比他们更好的 research，也找不到更好的角度。

张春杰的回应是：每个人的经历不一样，因为经历不同才会有不同的想法，这正是 research 的魅力。不是聪明就能做出所有 research，一定是因为之前做过某些事受到启发，才能做出新东西。

马骁腾把这句话带回了自己的研究。他博士期间做得很杂：离线强化学习、多智能体强化学习、只有影印版老书里才看得到的 tabular RL 和马尔可夫链性质、证 bound 的理论、实操项目。杂的好处是，不同老师带来的 insight 汇总在一起，能抽象出更 meta 的东西。他自己最满意的一个离线强化学习工作，灵感来自早先做的 risk sensitive RL，后来发现和另一个团队的四 g 流量工作做得非常像。这对他是不小的鼓舞。

这段经历也影响了他对 AI 的看法：人的经历塑造人，如果 AI 只有一种经历，塑造出来的就是单一的 AI，不是 diverse 的 AI。他想要的是后者。

曲凯提到业内一种说法，国内真正 RL 做得好的人比海外少很多。马骁腾没有否认顶尖人才相对稀少，但给出了一个结构性解释：硅谷的研究者更早进入 language model training，比如 PPO 的发明者 John Schulman 一直在 OpenAI，而 OpenAI 本来就是做 RL 起家的。国内缺少那种熔炉式的环境，立山头的现象比较多，大家习惯贴标签，你是做 RL 的，他是做 CV 的。在他看来这些事本质没区别，都是把知识训进模型，不同领域的方法可以换着用。

短期悲观，长期乐观：国产模型的真实位置 18:10

马骁腾对国产模型的判断是一句话：短期悲观，长期乐观。

短期悲观的直接原因是卡。海外新模型发布之后，差距又被拉开，而且靠蒸馏追的速度会慢下来。长期乐观的理由有两条。一是国产算力，他判断明年国产卡虽然还是比最领先的英伟达差一截，但会进入能用的状态，极大缓解局面。二是数据组织能力，中国人组织数据 operation 的能力远强于美国，甚至美国很多大厂的数据工作追根溯源也是中国人在做。

真正让他警惕的是范式变化。OpenAI 可能在采用更新的范式，做到一周级别的 reasoning，去做菲尔兹奖级别的数学证明。如果这种范式变化没有被突破，会比较危险。但对产业应用他不太担心，因为大部分应用发生在 1T 以下，最常用的是各种 flash 模型，300B 到 500B 这个范围能解决绝大多数办公任务。只有制药这类最前沿的事情，差距是实打实的。

谈到数据，他的判断是互联网公开数据确实用完了，现在预训练乃至中训练的数据大部分来自之前做的数据再回来蒸馏，蒸闭源模型，或者蒸模型自己产生的轨迹。让他担忧的是 Anthropic 已经在做暴力的收购行为来获取数据，收购公司后拿到那些绝对没有公开过的数据。这些数据价值多大，Anthropic 自己恐怕也不知道，但能看出它的决心。数据在用完之后，最重要的数据在企业里、在真实生活场景里、在 2C 应用里，这也是后训练为什么会有价值的原因，因为这些数据不一定流到预训练厂商那里去。

曲凯提了一个思想实验：从智谱、Kimi、字节各挖一个八九十分水平的人，组一家新模型公司，能不能半年追平现在的水平？马骁腾说很可能做到，但代价显著不如直接用现成模型，而且半年后这些厂又领先很多了，何况你未必有那么多卡和生态支持，operation 难度很大。

逐家锐评：DeepSeek、GLM、Kimi、MiniMax 30:42

海外模型里，马骁腾最看好 OpenAI 和 Anthropic，非要选一个就选 OpenAI，原因是新模型对 harness 和 reasoning 的结构做了调整，而 Anthropic 目前看没有跟进这个方向。

国内他显著看好 DeepSeek。理由是 DeepSeek 几乎 all in 在 infra 和模型的 co-design 上。他举了自己踩过的坑：在 DeepSeek 架构上训 LoRA，加上 LoRA 就会破坏它最佳的那个平衡点。他们观察到的一些设计细节也指向 infra，比如 MHC 从四路减到一路，比如 encoder 和 decoder 分离，让 encoder 未来跑在国产卡上做 prefill、decoder 跑在英伟达卡上做 decoding。这些 infra 设计带来的是极低的价格，价格便宜就能拿到更多数据、支撑更多 token 使用、让 RL 训练更快，是一个系统性的结果。

GLM 是他第二喜欢的。今年他们做了很多 GLM 的后训练，模型确实好用。GLM 看上去没有很多花哨的创新，甚至有不少合理的借鉴，但它是在 practical 地做模型，追求最实用最好用。而且在他看过的几家厂里，GLM 自己的数据生产线最完善、数据质量最高。曲凯总结：智谱最务实，DeepSeek 在 infra 上最强。

Kimi 被他归为比较 fancy 的一类，喜欢创新。MiniMax 的评价最重：信仰不够坚定。MiniMax 一度有自己非常有特色的 linear attention，这个技术后来成了大家实质上经常使用的技术，但它自己没做下去，放弃 linear attention 回到了传统技术。在马骁腾看来，MiniMax 一开始做产品做应用做得最好，最重视产品和应用，反而不是一个坚定的 all in AGI 的角色，正好和 DeepSeek 相反。

他在这里讲了一个顺序问题：DeepSeek 现在又在开产品团队、招产品的人。模型做好之后做商业化和产品是顺水推舟。MiniMax 有点搞反了，先做营收、先追求上市，虽然它是事实上第一个上市的公司，但这里面牵扯大量 tension，影响了今年的模型竞争力。他把这个规律说得更普适：一定是先有技术，技术改善到能变成工程，然后商业化，然后产品化，再推广运营，用运营结果回来迭代技术。这也解释了 Mind Lab 为什么这样 run 自己的 lab：2025 年年底还是 research 主导的状态，LoRA 这类技术已经可以商业化，他们同时在探索下一次迭代的新技术。

曲凯问 Sora 的成功靠什么。马骁腾说太显然了，就是数据，加上非常明确的场景支撑，以及确实拿了足够的算力进来。他补充了一个决策对比：做 Sora 意味着切出一部分卡不做语言模型，OpenAI 后来的决策是砍掉 Sora，把卡全部拿去做语言模型。他说这不能说是 OpenAI 语言模型成功的唯一原因，但肯定有这个因素。

Neo Lab 不是标签，是商业闭环 35:32

马骁腾对 Neo Lab 的定义很干脆：它不属于传统意义上的 lab，没有只写论文、发 paper、申请基金这样的循环，它实打实在做一件可能被商业化的事。Mind Lab 内部的口号是 Research Product Code Design，他们做算法和产品之间的对比，面向实际场景反推该做什么 research，以 research 有没有用作为判断标准，而不是以论文发没发出去为标准。

他对同行的批评也直接：很多把自己宣传成 Neo Lab 的公司没想明白，它虽然叫 lab，实际上是个公司，拿着投资人真金白银的钱，最后要 deliver 商业价值，没有尝试商业化闭环的，都不算 Neo Lab。他给听播客的投资人提了一句：看大家讲的 story 里，到底有没有一个商业闭环的逻辑。

关于 researcher 的通病，他说得很重：所有 researcher 都在犯一个致命错误，非常善于造锤子，然后拿着锤子去找钉子。新架构新技术当然 promising，但很可能变成拿着锤子找钉子，钉子是什么应该先想好。

那模型和产品到底谁先谁后？他的答案是先做 research、先做模型，再做产品，但中间有个讲究：先有一个产品 prototype 推向市场，这个阶段不要做大规模增长和投流。这样既能 collect real data，对 research 极其重要，又能从真实反馈里做实验。等跑通了，再想办法铺更多场景，发现更多问题。这是他心目中最理想的闭环。

至于 RSI，他的评价不留余地：现在完全就是一个宣传口号。从 prompt engineering 到 context engineering 再到 harness engineering，都是一个东西，只是强调的重点变了。RSI 强调的是模型训练迭代里 AI 占比变高：早期模型笨，要做 RLHF 跟人对齐；后来人的偏好用完了，只能跟有事实标准的事情对齐；现在模型聪明了，可以自己跟自己对齐，但一定是在相对标准、相对可验证的事情上。说白了 RSI 就是在高速可迭代的 infra 上做自动化数据构建的 pipeline，让模型自己找数据、造出可验证的样本再回来训练，没有什么复杂的 trick。

他不相信模型迭代可以完全不需要人，因为 reward 设计很难完全依赖模型自己。道理很简单：人到底需要什么，才是 AI 的实际准则。他举了 Andrew Ng 采访里的例子，Anthropic 很难让模型自己迭代写作能力，这也是为什么它的写作能力可能越来越差，总有人在把 AI 自己迭代的写作能力拉回来，因为模型没法判断写作对人是不是友好。第二个问题是即使实现了 RSI，也没解决数据从哪来。一家机密制药公司的数据，AI 在公开网络上从没获取过，又没有手脚去做实验，怎么可能完全自我进化。

从 Macaron 到 RLaaS：一门被误认为外包的 research 生意 44:21

曲凯问，帮别的公司训模型，和 Neo Lab 的定位矛盾吗，算转型还是延续？马骁腾说完全不矛盾，自始至终想做的就是从真实环境里 learning。外界听到帮公司做模型，第一反应是外包，一群人过去把项目结了。实际完全不一样：客户的场景非常真实，比如材料研发过程中产生的真实数据，公开语料很难获取；比如金融和医疗的数据是流式的，每天有新 query 进来，尤其是带负反馈的 query，怎么在这些 query 里构造环境、持续给模型做训练，才是现在最重要的研究问题。他们把和客户一起做模型看作 research，这个 research 又闭环回商业化，不能 deliver 价值就是无效的 research。

曲凯观察到，美国各种中间层公司，做数据的、做 infra 的，自己都在做模型、都在买卡，慢慢变成一个聚合形态。马骁腾认同这个观察，并给出解释：模型即服务、模型即产品，这个逻辑在 AI 时代没有变，驱动整个流程的模型是最重要的东西，是体验差异最大的东西，前端和 harness 都不重要。他讲了一个比喻：我们能记住历史上很多名马，赤兔什么的，但从来没记住一个名鞍，因为马鞍子都差不多，harness 就是那个马鞍子。

RLaaS 的客户画像，他分成两个维度。技术理解维度上，门槛是客户要有自己的 benchmark，没有 benchmark 就没法判断训出来的模型好不好，也没法构造环境；有了 benchmark，至少它想清楚了往哪个方向优化。再往前是刚开始尝试 agent、刚开始用模型的客户，再往下还在 RAG 阶段。另一个维度跟公司收入和 PMF 有关。最典型的高质量客户是已经实现 PMF 的创业公司，用前沿模型服务自己的场景，现在追求更适配用户、降低成本，这类客户往往有 benchmark，因为要经常换模型、发了新模型都要测。另一类是相对垂直的传统企业，符合技术条件的比较少，他们会识别其中最高质量的部分，看应用是不是真的在产生价值、对客户是不是真有帮助。他也划了底线：不会专门为了 PR 给别人做模型，那会陷入无穷的 to B 扯皮。

他还讲了一个行业规律：后训练是行业最头部公司做好做透的事情，头部公司验证了方案，整个行业会跟随；如果头部公司都没 get 到后训练的价值，那这个行业大概率不需要后训练。

账怎么算？定价基本按 token，跟算力消耗直接相关，和 Fairwinds、Tinker 这类公司一致。在最前沿的模型上 train 一次，大概几万块钱一个迭代；一个项目跑下来，经验值是人民币几十万到一百万。曲凯说这对模型训练来说很低，但对很多公司仍是不小的研发投入。马骁腾认为很值：一家融到 B 轮、账上有一两千万美金的公司，拿十万美金做这件事非常值得。

谈客户时最核心的问题是 data access，用户对数据有敏感性。大部分用户还好，觉得只要效果好就 OK，而且他们也在高速增长，即使不用 Mind Lab 训练，数据其实也流到了模型厂。另一拨人一定要求本地部署，他称之为非常中国特色，Mind Lab 也支持，但成本比 service 高。

为什么头部公司不自己建团队？马骁腾说 build 一个 infra 团队成本相当高，要找最 top 的 researcher，还要懂底下的 engineering 细节，各种 parallel 要放在一起，训对、训快、成本低，很麻烦。如果业务只是用一个小千问模型训一下，那确实不需要他们。他相信后面两种方式的公司都会有。

LoRA 的三个维度，和基因的类比 54:58

Mind Lab 做 LoRA 的起点是卡少。2025 年 3 月左右开始做 DeepSeek 的 LoRA training，当时只有四台 H800。到 9 月左右看到 Thinking Machines 发的 LoRA without regret，结论是 LoRA 在很多情况下和全量训练一样，他们很振奋，因为和自己的观察一致，进度也差不多。他们 follow Tinker 做了自己的 service，叫 Mint。

有了能训很多 LoRA 的 service 之后，他们想清楚了三件事：scale up、scale down、scale out。scale up 是尽可能把模型做大，在更大的模型上训练，智能更强；scale down 是把每个 LoRA 做小，成本更低、迭代更快；有了更小的 LoRA 就可以 scale out，训很多很多 LoRA。4 月他们做了一个系统，支持在一个 base model 上挂 100 万个 LoRA 做推理。

马骁腾在这里讲了一个他觉得很妙的生物学类比：人与人之间的基因差异其实很小，他和曲凯的差异在千分之五以下，可能千分之二以下，但两个人的表现完全不同。大部分东西承载在被 fix 的 base model 参数里，变化的是那个小的 LoRA adapter，它造就了模型 behavior 的不同。往未来看，一个 system 上挂非常多的 LoRA、呈现完全不同的 behavior，可能变成一个 agent society 一样的东西。

continual learning：给模型一个存 taste 的地方 57:21

马骁腾最近最关注的问题是持续学习。他的判断是，前面聊的很多东西还陷在 standard recipe 里，是标准菜单式的研究，而标准菜单之外有没有新的可能性，才是重要的。他认为最要紧的是给模型一个储存长期记忆和 taste 的地方。

他用自己的经验打比方：读 300 多篇论文的时候会「悟」，之后再有新论文，很快能 get 到点，也能判断它对下一篇论文有什么贡献。但他并不记得那 300 篇论文的每一个细节，他是把 taste 压缩到了一个地方，而现在的模型没有东西去储存这种 taste。要实现持续学习，一定要有一个地方存 taste，它是一个轻量、可迭代的单元，也许是类似 LoRA 的结构，但需要新的更新方式，来处理更长期的记忆，让学习变更高效。他说这据说也是 Ilya 在想的 topic。

曲凯最后抛出一个担忧：具身智能和物理世界，会不会被一两个大模型的泛化能力全部解决，大家现在做的事都白费？马骁腾承认，从智能本身来说，一个更大的模型对物理世界的理解很可能强于一个专门的具身模型，但把 GPT 6 直接用在具身上是另一回事，要解决 infra 延时、和本体交互的问题。他提到一个可能的范式：GPT 6 生成一个 JEPA，再用 JEPA 驱动模型。

至于 Anthropic 内部有人看不上 personal agent，说它只是表面的东西，马骁腾的反驳是：如果 Anthropic 不做 Claude Code，它现在绝对不能跟 OpenAI 抗衡。Claude Code 让它领先了半年，积累了大量的数据，coding 能力在这一段时间比 OpenAI 还好，OpenAI 缓了很久才追平。而说这话的人所在的公司，data 采购团队一定会采购大量 personal agent 的数据。有一个产品，是 access 最真实数据的最好方式，没有之一。

他最后讲了自己的两种假设。第一种，真的出现全知全能的 AI，整个世界的价值归零，社会秩序被粉碎后重建，那很残酷。第二种，不是全知全能，而是百花齐放，不同模型有各自擅长的事、各自的 taste 和 preference，服务不同行业不同个人，世界重新变得 colorful。他不相信第一种不会发生，但他认为自己应该为第二种情况而奋斗：不做把人类社会压到特别无聊的 AI，而做让世界变得 colorful、让每个人生活有新可能性的 AI。短时间会有一些人失业，但一定有人借新技术找到更有意思、自己更想做的事。

这期播客里最值得带走的，是马骁腾判断事情的那套坐标。看一家模型公司，他先看 infra 和数据的组织能力，而不是看发布了什么新名词；看一个 Neo Lab，他先问商业闭环在哪里，而不是看它讲的故事有多 fancy；看一项技术，他先问钉子是什么，而不是锤子有多新。这套坐标不复杂，但用起来需要克制：克制对热词的兴奋，克制用论文数量衡量研究的冲动，克制把 90 分的事情硬做到 95 分的执念。

对做 AI 应用和创业的人来说，还有一条更具体的建议：先做一个产品 prototype 推向市场，别急着投流增长，用它收集真实数据，跑通之后再铺场景。这个顺序既适用于训模型的公司，也适用于任何想在真实交互里持续学习的产品。至于要不要自建后训练团队，答案取决于你有没有自己的 benchmark：没有它，你连训出来的模型好不好都判断不了，这笔钱花出去也说不清值不值。