从蒸馏到合成数据到 RSI，模型竞争的下一个焦点是什么？｜对谈 Evolvent AI 联创孟繁青

孟繁青 2001 年出生，新加坡国立大学博士生，在 Kimi 实习了一年多，做 Agent 和 RL Infra，赶上 Kimi Linear 和 Kimi K2.5 两次发版。现在他是 Evolvent AI 的联合创始人，公司跑了半年，团队以 00 后 researcher 为主，一边做合成数据，一边往 RSI 走。

曲凯问他，大厂和创业公司做事的差别在哪。孟繁青说，他在 Kimi 后期的主要工作其实是合成数据。训练基模这件事在大厂内部已经相当工程化，训练、推理的整套流程很稳定。一个研究员想 SFT 一个模型，不用去 GitHub 拉仓库、找卡、配环境，提交请求，服务在远端跑完，结果送回来。哪怕他根本不知道 SFT 是什么，把数据做好就能走完整个流程。

这期节目把后训练、bench 的演变、国内外模型差距、RSI、数据的几波机会、蒸馏这个敏感话题都聊了一遍。最反直觉的判断是：国内模型真正有特色的地方在预训练，那是算力受限下被逼出来的架构创新；后训练反而相对弱，弱在数据积淀。顺着这个判断往下推，即便海外把所有蒸馏通道封掉，国内模型依然能靠预训练的创新能力撑住竞争力。

从 Kimi 出来，他把训模型这件事看清楚了 1:15

基础设施的成熟度，把「训模型」拆成了两件事。搭服务的人仍然要填很多坑，用服务的人只需要把数据做好。孟繁青的判断是，对大部分算法研究员，训模型的门槛确实降了很多。

创业之后，他们不碰基模。理由很实际，预训练每天打交道的是模型架构、优化器，极其吃卡，初创公司扛不住这个成本。他们要找跟模型厂正交的切入点，从零搭内部平台。用他的话说，不 focus 在推进模型智力，而是做跟模型智力正交、实际应用更有用的东西。

曲凯观察到，这两年出来创业的，做 post-training 的人明显比做 pre-training 的多。孟繁青给了两个方向。一个是合成数据，后训练的数据量不像预训练那么大，对精细度的要求更高。另一个是平台类的工作，说白就是做 bench。

「bench」这个词在变。2024、2025 年大家熟悉的 bench 是一堆难题，模型挨个回答，像考生做卷子。现在的 bench 给模型一个环境，让它在里面做很长时间的探索，完成一个任务。这种 bench 离真实工作更近，工程实现做得好，转成商业模式也更快。做 post-training 的人擅长这个，所以他们创业的多。

Bench 从考卷变成工作台，模型得学会动手 4:37

两者的差别，孟繁青用白领工作打比方。做数学题只测模型的大脑，可真实工作里，人还要动手操作飞书、Notion 这些软件。现在的 agent bench 把这块模拟出来，模型不光要推理，还要跟工具交互，最后把事情做完。

可验证性变难了。数学题对答案，对就是对，错就是错。造一个环境，首先要保证环境跟真实世界对齐。他们造一个 Notion，同一个输入进去，输出跟真 Notion 是否一致，一致才说明环境造对了。

评分也复杂。数学题判断相等就行，agent 任务的检查要分很多维度、很多小得分点，每个得分点怎么设，目前还很依赖人的精细设计。最后是人跟 agent 一起 check。

曲凯提到一个说法，post-training 的人每天主要就是在做数据。孟繁青认了。模型厂内部生态完备，研究员把数据做好，整套流程就能走完。

那这份工作枯燥吗？孟繁青不这么看。他观察到一条规律，技术演进的方向是越来越简单、越来越直接、越来越面向结果。模型架构收敛到 transformer，RL 收敛到基于可验证 reward 的那套方法，后训练也在往同一个方向走，不用关心算法上的小技巧，直接关注给模型什么数据。

造数据本身很难。同样一批 bench，不同人造出来的数据效果不一样。他们最近做 RSIBench，专门讨论 agent 能不能自己造数据、迭代模型。结论是 agent 目前只能做机械活，比如模型输出格式错了，它知道去修；要它提出造数据的 insight，做不到。模型厂研究员手里的 knowhow，仍然是核心能力。

数据好坏怎么评？孟繁青给了两个维度。最直接的是，在给定 bench 上不作弊、不 hacking，能不能提点。另一个是副作用，比如用代码数据合成训练之后，模型写东西的能力有没有掉。

训练之前评判数据质量很难。能用的是量化指标：轨迹里有没有作弊，难度是否适中。太简单的数据没用，太难的学不到东西。这些指标只能做初筛，正儿八经看它能不能 work，还得训一遍，结果好就是好，不好就回去改。

曲凯追问，后训练里 infra 和数据哪个更重要。孟繁青的回答是数据，infra 已经发展到比较稳定的程度。

国内模型的优势，是被算力逼出来的预训练 12:48

国内模型跟海外模型的差距在缩小。孟繁青举了个量级，国内拿到的卡可能只有海外的十分之一，模型还是做到了接近前沿。海外厂手里有存货，没发出来，具体差多久不好估，但从已发布的结果看，两边在靠近。

他把这个进展主要归给预训练。算力少，就得用更少的资源完成训练，国内被逼出两条路。

一条是架构创新。Kimi Linear 做线性注意力，DeepSeek 的 MLA 也是注意力机制上的改动，相对原始 attention 更省计算量，用更少的训练资源拿到更好的效果，性能和推理速度的损失可控。孟繁青说，全球范围内真正被用起来的、被证明有 scale 能力的架构，基本就是 Kimi 和 DeepSeek 这两套。海外像 Mamba，一直没证明自己的 scale 能力，没什么人用。

另一条是后训练，这块国内比海外弱一些。他强调技术实力上并不弱，差距在数据积淀。Claude、OpenAI 在数据上天然早半年，国内积淀少，目前很大一部分数据来自蒸馏，用来补短板。

这个判断跟曲凯的预想相反。按直觉，海外人才密度高、卡多，预训练应该更强；后训练偏工程，国内该有优势。孟繁青的解释是，后训练是更工程的事，工程上的时间差距更难弥补。数据积淀靠人力和组织架构，优化起来比靠研究员的聪明才智更难。

曲凯追问这是不是 AI lab 内部的共识。孟繁青说不清楚是不是公认，但他跟一些朋友聊过，大家都比较认同。曲凯自己听完也觉得有意思，这跟他原本的假设正好反过来。

竞争格局上，他的判断是交替领先。某家发一个大版本，至少在开源社区里排到第一或第二，几个月后另一家发大版本再超过去，很难有一家因为某个独特原因一路领先。

Kimi K3 走大参数路线，孟繁青认为贡献很大。从 scaling law 看，在当前数据规模下把参数 scale 上去确实有收益，海外也这么干。其他家能追上，但中间有时时间 gap。智谱 GLM 在 coding 上领先过一段时间，他不太了解这家公司，跟朋友交流的结论是智谱在 coding 数据上做得好，属于 post-training 的部分。字节的 coding 到现在还没追上，追上现在的 frontier 是时间问题，能不能缩小跟 frontier 的差距，他说不好说。

曲凯把问题推到中长期：人才肯花钱都能找到，数据肯花钱下功夫也没有本质区别，最后是不是拼卡，大厂是不是优势最大。孟繁青认拼卡是直接原因，又补了一层，组织架构。混元改架构之前做得比较差，改完之后突飞猛进，这个变化更多来自组织设计。他举了个例子，多模态要不要单独划出来，现在大家都不单独划，跟预训练合并。

技术层面，大家拼三样。架构决定有限资源里能榨出多少东西，数据决定 bench 上的效果，infra 决定内部迭代速度。更底层是公司内部的组织架构。

那下一个阶段的共识是什么？孟繁青的回答很干脆：auto research，或者叫 RSI。

RSI 是更聪明的 DFS，没有 RSI 基模这回事 21:50

self-evolving、RSI、AI for AI、auto research，这几个词在近半年被反复提起。孟繁青把它们统一成一个形式：给模型一个工作环境和一个目标，看它能不能持续操作，拿到结果反馈后修改之前的操作，突破原来的上限。

曲凯把这件事分成几层。最表层是产品输出，结果先不给用户，让另一个模型测一遍再出。中间是 harness，怎么让系统自己转起来。最里面是模型层，AI 自己训 AI。孟繁青说都算 RSI。大众语境里，RSI 更偏向模型迭代自己、得到更强的模型；auto research 更像已经有一个强模型，让它去写好的 GPU kernel，在反复迭代里改进。两者殊途同归。

最难的是模型自己训自己。孟繁青提到一个 AGI 的定义：模型能不能从零复刻一个自己。复刻出来算清晰的 RSI 过程，只是没有超越自己；如果复刻出的模型比自己强，RSI 就成立了。

harness 会不会消失？他的判断是不会。模型厂基本都有自己的 harness，Kimi 有 Kimi Code，DeepSeek 内部也有，只是还没 release。模型跟 harness 一起发版，因为后训练时模型的输出经过 harness，反向传播会让模型越来越适配这套 harness。两个东西配套出现，harness 会越来越简单，但不会没有。

第三方 harness 还有没有空间？他分两种情况。通用领域比如 coding，没必要有第三方 harness。垂域不一样，用户不需要模型厂那么强的模型，也就不需要配套的 harness，拿一个弱一点的开源模型配简单 workflow 就能满足需求，消耗更少，速度更快。

曲凯抛出一个更尖锐的问题：如果真相信 RSI，模型都能训自己，垂域 harness 让它写不就行了。孟繁青说可以写，写完就用这个垂域 harness。但垂域背后的模型要不要用最强的，是另一回事。Claude 一次次发版，普通用户已经很难感知强度差别，只能看 bench，而 bench 跟日常使用有点脱节。垂域更明显，更合理的路径是用强模型指导一个小开源模型在场景里迭代，这也是 self-evolving，只不过进化的是小模型，之后只用小模型。

模型降价呢？曲凯说基础模型已经够用，未来会一直降价，直到接近免费。孟繁青提醒两点。降价有商业考虑，开源社区太强，竞争对手太多，不得不降；真出现一两家垄断，价格未必一直降。另一点是数据隐私，很多垂域不愿意把数据交给 Claude、GPT。

那创业公司为什么不直接做一个更好的基模？既然模型能自己进化自己，让它迭代就好了。孟繁青最近想过这个问题，结论是 RSI 基模这件事，本身就是模型厂在训的基模。创业公司去做 RSI 基模，或者出一套 RSI 专用的 harness，他都不看好。Evolvent 选的位置在模型厂和应用层之间，做那条 RSI 通道。

现在做 RSI 的这些方法，本质上都是在做一个更聪明版的 DFS。

DFS 走迷宫，走到死路就回溯到上一个节点。模型写 GPU kernel，写完由评分程序打分，分数就是反馈，反馈不好就回溯，回溯由 LLM 判断，写 DFS 时由代码判断。差别在于剪枝，不去探索一开始就没用的路，把精力放在更可能出结果的方向上。

剪枝要求预判某个操作会带来什么状态、这个状态值多少收益。技术上就是 world model 加 value model。孟繁青的观点是，这两样东西在基模预训练时已经被内化了。

没有 RSI 基模这个说法。

RSI 之后变强，靠的是 world model 内化得更好，以及 context 窗口变长。现在窗口最高到 1M，能记住更多东西，可以回溯到更远的地方。

如果 RSI 真跑起来，数据会不会成瓶颈？他觉得不会，agent 在数据层面已经有自进化的能力，他们做的 RSIBench 就聚焦在这里。曲凯顺着逻辑推，模型公司最后是不是只剩十几二十个人。孟繁青说结果上可能，实际考量不会这么极端。

数据的几波浪潮，和正在收窄的窗口 35:29

数据需求在几年里换了好几波。孟繁青的划分很清楚。

第一波是 ChatGPT 那代，普通人标注。数据量本来就小，标注要求也不高。这批数据现在更接近预训练用的 raw data，噪声多，需求已经不多了。

第二波是专家标注。2025 年初 o1 出来，模型推理能力跳了一级，大家疯抢数学、物理专家产出的数据。现在需求在变少，原因有点反直觉：模型太强，对专家的要求变高了。原来只要专家做题，现在还要出题，而且出的题不能跟市面上现有的题重合，这个难度很高。

第三波是 agent 数据。Claude Code 出现之后，模型从聊天框里的 bot 变成同事，数据也得跟着变。这一波里分出两条支线。一条是合成数据，造很多环境，给模型一个目标，让它在环境里探索、完成任务，把轨迹保存下来。另一条是真人数据，需要真人在自己的工作环境里留下交互轨迹。

真人数据噪声多，要清洗。合成数据造出来基本可以直接拿去训练。

曲凯要求给个价格感知。孟繁青报了个大概：合成数据贵的能卖到好几千，单位是一个任务，那种非常长程的任务；做题类的专家数据在一两千的量级；正儿八经的真人操控轨迹没有单条的说法，一般要走量。

模型厂自己也能造数据，为什么还要外采？他的解释是分布。数据多多益善，自己造的那批带着自己的 bias，当然希望分布上的偏差越小越好，从外面收一批高质量的进来补一下分布。

那为什么这单生意以后会变少？

bench 在收敛。以前 bench 非常多样，一个模型要测 n 个 bench，n 个都得刷，需求自然多。现在模型越来越强，做一个好 bench 的难度极高，bench 慢慢收敛到那几个做得最好的，模型厂有更多精力只 focus 在这几个上，对其他 bench 的需求就掉下来了。

下一波他看的是 RSI 数据。举个他们自己在做的例子：一个模型去后训练另外一个小模型，把小模型的效果提上来，这样一整条轨迹。这条轨迹已经超出了目前大部分数据的范畴，因为产生一条可能要跑十几小时，甚至一天。这种轨迹相当宝贵。

门槛也随之抬高。这种活必须有模型训练背景的人才做得出来，数据行业的背景要求在提高。

曲凯问，普通用户平时用 AI 产生的数据，自己拿去卖行不行。孟繁青直接给了否定，卖不出去，太脏，还有合规问题。

这一波普通 agent 数据，在他看来已经接近尾声。数据行业变化非常快，对数据厂商也有筛选。以前靠重人力堆专家标注的公司很难活下来，活下来的是那些有一线 hands on researcher 的数据公司，才追得上数据口味的变化。

Evolvent 自己的算盘是两头。合成数据有现金流，也反哺认知，让他们积累更多 knowhow 去做 RSI。要做好 RSI，得真的自己训模型，而现在训模型基本可以约等于造数据，造数据的过程里也会跟模型厂合作。

算法就是数据，数据就是 Infra，Infra 就是算法 43:00

曲凯抛出那句流行的话，说它戏谑之中带着一点真相。孟繁青的回答是，没啥毛病，三段都能拆开讲。

算法就是数据。算法会收敛到最简单的形式，RL 收敛到 PPO，大家都在用 PPO，那比的就是喂什么数据。

数据就是 infra。核心是怎么训得更快。RL 训练慢，主要慢在推理时的长尾。现在 RL 一般是一批数据推理完，整理格式，再导入训练。这批数据里，100 条有 99 条一分钟推完，最后一条要推 100 分钟，卡就在那儿闲着，全都在等它。这时候需要 infra 上的改进，把这批数据训得更快。

infra 就是算法。拿 SFT 举例，训很大尺寸的模型，需要大量 GPU 层面或者 context 层面的并行，才能训这么长的轨迹。

从现在的视角看，算法稳定了，infra 的基本层面也稳定。但这是跟着需求走的。如果以后推理一条数据要一天甚至好几天，infra 和算法都得改。数据是驱动，更难的数据会逼出算法创新，也会逼出 infra 上更重的设计。

数据量会不会无限涨？孟繁青说无限不太可能。量确实在提高，但不会毫无节制。高质量数据会一直提高，因为数据没有完全枯竭：agent 的核心数据是一个新来源；agent 用的人越多，数据来源越多，会反哺出更多更好的合成数据，再喂回模型训练。模型尺寸在涨，数据的量一定会增加，质量也会逐步往上走。

合成数据和蒸馏，差别在环境够不够复杂 46:11

聊合成数据绕不开蒸馏。孟繁青的解释很具体。合成数据需要造一个环境、给一个问题，然后有一个 agent 在里面探索。这个探索的 agent 有时用外部模型，比如 Claude，有时用内部模型。用外部模型，就是大家说的蒸馏。

区别在于硬蒸馏和有技巧的蒸馏。硬蒸馏说白了是环境太简单，比如非常普通的数学题，等于把题目和答案拿出来抄。环境足够复杂，配套的题和评分正确且高质量，这一套本身就有很高的难度。有了这一套，才能搞出更好的合成数据或者蒸馏数据。

曲凯追问，合成数据用好了，对相对落后的模型价值是不是远高于领先的模型。孟繁青说肯定，学习 margin 更多。但对领先模型也有用。

曲凯接着问，如果我已经是最领先的模型，造了环境，用自己的模型去做，结果不就跟现在一样吗。孟繁青说，这就是 RSI。造出足够复杂的环境和题以后，模型自己在里面探索，拿到正确轨迹去训自己，也能提点，这件事已经被证明了。为什么能提点，他承认还是有点黑箱的味道，说白了是不断强化的过程。

聊到技术路线的空间，孟繁青说 coding 从年初到现在一直是最重要的方向，是智力的基础，要持续抬高模型智力的上限。这条线增长迅速，pipeline 相对稳定。AI lab 同时会去探索别的路线，比如 auto research，Claude、OpenAI 都在做，方向是服务 AI for science。

AI for science 火了，因为 coding 已经证明不了智力上限 49:33

最近各大模型发布报告里，基本都会放一个任务：完成一件非常长、需要不断改进的事，大部分是写 GPU kernel。AI for science 是同一个逻辑的延伸，要求大模型去设计分子结构、蛋白质。这既是体现模型智力的手段，也是相对直接的应用。

为什么大家突然在这上面发力？孟繁青的判断是，仅从 coding 层面已经体现不出模型智力的上限了。science、STEM 这些领域，本身是衡量模型智力很直接的尺子。GPT 那边流出做数学题、解决数学猜想的消息，也是同一个路数。奥赛已经不够看，开始往诺贝尔那个方向卷。模型厂需要找到这类场景去做 PR。

曲凯问，AI lab 现在的状态是空间还很大，还是现有路线快穷尽了。孟繁青说，模型厂的模型增速一直在，coding 这条线确实还在一路往上，很多东西已经确定，在既有路线上继续做就行。但增速背后的另一件事不一定：到底需不需要这么多 resource，现在给 researcher 的高薪能不能维持。

曲凯把公司分成两类，一类是字节、腾讯、阿里这种卡多资源多的大厂，一类是所有新 AI lab。孟繁青说自己比较 prefer 初创公司这一挂。技术在公司之间是流通的，各家的技术水平差异不会特别大，背后还是人。他也不认为大厂直接从初创挖人过去就能厉害。

那既然技术路径迭代之后，短时间大家就形成共识，最后是不是拼卡。孟繁青说未必，最后可能划归到组织形态上。技术大家都懂的时候，组织怎么设计，让公司作为一个整体跑得更快，这里面有学问。他以前没太感觉到，现在感觉很深。

曲凯提到一种说法，智谱 coding 做得好，是因为没有分很多精力做多模态；多模态、视频模型不在智力主线上，只有 coding、数学这些才提升智力。孟繁青觉得这个说法有点绝对。他不认为多模态不重要，也觉得多模态应该放到主线上，只是资源有限，做不到全模态优化。多模态的发展速度比文本慢特别多，文本信息经过高度压缩，学得快；多模态的信息噪声多。往后看，多模态会变得更重要，AI 想进入物理世界，涉及的就不只是视觉，还有听觉、触觉。

蒸馏只是加速手段，封掉也不影响追赶 53:58

曲凯把话题拉回那个敏感点：蒸馏对国内模型追赶的意义占多大比重。

蒸馏不是国内模型变强的一个决定性因素。

孟繁青的理由是一套共识：预训练学知识，后训练是在预训练的分布上做一次 shift，本来就会的东西，通过后训练答对的概率更高。智力的基础来自预训练。国内的预训练做得比较好，有 Muon 优化器这类工作，这才是追赶最主要的因素。蒸馏是加速手段，没有 Claude 的 API 也做得出，一方面国内模型自己也很强，可以在自己的模型上做合成数据；另一方面人这么多，真下狠心做数据积淀，不见得做不出来。

曲凯把假设推到极端：哪一天海外把所有蒸馏门路都封掉，是不是也不影响国内模型追赶，只是更费劲一点。孟繁青认同。

那字节为什么一直不愿意蒸馏，或者对外说我们不蒸馏？孟繁青说，抄近道有坏处，可能错过主路上的一些 insight，他们大概是这么考虑的。所以蒸馏终究是个工具，看你怎么用。

最后聊回公司。Evolvent AI 跑了半年左右，团队以 00 后 researcher 为主，手上两块业务并不割裂。一块是合成数据，有合作和商单，做数据的同时自己也做一些 bench，保留学术上的探索。另一块是长期的 RSI。

他们做 RSI 的路径跟别人不太一样，不去做 RSI 专用基模，也不去做一套 RSI 方法论，想做的是桥接模型厂和应用公司中间的那个东西。最近发布的 RSIBench-Data，就是在平台内针对 data 这件事做 RSI 的初步探索。招人一直开放，有兴趣直接发邮件。

曲凯最后问，什么样的 researcher 最值钱。孟繁青说他们不看量化指标，发了多少论文、多少引用这类东西不在考虑范围。真正关心的是工程能力，一个有好的工程能力的人，在他看来比一个学术能力很强的人更好用。

把这期节目里的判断收一收，能带走的结论有这么几条。国内模型的竞争力主要长在预训练上，那是资源约束逼出来的架构创新，后训练的短板是数据积淀，靠时间补。蒸馏是加速器，不是发动机，把它封掉会变慢，不会停住。数据这波生意正在换挡，普通 agent 数据接近尾声，下一波是 RSI 相关的训练轨迹，单价高、门槛也高，能做的人必须有模型训练的一线经验。判断一家做 RSI 的公司值不值得看，先看它有没有自己的环境和评分体系，再看它敢不敢自己训模型，因为训模型在今天约等于造数据。组织架构这件事被反复提到，技术拉平之后，公司整体跑得快不快，往往就卡在这里。