少有的同时做过 Agent、多模态和具身的人 | 对谈前混元多模态 RL Infra 负责人淏楠

王淏楠读过五个大学。读着觉得没意思就换，这习惯后来延伸到了工作上。2026年1月毕业前后，他先是在陈天桥和代季峰的 MiroMind 做 Agent，算是最早一批接触 Agent 的人；然后去腾讯混元负责多模态 RL infra，主导开源了 UniRL；最近又换了方向，去一家具身智能公司做基模预训练负责人。

这条轨迹有个规律：每次都在某个方向最热的时候转身。Agent 最火的时候他去做多模态，视频生成还在往前跑的时候他去了具身。曲凯在节目里问他，现在入局具身，是不是有点「49 年加入国军」的意思。

聊完两个多小时，你会发现他每次转方向背后有一条挺清晰的线。从 Agent 到多模态，再到具身，他关心的始终是同一件事：AI 怎么从屏幕里走出来，变成能改变物理世界的东西。这期播客沿着他的经历，把 Agent、视频生成、世界模型、具身这几条线的真实进展过了一遍。

从 Agent 到多模态，两个围城之间的转身 02:03

2025 年 2、3 月，DeepSeek 刚过完春节，RL 大爆发。那时候王淏楠在 MiroMind 做 Agent，从 7 月一直干到 2026 年二三月份。他主要参与 mid-training 和 SFT，做 web search 相关的数据。日常就是洗数据、写规则、读 trace。

但他很快意识到一个问题。2025 年年底 12 月的时候，他觉得如果继续做 Agent，大概率是以造数据为主干一整年。

如果做 Agent，大概率是以造数据为主干一整年，我会觉得这个东西对个人的积累不够有趣。

那时候 Agent 的数据长什么样、应该怎么造、MCP 是什么，大家都没有特别清晰的答案。整个行业在摸索。

这时候庞天宇拉他去腾讯。庞天宇问他要不要做图片视频生成，具体是 RL infra。2025 年年底，RL infra 很火，翁佳艺在 Whynot TV 上讲过这个问题。翁佳艺是 CAI Lab 早期员工，在 CAI Lab 干了一年之后去了 OpenAI。王淏楠私下跟他聊过，觉得 RL infra 确实重要，也很感兴趣，就去了混元多模态下面做 RL infra 负责人。

聊到国内外 RL 的差距，他的判断很直接。infra 和工程实践上的代差没有那么大，最大的 gap 是卡。

卡少，实验就少，积累和经验就慢。

同样租一个月的云算力，要把分数往上推，SFT 效率最高，暴力往上刷的能力最强。RL 需要训 reward，需要反复实验，卡不够就做不动。所以国内整体上跟海外的差距，主要来自数据、卡的数量、能投入多少资源训多久，而不是算法写不出来。

不过这段经历对他个人积累很大。他所在的组里有 infra、有算法、有 reward，三者绑在一起形成闭环。RL 尤其是图片视频生成，需要训一个非常好的 reward。

聊到 Agent 和多模态的关系，他有个挺有意思的观察：这两个圈子有点像围城。做 Agent 的觉得天天洗数据没劲，做视频的觉得视频不体现智力。2025 年年初 GUI 都快黄了，大家觉得是不是都 Computer Use Anything 了。

从个人职业发展角度，他觉得做 Agent 有个天然好处：你在大主线上，公司做得不好可以换下一家，但你还在主线上。做多模态相对有趣一些，review data 的时候看视频比读 trace 有意思，工作体验好一点。缺点是如果公司不做这个方向，发展空间就受限。

曲凯问他，多模态最后能往哪走。他说两条变现途径：一条是 diffusion 接着做视频生成，另一条是生成 action，也就是具身。

具身的 action 也是一种模态。从视频音频一起生成，变成视频 action 一起生成，逻辑很相近。

所以从多模态转到具身，技术上很丝滑。做 world action model 最早起航的那波人，很多早期都有 diffusion 经验。

至于为什么离开多模态，他的答案跟视频生成的 scaling law 有关。2025 年年底到 2026 年年初，他们觉得视频生成里可能有 RL 的时刻，做了半年发现不行，并不存在比较 efficient 的 scaling law。

视频生成还在半山腰，现在只有 60 分 14:11

曲凯问，那为什么 Seedance 做得这么好。王淏楠说，跟数据质量非常有关系。

他解释，这里说的更多是后训练，test time 的 scaling law。Training 的 scaling law 大家都 follow 曲线，跟模型结构更相关。堆数据能往前推，但 training 的 scaling law 不 efficient。Language 效果好，是因为后面还要 RL 一下，才能有 R1 的效果。他们当时一厢情愿地认为 diffusion 也能做到，后来发现不太行，加上 caption 改写也不行，还是更偏预训练的能力提升。

据他所知，字节的后训练是 work 了的，但大部分公司 RL 还没 work。即便 work 了，最重要的能力来源还是前面的预训练部分。

这引出一个判断：多模态的竞争可能没有那么激烈，更偏向巨头效应。

算法大家都做得挺好，算法是便宜的，弄十来个有经验的同学，两个月都能推到 reasonable 的水平。但 data 没人开源。

数据是纯靠自己的积累，走不了捷径。要么花钱，要么有产品帮你做数据回流。最后确实得在有产品的地方做这件事才能做成。这个方向更吃资本，更吃大团队，更吃公司，而不是一波比较厉害的人就能把这个东西干起来。

曲凯提到 B 站上 AI 短剧的水平，说最近看到的已经几乎达到 Netflix 的水平。王淏楠说能力没有到头，做到院线电影水平没什么问题。但他也指出，这里面加了很多专业的人为因素。

这跟混元 Creator 的思路很相关。人在创作中需要参与，但更多是用 taste 去影响导向，而非像以前那样做很多繁琐的事。这跟 coding 有差异。Coding 有最优解，大家都希望又快又好又整洁又好读。但影片不一样，很多时候希望自己施加影响。

目前圈子还停留在搞视频的人在用这些工具，不够便捷。一方面模型能力需要提升，还没达到电影质感；另一方面 harness 或者交互模式没有一套成熟产品。

未来一定得有一款 harness 出现，套在有电影质感的模型上边，把能力最大化，也让用户最方便操作。

曲凯问 Seedance 2.5 大概相当于 GPT 几。王淏楠说还在半山腰，100 分的话现在 60 分。后面空间非常大。让他自己做一条短剧试试，操作起来还非常痛苦，context 管理也不好，各种都不到位。

关于抽卡，他觉得这个概念之后会变化。现在的抽卡是有些 clip 质量很差，形变或者观感不好。未来的抽卡是质量都很好，只是你和我的 taste 不一样，对什么算好影片有分歧。抽卡一定会存在，但意义不同。就像以前线下拍戏，某一段咔掉了，或者好几段最后给导演选一段。

曲凯问，像快速复制热门视频、换人这些能力，会被包到模型里吗。王淏楠说会的，这就是生成理解一体化。UniRL 的「Uni」就是这个意思，理解能帮助生成。换人需要非常好的影片理解能力，对细节理解好，再去做生成才能生成好。各家也都在这条技术上推进。

聊到视频生成未来会变成什么样。他说现在消费的人远多于创作的人。大学生学一学都会，但还是麻烦，成本还是高。未来半年到一年要把使用门槛和生成成本拉下来，让更多人生成，形成既是生成者又是消费者的平台。圈子里大家都认为会有这样的产品或者平台产生。

关于 MiniMax H3，王淏楠说它的水平大概相当于 Seedance 2.0。H3 还是会生成不少废的 clip，如果让它 propose 三段，可能不太行。Seedance 2.5 更好，精细控制能力更强，能加很多 reference image、reference video、audio，能插很多 storyboard。一张图片里包含好多张小图，某种情况下这个人的物料，包括整体故事线截图，2.5 能放很多很多图，按照你给的图生成一段视频。字节在这块优势非常强，能支持这些东西，产品才能更好被使用。

关于实时互动，他分两类：伪实时互动和真实时互动。伪实时互动是生成速度快于消费速度，本质还是打完再生成，只是速度足够快，让人觉得像实时。真实时互动是能跟你的对话做反应。他认为目前大家应该都在第一条路线，而且第一条现在也没有很成熟。模型效果崩得比较厉害，一致性问题。加速有很多 trick，scheduler、temporal cache、跳层、蒸馏、consistency，但都容易让模型崩。镜头转回来后面东西变了，人脸换了，很常见。

我个人觉得还是保质量比保 real time 更好。

曲凯问，从研究上能看到什么节点真的能实现一致性。王淏楠说他对真 real time 有点悲观。模型做得越来越大，为了让 consistency 更好，堆更多能力的同时模型 size 变大，天然更慢。现在大家攻坚的还是能力，还没到能力溢出的点。

世界模型为什么让人迷茫 27:45

曲凯提到世界模型最近又被骂了。王淏楠说，好多做世界模型的人自己都迷茫，不知道这东西做了 for what。

尤其是 Astra 这种白膜加更小的地球做渲染的方案出来之后，直接吹一个巨大模型仿真整个世界然后你在世界里逛，看起来更 promising。而且李飞飞把公司卖了。

李飞飞站在这个圈子最前沿，如果看到了，他为什么要卖公司？他缺钱吗？肯定不缺。

曲凯说他到现在回头看仍然不理解。从 research 角度，大家应该一直都知道这个事非常难，短期内做不出来，不可能是大家以为能做，做了一下发现做不出来。

王淏楠同意。做 research 的同学可能一直都知道做不出来，只是市场情绪把大家架在那了。而且就算做出来，能干啥也是问题。WSD 不少厂商做过，很多小厂也做过 video world model。大家讲的做出来就是为了具身。后来发现，你要做具身，为什么不直接做具身呢？具身没有必要一定走这条路。

现在两家公司，李飞飞的 World Labs 和另一家国内做具身的公司，都叫 world model，但做的东西不一样。李飞飞隔一段时间就写一下什么是世界模型，写了好几篇定义。但身边的人都不太引他那个 3D 路线。

王淏楠解释，你没有必要理解整个世界之后再去做 action。另一家公司的路线不是这样，它不需要你把草、叶子、树叶、光线都建模得很好再往下推。可能就是理解加做 action，对做具身就足够了。

后来大家做着做着发现，具身好像并不需要先理解完整个世界再做 action。理解当前，action 一步，再理解下一个，再往下做，就结束了。最初大家觉得 3D 能做仿真场景，是不是能打通 real to sim to real 这条路。慢慢好像有点变味了。

Astra 给具身圈子带来了什么震动 32:22

曲凯说，很多听众可能不了解 Astra 对具身的影响。为什么 GPT 发了那么多模型都没人讨论跟具身的关系，Astra 出来以后具身圈子比较震动？

王淏楠先解释具身需要什么样的模型。它需要看懂世界，然后给硬件下指令。操控机器人，不管是夹爪还是灵巧手，核心是最后输出一个低维 Vector，二十多维，每一维都有准确的意义，表示关节角。这是有物理意义的 vector，不是大模型常规理解上的 latent。

Input 是 video 或者多个 video，可能多个角度。Video token 之后 latent 进来，transformer diffusion 降噪，出来一个小 vector。高维到低维的 input output 结构。

之前没什么震动，是因为你让 language model 输出这样的 vector 很怪。左边方括号，第一个数逗号，第二个数逗号，第三个数，括号完。让 GPT 给你写一串数字，再解析成电机转角去操作，这不正常。试了之后发现也不 work，next token prediction 还得 0.96，真的是 0.96 逗号，然后一串文字，对模型来说有点变态。

这次 Astra 震动，是因为它有非常好的三维理解能力，能按照指令真的输出一段序列，这段序列真的有意义，真的能操控。

曲凯问，它是特意基于具身训的吗。王淏楠说应该是的。OpenAI 做具身的团队有人，也收了很多数据。但真正做具身的团队有点不知道怎么做。后来发现他们做的数据或者能力提升是喂给 VLM，帮助 VLM 提升。VLM 能力的主要提升来自 LM，相当于所有数据最后都回滚到主线模型上。

OpenAI 内部有两条线做具身，一条类似 Computer Use，把具身当其中一部分来泛化；另一条专门做具身。王淏楠觉得大模型那条线更主要。做具身的人也有点不知道怎么搞，最后发现堆到主线里最 work。

所以 Astra 本质上也是一种泛化。就像它弄 3D 的 Blender 软件一样，最后也是这么推过去的。

核心有两点：多模态理解要非常强，以及真的得有具身数据。这波是真的训了具身数据，之前即便有也非常少。

曲凯总结，是不是分两部分：首先理解看到的画面和视频，然后有具身数据才能把理解转化成电机 vector 的具体数据。王淏楠同意。当你家主线模型很强的时候，自己搞原来那种更 robot learning 的不如直接往大模型里堆。

曲凯问，每家本体和设备参数不一样，是不是还得自己做转译工作。王淏楠说，让大模型操控你家的产品，如果产品不是 Franka 机械臂大家都用那种，灵巧手是有困难的。它其实不准，是通过动一个关节之后的效果、视觉效果，猜出来变量变化代表哪个关节会带来什么效果。它输出一段，看一段视频，能把输出的影响自己调，跟视觉挂钩。

这其实有点 RL 的意思。它动一下夹爪，发现是这样子，大概理解了视觉和输入通讯的关系，在多轮交互里看明白了，所以能动得非常好。这个还挺强的。

具身的数据和 reward 怎么做 37:27

曲凯问 reward 是什么。王淏楠觉得是通过其他领域迁移过来的，不是真的对着具身吹的 reward。应该是在其他 Blender 任务里，它看到渲染，操作一下，视觉上的 3D 效果会怎么变，能形成关系。做 Blender 也是靠那个软件编辑出来的。这个东西按照这个逻辑可以迁移。

曲凯问数据分两条线：实体的 ego-centric 真机数据，和虚拟仿真数据。哪个更重要？

王淏楠说看对谁而言。对大模型厂商，仿真数据很有价值，是一个很好的 environment，像个 game。对具身厂商可能不是，具身厂商 care 的是东西能不能用，能不能操控他家机器，所以要用 exactly 他的机型去踩各种 trace，失败的加个 DAgger 继续成功，人去接管。

曲凯问，如果仿真做得足够好，还能继续 post training 针对调，真机数据的价值会不会下降。王淏楠说没有感觉会。真正意义上的操控成功性，尤其灵巧手非常复杂的情况下，还是得拿真正 exactly 的数据去 train 去挑。

你说抓这个动作，两个手指也能捏起来，但你想要的抓是五个手指非常贴合在瓶子上。如果全是仿真环境，可能最后拿中指和食指给你捏起来了。

仿真环境的 gap 还不太能让他真的成功。除非仿真环境做得非常好，那就回到 real to sim to real。如果 simulation 环境做得确实厉害，整个具身发展路线可能要重新考虑。但目前 simulation 环境非常难做，物理摩擦系数这些都很难。

曲凯问，具身公司都在讲自己做大脑做小脑，估值才高。但按现在的发展路径，大脑没钱没卡做，Astra 又这么强，后面大脑是不是变成 LM 的竞争？国内是 DeepSeek、Kimi 或者 Seed，海外是 GPT 和 Claude。初创具身公司是不是就不用管大脑，做好小脑和真实应用的部分？

王淏楠说这个问题有意思，分几方面。第一，很多公司讲大脑是为了估值。第二，有家做具身的公司主页上写 System 0、System 1、System 2。那个 blog 是 Astra 出来之前画的。现在可能不要 0 了，0 和 1 是一个，2 是那个最大最大的模型。发展趋势确实是 System 2 直接从本体和一个贼大个的、language thinking 能力都非常强的大脑组合推进。

然后，具身厂商的卡远远不够，可能差两个 0。大模型是五六家在分卡，具身是上百家在分，还得是 LM 剩下的。

现在是具身的 GPT-3 时刻吗 41:59

曲凯问，在这个节点加入具身，有没有考虑过估值已经很高、Astra 对大脑故事有影响这些问题。

王淏楠说好多人问他这个问题。他反问：视频那块做那个不好吗？不是没机会，确实可以加入初创或者在大厂做。但这跟个人偏好有关系。

视频生成不是硬核生产力，它是 for 精神享受的。我想做能影响大家、更生产力方向的东西，所以我想做 physical AI。

Physical AI 就是把 AI 带到物理世界，以各种形式，到生活当中，才能改变大家的生活。他非常坚定做这个方向。所以不是短期利益的选择。

曲凯好奇，如果短期利益驱动，最