关于 AI Infra 的一切 | 对谈阶跃星辰联创朱亦博

阶跃星辰联合创始人朱亦博，2018 年到字节跳动从零搭建 AI Infra，做到 2023 年初离开，中间在 Google 短暂待过，随后参与创立阶跃。再往前，他在微软研究院做分布式系统研究。按他自己的划分，贾扬清、李沐、陈天奇那批人算 AI Infra 的第一代，在学术界为了跑算法把 GPU 用起来；他属于第二批，赶上了工业界真正把规模堆到几千张卡的时候。

这期播客里，主持曲凯和他从最基础的定义聊起：AI Infra 到底包含什么，怎么衡量好坏，一家公司该不该投、投多少，第三方 Infra 公司为什么被夹在中间，DeepSeek 冲出来和 Infra 有什么关系，以及阶跃最近开源的视觉推理模型为什么给国产芯片免费商用授权。

听完能带走一个判断：大模型时代，Infra 不只是后台降本的角色，它直接影响模型训练出来的效果，也决定一家公司能不能在算力给定的比赛里多学那百分之二十的数据。

AI Infra 是什么：硬件一层，软件三层 0:01:07

朱亦博把 AI Infra 拆得很清楚。硬件一侧是 GPU、AI 芯片，也包括网卡芯片、交换机这些。软件一侧他喜欢类比云计算的三层结构。

最底层是 IaaS：有卡，把卡组装成服务器，用网络连起来，再做运维管控。他个人习惯把大规模存储系统也放进这一层。计算机系统从科班角度就三件事，计算、通信、存储，最底层的 IaaS 覆盖这三样。

往上是 PaaS，调度平台、资源管控平台，模型服务、MaaS 也算这一层。再往上是偏 SaaS 的东西，在 AI Infra 里，训练框架、推理框架的优化比较像这一层。

他补了一个时间点：AI Infra 这个词在 AlphaGo 之前甚至可以认为不存在，那时候叫 Machine Learning Infra，再早就是传统 CPU 为主的通用 Infra。所以他的职业经历基本和 AI Infra 的发展并行。

为什么 Infra 人过去很难参与一家公司的早期创业？朱亦博的解释是，Infra 天生是知识应用的。美团、滴滴刚做业务时体量小，不会重视 Infra，这是应该的；只有量上来了、高并发来了，才需要专业 Infra 人才补课。大模型打破了这个规律，因为一开始就是海量数据和海量算力。

他把这件事类比成搜索引擎时代。Google 第一次面对海量互联网数据要处理，所以需要世界一流的 Infra，Google 从当年开始就是一家 Infra 公司。大模型时代在重复类似的过程，只是计算和数据量比之前的范式高了一到两个数量级，处理方式换成了 GPU。

也许十年二十年才有一次，一个 Infra 能够做到这么核心的角色。

和移动互联网 Infra 的异同：目标一样，钻得更深 0:06:21

曲凯问，移动互联网那套 Infra 和 AI Infra 是完全并行的两条线，还是有异同。朱亦博说，除了少数一入行就做 AI Infra 的年轻人，大部分人都是从传统 Infra 转过来的，共同点相当多。

本质问题是一样的：怎么大规模、可靠、高效地跑一个任务，怎么把计算、通信、存储有机结合完成这个任务。差别在实操层面。AI Infra 的绝对核心是 GPU，传统 Infra 的绝对核心是 CPU，两种硬件的通信互联要求、存储要求都不一样。所以可以认为 AI Infra 是为 AI 定制化的一套 Infra，太阳底下没有太多新鲜事，但在某些方向上钻得更深、更定制、更极致。

转到人的层面，朱亦博提到一个对比。算法很大程度上依赖非常年轻的人，他有算法朋友说，算法人员只有两年的保质期，两年后聪明才智发挥完，容易陷入思维定势，新东西反而跟不上。Infra 相对强调积累，老人会发挥重要作用，新人也会带新想法进来。

线上服务的指标也能和传统 App 对应。Chatbot 里问一个问题，第一个字返回的时间叫首字延迟，相当于点开 App 多久看到第一个页面；之后吐字的速度是否稳定流畅，也是线上服务的体验指标，同时还要以尽量低的成本做到。训练那一侧更像以前的大数据，用 GPU 处理大量数据去训练模型，概念上相似。

该不该投 Infra：一笔很好算的 ROI 账 0:10:09

曲凯问，是不是只有量级很大的公司才需要 Infra。朱亦博说，所有业务产品都依赖 Infra，区别在于你想不想投入人力、研发成本把它做到领先水平，以及这个领先对你的产品有多重要。

他给了一笔很好算的账。假设有一万张较贵的 GPU，月租一个月一个亿，雇一些人把利用率优化百分之十，就省了一千万，或者多挣一千万。那你愿意为这一千万一个月雇多少人？无论在哪个年代算这笔账，Infra 在每个公司贡献都是很挣钱的，cover 人力成本非常轻松。所以 Infra 是一件确定性很高的事。

规模小的公司同样算账：值不值得雇十个人优化百分之多少的性能。如果不值得，外面有 baseline，找云厂商拿一个比较通用的方案，规模不大也够用。这就是 MaaS 和公有云的价值锚点，替规模较小的公司把这部分省掉。

接着聊到第三方 Infra 公司的处境。曲凯说，海外有很多 Infra 公司融了很多钱，最后能以很大估值卖掉，国内机构却普遍不看好，觉得 Infra 被夹在模型和硬件中间，两边都挤压你的份额，技术壁垒也不强。

朱亦博不反对这个观点，但他给了另一个角度。AI Infra 夹在模型和硬件之间，如果所有人都能获得同样的硬件和同样的模型，中间这一层的价值相对就小，会非常卷，最后打价格战。因为没有人能在 AI Infra 上拉开多大区别，一项技术你领先几个月，人家几个月后也会追上。

他用游戏机打比方。买 PS5 是因为有独占游戏；Steam 是内容分发平台，留住人的也是特色内容。MaaS 类似，除了大家都有的 API，让大家留在你这里的得是特色。有的 MaaS 和硬件厂商深度合作，能更便宜拿到算力和技术支持，自己也对硬件有独到研究；有的公有云上面有自己的模型，相当于第一方独占游戏。

对从业者的指导意义是：不要站在中间不动，要么往模型一侧靠，要么往硬件一侧靠。现在恰恰是模型和硬件都在追求极致的时刻。以 DeepSeek 为例，想做出在硬件上跑得非常有效率、性价比非常好的模型，需要很懂硬件，也要懂模型，两头都懂的人在中间，也就是 Infra。愿意跨出去和模型做垂直整合、和硬件做联合优化，可做的机会非常多；固步自封，硬件归硬件、模型归模型，只在中间做优化，路确实很窄。

曲凯追问，跟模型或硬件绑定，万一选错了怎么办。朱亦博说，你不是被动搭便车的，你是参与者。你比硬件人更懂模型，就能影响硬件走向；你在模型公司比模型的人更懂硬件，就能影响模型走向。在足够好的环境里影响走向，成功最好，不成功也是自己的责任。

Infra 对模型效果的影响：选对优化目标 0:16:15

降本增效之外，Infra 对模型最终效果的影响有多大？朱亦博说，这正是大模型公司 Infra 非常重要的原因。大家都在玩同一场比赛：给定算力，怎么训出最好的模型。同样是五千张卡训三个月，更好的 Infra 让效率多百分之二十，就能多学百分之二十的数据，三个月后把模型拿出来比，效果就会更好。

但衡量指标是个复杂问题。他提到 MFU，分子是硬件做训练或推理时实际做了多少次运算，分母是理论算力，比例越高，硬件利用率越好。曲凯记得 DeepSeek 发过这个指标，说做得很好。朱亦博直接纠正：DeepSeek 的训练 MFU 其实偏低。

原因在优化目标不同。2024 年，阶跃以及其他公司包括 DeepSeek，优化目标不一样。阶跃的目标是给定训练算力，怎么训出最好的模型；DeepSeek 的目标是给定推理成本，怎么设计模型把效果做到最好。所以在 2024 年至少上半年，从基模来说 DeepSeek 并不比大家强，一些公开榜单上也不在第一名。

转折发生在 2024 年 9 月 OpenAI 发布 o1，test-time scaling 出现，推理时多思考一些，结果就可能更好。推理模型靠强化学习训练，强化学习里很大一部分就是模型自己推理：推理一大段，选最好的给 reward。于是 DeepSeek 变成了强化学习训练最快的模型，因为它推理成本低，优化目标更符合强化学习时代的需求。它不仅推得快，训得也快，做强化学习的速度比其他人快好几倍。

你可以认为是一个大家选了不同优化目标以后的胜利。

朱亦博也承认这里有运气成分，DeepSeek 定这个优化目标时，大概率没想到 2024 年 9 月后 test-time scaling 会发生。但天时地利人和都在。

当下的第一指标，他认为从 o1、r1 强调推理之后，最重要的是 decoding 的速度，也就是模型输出的速度。推理分两部分，prefill 处理输入，比如丢一段长文档给模型；另一部分是输出，也就是吐字。输出速度第一直接对应线上业务成本，第二直接决定强化学习效率，输出慢，获得 reward 的速度就比别人慢。

还停留在训练 MFU 这类指标上的团队，在他看来技术认知有问题。曲凯问，和其他做模型 Infra 的人聊几句能不能判断出水平，朱亦博说可以，问一句最近在优化什么、大概能做到什么数据，没准就知道了。差别更多是方向选择上的，而不是单纯的技术水平。

铁三角怎么配合：算法、系统、数据的分工 0:22:06

模型是铁三角：算法、系统（Infra）、数据，三块都非常重要。朱亦博说，最理想的合作方式就是像同一个 team 一样，共同完成训练，有不同分工和优先级，坐下来一起讨论谁给谁让步。所有事情都有取舍，有时代价是损伤一大半系统性能换算法一点点提升，有时反过来，每个权衡都要两边一起定。

小团队的优势在这里体现得很明显。大厂里 Infra 常常是支持性角色，模型的人设计好模型，Infra 去把训练速度和推理速度调上去，Infra 对模型没有反向影响力。而 Infra 的核心被理解成降本，降本在公司里往往不是最重要的目标。

他给了一个在外人听来会有些偏差的分工判断。一个模型的算法效果不是算法人员决定的，是数据决定的；一个模型的效率和成本是系统决定的。因为跟效率成本最相关的是模型结构，所以模型结构应该由系统的人设计，才能获得最好的成本；模型点数、刷榜的效果应该由数据的人负责；算法人最该做的是去年的范式。

现实恰恰相反。现在设计模型结构基本是算法人在做，模型点数也基本算法人负责，但算法人未必最适合这两件事。朱亦博说，阶跃更多是像一个 team 一样合作，小公司也就这么点人；大公司人多，很难做到像同一个 team，管理起来非常困难。

曲凯接话说，很多大厂做 AI 遇到的最大阻碍就是组织结构问题。朱亦博同意：大厂一下子拉进来几十个人，分工是按大家之前的理解去分的，不是适应新时代最好的分工。按他的判断，模型结构交给算法团队，会导致模型结构的成本、效率不会太好。

阶跃自己也踩过坑。他们对自己不管是算力还是能力都过于自信，干了一个巨大的模型，确实执行完了，但巨大模型带来额外的问题。曲凯问是不是比 Llama 还大，朱亦博说比 Llama 大，DeepSeek 的模型不小，阶跃那个模型不比它小，而且比它早了一年多。他的心态是，做研究做研发和做工程不一样，赌的事情都有可能错，踩了坑爬起来再往前走，这一局你赢了，下一局我干回来。

范式不会那么快革新，多模态是突破口 0:30:16

朱亦博对模型范式的判断是：革新不会那么快。上一次是 2022 年 GPT-3.5，他提到自己 2023 年就刷过 GPT；这一次是 2024 年 9 月的 o1，DeepSeek 可以认为是 o1 的一个浮现。按两年一次的节奏推，下次大范式也许在 2026 年。

阶跃看好的方向是多模态，尤其是多模态生成和理解的统一。现在多模态的状态很像 2020 年纯语言的状态，那时候最流行的模型叫 BERT，只做理解。现在还没有人真正把理解生成统一做通。做通的标志是：同一个模型做理解比只做理解的模型好，做生成也比只做生成的模型好，就像 GPT-3.5 那样，一下子让以前做翻译的专用模型、各种专用模型通通退休。

曲凯提到 Google 的 Veo 3 效果已经非常好。朱亦博说 Veo 3 还是偏上一代的专用生成模型，做了比较多的工程工作，把配音乐等功能融合起来，技术本质和产品不是一个线性顺滑的过程。这条路还会继续走，不止 Google 一家。

聊到硅谷当红的几家 Infra 相关公司，朱亦博的判断是，它们本质上属于数据管理和处理公司，算不上 AI Infra 公司。Snowflake 商业做得蛮好，核心技术说起来简单：云的世界里有亚马逊云、微软云，它做了一套统一的数据抽象，让你在不同云上用一套统一的管理方式管起来。成为管理数据的入口以后，后面可以加增值服务，帮你处理数据、算一些东西。Databricks 相对更有核心技术，因为它以前是 Spark 这个分布式计算框架的主导公司，但商业化的时候逻辑也类似：帮传统企业把不知道怎么用的数据圈起来、管起来、串起来，客户把数据管起来以后，再往 AI 方向转型。

国内典型的 AI Infra 初创，他提到硅基流动、无问芯穹、潞晨科技，这几家基本都在做推理加速。潞晨早年做训练，袁进辉老师早年也是做训练，这个公司主要做推理，这跟商业模式有关系。训练的商业模式，朱亦博个人认为不太成立。现在训模型的主要是非常懂行的专业人士，第一钱不好挣，第二训模型就是为了用模型本身出来竞争，训练时任何研发都是核心竞争力，很难很早就交给第三方。把训练排掉，只剩推理，推理相对比较干净。

开源模型对 AI Infra 市场有促进作用，大家会研究怎么把它跑得好，这个过程促进 Infra 发展。但事情有两面：一个开源明星很火，大家花很多精力优化它，反而可能影响创新。DeepSeek 出来之前，很多人优化 Llama 等模型，积累了很多时间，DeepSeek 的模型很不一样，那些积累就废掉了一部分。他觉得还是有一定意义。

为国产卡设计模型，哪怕只提升一点点 0:36:35

朱亦博补充了一个很多人没注意到的连锁反应。DeepSeek、千问这些开源模型本质上都是针对英伟达卡优化的，国产芯片不是跑不起来，但性价比比不过英伟达。模型又开源免费，做一体机生意的人拿英伟达卡跑 DeepSeek 或千问，就是比国产卡有竞争力，最后反而影响了国产芯片在市场上的竞争力。

他的想法是，能不能改变这一点点：为国产卡设计一些模型，达到 SOTA 水平，推理效率非常高。这就是阶跃给所有国产芯片一份免费商用授权、共享模型权重、尽量帮它们适配的原因。这个视觉推理模型在几百亿参数这个量级是国内唯一的，国产芯片厂商可以拿它推特色产品；阶跃通过模型架构创新，把这个模型在国产卡上的推理成本做得非常便宜，让它们真的能和用英伟达卡跑其他模型竞争。他称之为共生关系：阶跃帮它们构建商业竞争力，它们帮阶跃推广模型。

国内外 AI Infra 的水平差距，朱亦博认为还是相当大。一是规模差距，一万卡和十万卡碰到的问题不一样。二是对上下游的影响，OpenAI 也想自己做芯片，Google 自己做芯片，它们资金和人才更容易做到硬件和模型的整套打通。国内有这个条件的只有个别大厂，但有没有真的组织起来成为好的状态也是个问号。有大厂既有自研芯片也有自研模型，Google 那种自下而上全套自己的东西，训练效率就是会高非常多，这也是 OpenAI 一直最忌惮 Google 的原因。

曲凯问，最终是不是大家都得有自研芯片。朱亦博说不见得，只是有这种危险存在。如果哪一家把模型和芯片上下统一做得非常好，会对竞争者形成非常大的压力。拉长时间看，必然会有这样的公司，比如 Google；别的公司不走这条路，只能从别处差异化竞争。

关于推理成本，曲凯问未来会以什么速度下降。朱亦博说推理现在并不算太贵，生成还是蛮贵的，尤其是视频，但他对成本下降蛮乐观，一年后几分之一肯定能做到，十分之一不好说。

梁文锋懂 Infra，以及几个真实的踩坑案例 0:46:30

有人说 DeepSeek 做得好是因为梁文锋懂 Infra。朱亦博确认，梁文锋自己做量化，量化非常强调延迟，他本身对 Infra 有研究，这一点业界有共识。他听到的说法是，DeepSeek Infra 的工程师数量大于算法人数，很多大公司是反过来的。

这跟过去的业务传统有关。以前做 Infra，会以用比较少的人支持很多业务为骄傲，说明 Infra 的通用影响力大。但大模型是快速发展时代，是非常垂直整合的事情，要对着某个硬件把模型优化到极致，就需要大量 Infra 的人。一些大厂过去一段时间比较挣扎，部分原因就是人才和投入力量错配，不适合这件事的本质需求。

他讲了几个业内案例。一家不小的公司开源模型，说模型不大，算法效果可以越级和大一些的模型比。但这个模型因为架构设计问题，实际在硬件上运行效率非常低下，可能比它所谓大一些的模型运行效率还低。这体现了算法人员并不真的懂硬件、不懂 Infra 怎么运行模型。

算法人员做模型架构研究，常常是画一张图，横坐标是模型尺寸或激活量，纵坐标是效果，在图上找到一个看起来不大、效果还好的点。但实际运行是另一回事，真正需要的图横坐标是实际运行的成本或效率，纵坐标是模型效果，得做各种实验才能画出来。没有拉通算法和系统的团队，做不了这件事。典型过程是算法人只看参数量那张图选点，扔给系统去优化，最后结果蛮糟糕，尤其开源之后大家都看得到。

另一个例子是 MoE。做 MoE 的早晚，直接显示 Infra 团队在大团队里的影响力和地位，做得越早，说明 Infra 团队影响力越大。因为在算法人眼里，MoE 是降本的事，不是提升模型能力上限的事：同样一百亿参数，MoE 还不如 Dense，为什么要做？只有系统团队有影响力也有远见，才会早做 MoE。DeepSeek 一上来就做 MoE，体现了他们 Infra 团队在模型结构上的影响力。

朱亦博回忆，几年前在字节复现 GPT-3，复现完业务看了 demo，觉得模型确实能做有意义的事，但太贵。他当时想，怎么既是大模型，业务又不嫌贵。Google 发过 MoE 的 paper，MoE 是这条路上相对容易的，可以把模型尺寸做得很大，推理成本却没有那么大，于是开始研究 MoE，那时候 ChatGPT 还没火。前几个月他见了一个老朋友，之前负责算法，对方说当时看着他们做 MoE，觉得不关自己的事，因为那不是算法应该做的事。阶跃是 2023 年 12 月开始训 MoE，那是第二代，也蛮早。

回顾 2023 年初到现在的模型发展，朱亦博说最大的转变就是 o1 带来的强化学习。以前也做强化学习，但 RLHF 只是很小的一个阶段；后来变成以推理输出为优化目标，强化学习才训得快，各种架构和硬件的选择都会为强化学习考虑，比如可以用异构的卡型、可以更分布式，很多以前对大模型 Infra 的假设都受到影响。

给 Infra 从业者的建议：靠近模型，靠近硬件 0:55:13

美国几家模型公司的路线出现分化。朱亦博观察到代码已经是一个明显的差异点。Anthropic 做 Claude，强化学习并不怎么强，但在强化学习没那么强的前提下，把代码做成一枝独秀，靠的是投入大量人力准备、构造、清洗代码相关数据，比 Google 和 OpenAI 都更专注，于是代码最强。在细分领域专门投入大量人打磨，还是可以打磨出特定优势。但他也说不好这能持续多久，也许出现更好的训练方式，一下又把它掩盖过去。

AI 应用公司和模型公司的关系，他觉得蛮微妙，看不清出路。一个应用公司调模型 API，搭一些 workflow，做出端到端体验好的产品。这件事现在能做出来，说明它本来就是模型踮踮脚就能做的；模型厂商看到这个应用火了，下一代模型就把这个能力变成原生能力，应用公司怎么办？但模型公司也不会比应用公司做得快，在模型能力没到、方向不清楚的时候，还是应用公司找到场景，用工程方法让模型踮起脚尖。他的判断是共生又在互相杀伤的状态。

给想转行或正在做 AI Infra 的人，朱亦博的建议很直接：靠近模型，靠近硬件，这是 AI Infra 和其他 Infra 最不一样的地方。要打心底对这个东西感兴趣，有足够的主观能动性去做各种联合优化，因为 AI Infra 处在这个位置，就需要垂直的、联合的优化，才能做出好的工具。

他最喜欢的一篇文章是 Rich Sutton 的《The Bitter Lesson》。这篇文章站在算法人的角度，说的是最终最能利用计算的方法，长远来看才是赢家，短期内各种取巧都不本质。从 Infra 的角度看，指导意义同样重大：怎么把硬件的计算发挥出来，怎么设计模型最好地利用计算，这件事最本质。

他最希望的是有朝一日能影响硬件。GPU 相对 CPU 没那么灵活，只做并行计算，但做并行计算做得特别强，本质是换来了摩尔定律的持续。CPU 的摩尔定律已经大幅放缓，英伟达 GPU 的摩尔定律还在继续，大概每两年翻一番。这跟《The Bitter Lesson》说的一模一样：摩尔定律一开始你觉得没什么，时间长了差距实在太大，因为它是指数上升的。英伟达的算力是 CPU 的十倍、一百倍，最后所有新应用想用大算力都得跑到上面来，AI、元宇宙、区块链都用它。

最重要的还是摩尔定律，怎么设计模型和系统软件，把硬件的性能全部发挥出来。

对读者来说，这期内容能带走几个可操作的判断。评估一家 AI 公司的 Infra 水平，别只看训练 MFU，先问它当前的优化目标是什么，在推理模型时代，输出速度（decoding）比训练利用率更能说明认知。评估自己要不要投 Infra，拿 GPU 月租乘上可优化的利用率百分比，算算省下的钱够雇几个人，这笔账很容易算清。评估职业选择，纯做中间层的 Infra 会越来越卷，往模型或硬件任意一侧多走一步，才有不可替代的位置。