# 从图形学到 AI 生成 3D：我们离 3D 版 Midjourney 还有多远？ | 对谈 Meshy.AI 创始人渊鸣

> 42章经 精读

- 发布日期：2023-12-16
- 主持：曲凯
- 原节目：https://www.xiaoyuzhoufm.com/episode/657d446d3d5d24e9cb3a6b86
- 网页版：https://42zhangjing.qiaomu.ai/ep/657d446d3d5d24e9cb3a6b86.html
- 精读字数：约 7719 字（阅读约 17 分钟）

> 本文为 42zhangjing.qiaomu.ai 基于节目转写的 AI 整理精读，不是逐字稿；引用请注明出处并链接网页版。

2020 年初，一篇题为《99 行代码的冰雪奇缘》的文章在知乎刷屏，作者是当时还在 MIT 读图形学博士的胡渊鸣。评论区第一名的留言是：「太巨了，图形+系统+编译，真的是创世的快乐。」三年多之后，胡渊鸣的身份变成了 Meshy.AI 创始人，做的产品是 AI 生成 3D 模型。清华姚班本科、MIT 博士、不到三年半毕业，这些标签之外，他还在图形学领域创业了两年半，学术和商业两头都踩过。

这期 42 章经，曲凯把胡渊鸣请到家里沙发上，聊了 44 分钟。话题从「到底什么是图形学」这种最基础的概念开始，一路走到 3D 数据的几种表达方式、AI 生成 3D 的三类任务、市场需求有多大、距离一个 3D 版 Midjourney 还有多远。后半段画风一转，聊的是科研 PhD 创业的心得，胡渊鸣说创业比发论文难多了，最大的感悟是 Why 比 How 更重要。

AI 生成文字、图片、视频、3D，是生成式 AI 的四块基石。前三块大家多少见过产出，3D 这一块对多数人还很陌生。这期播客的价值在于，它把 3D 生成这件事拆到了普通人能听懂的程度，同时保留了一个内行人对技术边界的判断。

## 图形学不是一门具体技术，是被应用催生出来的学科 0:01:42

曲凯问的第一个问题很直接：到底什么是图形学？胡渊鸣的回答从「真实感渲染」讲起。最早大家对图形学的理解就是，给你一些 3D 数据，你把它渲染成一部电影，越真实越好。但这个方向到 2000 年左右就很难再有本质突破了，研究兴趣逐渐转向仿真，比如用数理方程描述一栋楼怎么倒塌。2012 年 AlexNet 出来之后，图形学和 AI 的结合越来越紧密。

所以胡渊鸣给图形学的定义是：**它不是一个具体的技术，而是一个由很多应用去催生演化出来的学科。**核心目标始终没变，就是合成一个更真实、更有沉浸感的数字世界，通常是 3D 的。曲凯把它翻译成大白话：用技术更好地把控和修改对外的图形输出。胡渊鸣认可这个理解，因为不管现在的显示屏还是以后的 VR、AR，最终都要输出成视觉内容。

图形学大致分几层。硬件层是 CPU 和 GPU，GPU 诞生的原因就是它比 CPU 有更大的吞吐量，更适合做渲染仿真，后来 AI 反而成了 GPU 上很重要的一类工作负载。软件层分两种：离线软件，比如 3ds Max、Maya、Blender、Houdini 这类 DCC 工具，服务影视和广告行业，渲染出来是一个 mp4 文件，没有交互属性；实时软件，就是 Unity、Unreal 这类游戏引擎，特点是可交互，因此挑战完全不同。

胡渊鸣举了一个数字来说明这个差异：影视里渲染一张图可以花一个小时，游戏里渲染一张图只有 16 毫秒，中间是千倍万倍的计算能力差距。再加上游戏地图非常大，不可能把整个场景全部加载进内存，实时渲染要解决的问题就多得多。再往下一层是算法，NeRF、光线追踪、高斯散射都属于这一类，它们可以跑在 CPU 上也可以跑在 GPU 上，可以用于离线也可以用于实时。

硬件和算法谁驱动谁？胡渊鸣的答案是相互迭代。GPU 出来之后，能渲染的三角形从五个变成五万个，软件和算法就去利用这些新资源；算法需求涨到五百万个三角形，硬件又被逼着继续优化。他用了一个很生动的说法：左脚踩右脚，一步一步爬得越来越高。

## 渲染的本质是光线传输的仿真 0:08:22

曲凯追问，渲染到底是什么？胡渊鸣的解释是：场景里有一些 3D 模型，你想把它变成一张有真实感的 2D 图像，这就是渲染在做的事。难在哪里？难在现实世界里光线会在场景中不断弹射。你打开一盏灯，变亮的不是只有灯照到的地方，而是整个房间，因为光子照亮物体之后会继续在空间里传播，这带来了巨大的计算量。

光线遇到物体表面时，会根据表面属性发生不同的反射。大家中学学过镜面反射和漫反射，实际情况复杂得多：很多材质介于两者之间，还有透明材质，有大理石、木纹这种带花纹的材质。对这些传播方式建模得越精确，还原出来的数字世界就越接近人眼看到的样子。曲凯把它总结成一句：**渲染这个事情，本质上就是在做光线传输的仿真。**

这里有一个容易混淆的点。曲凯问，一键修图算不算渲染？胡渊鸣说不算。**渲染的判定标准是必须有 3D 数据，把 3D 转化成 2D 的过程才叫 rendering。**如果只是 2D 层面的处理，哪怕改变了光影效果，在图形学领域也不被认为是渲染。这个界定很关键，它划出了图形学的工作范围。

聊到这里，曲凯注意到一个现象：大家聊图形学，很少提图片本身，总是在讲视频和 3D。胡渊鸣说这跟 AI 生成的方向有关。视频和 3D 最直接的关系是，如果能生成一个绕物体转一圈的视频，理论上可以用 3D 重建的方法把物体重建出来。有些学术界的人和创业者就是这么想的：AI 生成视频解决了，3D 也就解决了。

胡渊鸣不完全认同这条路。他的观点是，这样其实有点绕路了，有一条更好的路线，直接让 AI 去学习 2D 和 3D 数据，不用经过生成视频这一步去生成 3D 模型。这是他的一家之言，但他把这个判断说得很明确。

## 3D 数据的五种表达方式，为什么最后都收敛到 Mesh 0:12:36

这期播客信息密度最高的一段，是把 3D 数据的几种表达方式挨个讲了一遍。曲凯的提问方式很朴素，一个一个问，胡渊鸣一个一个打比方。

点云，就是空间中一个一个的点，用很多点把 3D 物体表达出来，就像用很多像素表达 2D 图像。点云是不规则的，理论上更通用，因为它可以做出体素。但它失去了规则排列带来的好处。

体素，可以理解成 3D 版的像素。胡渊鸣的比喻是：你有一块豆腐，横切一百刀，竖切一百刀，再水平切一百刀，得到一百万个豆腐丁，这就是体素。**体素是规则分布的，对计算机体系结构非常友好，因为计算机喜欢横平竖直的东西。**它和神经网络也很适配，做 2D 神经网络时图像就是横多少行多少列的栅格，切换到 3D 无非是加一维，计算量大一些而已。Minecraft 就是体素最直观的例子。

NeRF，全名神经辐射场。它用一个神经网络去表示场景里每一个点从不同角度观察时的样子。每个点都有不同角度看上去的样子，这个数据量很大，需要一个东西去压缩，神经网络恰好适合做这件事。这是 NeRF 被大量研究的原因。

高斯散射，通常被认为是 NeRF 的替代品，某些情况下是升级版。它和神经网络没有关系，用一堆空间中的点，每个点有自己的方向性和大小，同样能表示场景的 3D 信息。它也可以理解成一种点云，但比普通点云多了一个优势：可以不断微调、不断优化。普通点云一般是算法直接输出的结果，很少在上面直接做优化。

Mesh，三角网格。实时图形领域最常用的表达方式，玩游戏时看到的道具和角色基本都是三角网格。传统渲染管线以三角形为单位进行渲染，三角形可以非常小、非常细微。光有三角形不够，表面还要有纹理贴图，贴图决定了表面看起来的样子。胡渊鸣举了个例子：一个立方体有六个面，每个正方形面斜切一刀变成两个三角形，十二个三角形就能表达一个立方体。

Mesh 不只有三角形，还可以是四边形、五边形网格。动画师偏爱四边形网格，因为做动画方便；建模师也觉得四边形拓扑结构更好，更容易编辑。四边形转三角形很容易，但转过去之后再编辑、再做动画就会变难，因为丢失了原有的几何信息。

那为什么 Meshy.AI 选择了 Mesh 路线？胡渊鸣说得很实在：虽然现在有很多新的表达方式，但大家用得最多的还是三角网格，手机游戏里的道具和角色都是三角形网格表示的。有些创新者在尝试把 NeRF 或高斯散射放进游戏引擎，好处是可以把真实世界里扫描的东西放进游戏，很有吸引力，但距离在主流游戏里发挥大作用还需要时间。**他给了一个判断：也许五年之内，NeRF 和高斯散射还不会成为主流的表示方式。**

更现实的约束是管线。曲凯提到，今年上半年很多 AI 生成 3D 的公司都纠结一个问题：生成的东西进不了管线。胡渊鸣确认了这一点：**最后输出的东西一定得是 Mesh，才能和现有的图形使用场景吻合，才是可编辑、可控、可用的。**这解释了为什么技术选型上看起来保守，实际上是需求倒逼。

## 大模型对 3D 生成的贡献没有想象中大 0:19:52

曲凯问，今年 AI 生成 3D 的技术进展怎么样？胡渊鸣说进展非常快，他在这个行业有一段时间了，从来没看到大家如此猛烈地研究同一个问题。

进展快是因为大模型吗？胡渊鸣的回答有点反直觉：**大模型在这里面的贡献可能没有那么大，因为 large language model 更多是语言方面的模型。**真正给学术研究提供了基础设施的，是 Stable Diffusion 这类开源的图像模型。很多人的做法就是把 2D 生成模型延伸到 3D，开源 2D 模型的价值反而更大。

曲凯接着问了一个概念性的问题：AI 生成文字、图片本质上是概率模型，视频可以理解成像素概率的延续，3D 是不是也类似？胡渊鸣说 3D 基本上可以认为是 2D 的一个未来方向。**2D 加时间维度变成视频，2D 加空间维度变成 3D，思想上是一回事。**但真去解决问题时，3D 会带来很多额外挑战。

他给了一个很具体的计算量对比：2D 生成一张 512 乘 512 的图像，这个分辨率还行；3D 如果要做到 512 乘 512 再乘 512，计算量就非常非常高。所以大家必须另辟蹊径，在有限的计算资源和有限的数据下戴着镣铐跳舞，去想好的算法。

数据是另一个硬约束。胡渊鸣给了两组数字：2D 数据集像 LAION 有 58 亿 5 千万张图，而 3D 模型网站 Sketchfab 上只有 500 万个模型，中间差了三个数量级，而且 Sketchfab 上的数据还有版权问题不能直接拿来用。

曲凯由此提出一个观察：3D 一直是个 to B 的事情，大家做游戏、做建筑，而图片和视频有 UGC 的概念，3D 很少有。胡渊鸣认可这个判断，并补充了一个市场规模的数据：**3D 资产的市场只有 2D 资产市场的十分之一到二十分之一。**

## AI 生成 3D 要解决的三类任务 0:22:25

胡渊鸣把 AI 生成 3D 拆成三类任务，这个拆法很清晰，也对应了不同的难度和场景。

第一类是文字生成贴图。用户提供三维模型，AI 负责生成表面的材质纹理。胡渊鸣的比喻是：拿到一个白色的雕像，用水彩笔在上面绘画，改变的只是表面的样子。Meshy.AI 在这块做得最早，贴图可以到 4K 分辨率，风格控制也做得不错，按他的说法是市场上最有竞争力的产品。

第二类是文字直接生成 3D 模型，模型和贴图同时生成，难度更大。主要应用场景是影视和游戏里的中远景道具。曲凯举的例子很形象：远处有一个小王子，桌上有一个苹果，大家不会凑近了看，但本来需要大量这样的道具来填充场景，现在可以用 AI 生成。

第三类是图像生成 3D 模型和贴图。难度和文字生成 3D 差不多，但图像比文字更可控。你要描述一个角色正面长什么样，用文字很难说清楚，给一张照片就容易很多。Meshy.AI 也有一个产品在线上，但不是最近主要花精力的方向。

曲凯提到传统的 3D 重建：电商场景里给一双鞋拍几十张照片，最后合成一个 3D 模型。胡渊鸣说这个技术十年前就很成熟了，成本也没有那么高，但对照片要求很高，相机角度要有约束，得摆相机阵列，像《黑客帝国》里的子弹时间。现在的新方法是只给一张照片，AI 去预测其他各个面长什么样。它怎么猜得到？训练时用的是多角度数据集，正面和背面一起训练，给你正面你出背面，给你背面你出正面，模型就学会了从正面推断其他角度。

三类任务之外，胡渊鸣还聊了 UGC 的可能性。3D 技术现在还不够成熟，专业场景达不到要求，反倒是 UGC 场景对质量要求没那么高，用户觉得能生成 3D 就很有意思，愿意用。Meshy.AI 和合作伙伴做了全球第一款 3D AIGC 手游，玩家输入提示词就能给游戏角色生成衣服，以前这些衣服都是美术老师提前画好的。

曲凯在这里提了一个很有意思的观察：图片和视频都经历过从专业工具到 C 端工具的演进，美图秀秀对应 Photoshop，剪映对应 Premiere，但 3D 好像跳过了这一步，一直停留在 Blender、Maya、3ds Max 这类专业工具，然后直接跳到了 AI 生成。胡渊鸣的解释是，普通人学美图秀秀、学剪映，界面设计好了还是能学会的，但 3D 建模不是所有人都愿意折腾的，也很难让每个人都有空间感。更根本的问题是场景：3D 缺少一个让普通人日常使用的场景。

## VR 设备成为下一代 iPhone 的那天，3D 资产才会真正普及 0:29:49

场景问题怎么解决？曲凯的猜测是 VR、AR。胡渊鸣给了两组数字做对比：现在所有 VR 头显的月活大概是大几百万，和手机的月活差距很大。但大家真正在赌的是，Vision Pro 会不会成为 iPhone。

他做了一个时间类比：iPhone 是 2007 年发布的，iPhone 4 是 2010 年，移动互联网革命真正开始是一零年前后，中间隔了三年。**如果把 Vision Pro 看成 iPhone，那大概也就是两三年的时间。**曲凯接话，那可以二六年再回来做一期，看看今天说的对不对。胡渊鸣说争取二六年。

这个判断背后的逻辑是：如果有一天 VR 头显的月活到了一亿，每个人的日常生活都会用到 3D 资产，场景就有了。胡渊鸣说现在这个时间点很好，二三年正好是起点。

市场需求这块，他给了几个具体数字。3A 游戏的成本里有 50% 是 3D 美术，越是开放世界的 MMORPG，需要的资产越多，成本越高。现在的资产怎么做？外包给资产外包公司，一千块钱一个人一天，做一把游戏里的剑盾牌搞两周就是一两万，制作更精良的角色成本更高。整个专业市场大概是 30 到 100 亿美金。**哪怕只占这个市场百分之一，也足够做一个 Midjourney 级别的产品。**

那距离一个 3D 版 Midjourney 还有多远？胡渊鸣从市场和技术两方面回答。市场上，消费级 3D 的需求还很少，他举了个很扎心的例子：我发给你一个 3D 模型，你知道怎么打开它吗？大概率打不开。这就是现状。改变可能发生在二六年，等愿意尝鲜的人人手一台 Vision Pro，或者小米版的 Vision Pro 普及了，大家不会再满足于看图片视频，会希望看可交互的 3D 内容，供需差距就出来了。市场方面，两三年时间，乐观来看。

技术上，他的判断是**目前只解决了百分之十的问题**。UV、拓扑、生成模型的质量、贴图的质量、可控性、速度，好多都没解决。但这个领域进展很快，剩下的百分之九十可能也就是两三年的时间。整体上他比较乐观。

曲凯追问，AI 生成视频和生成 3D，哪个会更快？胡渊鸣的答案是视频。**视频的市场比 3D 大很多，而且已经有消费场景了。**技术成熟度上两者半斤八两，视频现在还在解决「身上两秒钟如何扩展到八秒」这种问题。视频可以用插帧补帧、AI 剪辑做一些小技巧，但核心问题还是故事和逻辑，只有几秒钟，再怎么插帧也很难把故事逻辑搞出来。

3D 能不能像视频换脸那样，基于已有的东西快速变一个模型出来？胡渊鸣说可以，但没有应用场景。如果人手一台 VR 设备，拍一张照片变成 Q 版头像，肯定有需求，但现在大家没有很好的 3D 消费场景。绕了一圈，又回到场景。

## Why 比 How 更重要，以及忘记科学家的视角 0:38:48

播客最后十几分钟，话题从技术转到创业。曲凯提到胡渊鸣那段经历：拔了智齿牙疼，写不动代码，就想把科研经历写一写，没想到那篇《99 行代码的冰雪奇缘》会那么火。胡渊鸣说自己也没想到，初衷只是一个技术分享。

几年下来，两种生活的感受如何？胡渊鸣的回答很直接：「创业好难啊，比科研和发论文还要难多了。」曲凯问他后不后悔，他说目前为止不后悔。他提到老黄说过再选一次可能不会创立英伟达，都做成那样了还可以这么讲。他自己中途有一段时间压力很大，家里有老人去世，方向要选择，刚创业时也缺乏经验。但开始做 Meshy 之后，他非常享受这个事情，团队也很享受，因为反馈很好。

曲凯注意到，这件事在某些层面上又回到了胡渊鸣擅长的模式上，更偏底层和技术。胡渊鸣同意，但补了一句：技术方面对我们来说是容易的事情，商业化到底该怎么做、怎么找到 PMF，是永远的挑战。

给科研出身出来创业的人，他提了几点建议。第一点是尽早去想市场需求。他这两年创业最大的感悟是：**Why 可能是比 How 更重要的事情。**科研界也强调要 work on an important problem，选题非常非常重要。但创业里更关键的是问用户有什么问题，而不是强加给用户「我觉得你有这个问题」。用户可能比较 nice，跟你说确实有这个问题，你做了之后就被带到坑里去了。

曲凯补了一个更实际的检验方法：问的时候就让对方付钱。胡渊鸣说更好的问题可能是「你会为什么样的东西付钱」，或者直接给东西看他付不付。中国用户太 nice 了，问他会不会付钱，他很多时候说会，实际上不会，宁可去买一杯二三十块钱的喜茶，也不会为你的软件付钱。

第二点是忘记自己之前的经历。**一是忘记自己具体科研时解决了哪些问题，二是忘记自己从一个科学家角度对这个世界的理解。**前者防的是什么呢？博士期间研究的是 ABC，问了一圈用户，答案是 DEF，完全不一样。这时候是强行继续做 ABC 不撞南墙不后悔，还是换一种心态：作为一个科研人员，我能把 ABC 做好，就一定能 DEF 做好，而 DEF 是用户真正需要的东西。

曲凯在这里提了一个有趣的观察：很多做投资的是从管理咨询转过来的，管理咨询那套逻辑其实来自科研，假设驱动，做 A/B 测试，做实验。所以一个好的科研者，有时候不一定要跟商业的人学，反而是把科研那套逻辑用到极致。胡渊鸣认可科研工作者的优势：逻辑清楚，比较客观。但他也指出一个问题：大家对实验比较客观，对自己有时候没那么客观，很难改变自己的一些想法。创业需要非常及时地做出调整，CEO 就是赛车手，路肯定不是直的，要及時转弯。

第三点是性格。很多科研工作者相对内向，胡渊鸣说自己就是很严重的内向性格。曲凯开玩笑说，跟你聊这两小时我已经虚脱了，我得休息一整天才能缓过劲来。胡渊鸣说，正因为从事这样的岗位，他告诉自己不要以自己舒服的方式过每一天，要不断走出舒适圈，做自己没那么舒服的事情。那些不舒服的事情，反倒是对团队、对公司、对所有利益相关者更负责的事情。他恨不得休假时把自己关在小黑屋里写代码，那是最舒服的状态，但不去逼迫自己做这些事，不可能取得好成绩。

播客的结尾很轻。曲凯说，AI 生成 3D 听起来是一个需要延迟满足的事情，但你在做的是整个世界的基石。胡渊鸣把话题拉回愿景：希望每个人都能创造一个自己的虚拟世界，这和图形学帮助大家创造更好的虚拟数字世界的初衷非常吻合，每个人都希望说一句话就能把整个世界创造出来。曲凯最后接了一句：「上帝是不是第一句话说的是要有光？」胡渊鸣说，很对，上帝说要有光，所以我们先解决渲染的问题，有了光之后，就得有山川、有生灵，那就是 AI 生成内容的问题。

这期播客值得带走的判断有几个。3D 生成的技术路线受制于现有管线，输出必须是 Mesh 才能用，这决定了短期内不会出现彻底颠覆工作流的产物。数据量差三个数量级，是 3D 生成比 2D 慢的根本原因之一，LAION 有 58 亿张图，Sketchfab 只有 500 万个模型。市场爆发的前提是消费场景，而消费场景押在 VR 设备能不能成为下一代 iPhone 上，胡渊鸣给的时间是两三年，二六年可以回来验证。技术层面他自己承认只解决了百分之十，剩下百分之九十乐观估计也要两三年。

对做 AI 应用的人来说，胡渊鸣那句「Why 比 How 更重要」值得记下来。科研训练出来的人容易陷入「我能做好 ABC」的执念，但用户要的可能是 DEF。检验需求最诚实的办法是让对方付钱，而不是听他说会不会付。这一点放在任何 AI 创业方向上都成立。