# 我在 Character.ai 做 Post Training｜对谈前 C.AI 模型应用算法专家 Ted > 42章经 精读 - 发布日期：2024-11-16 - 主持：曲凯 - 原节目：https://www.xiaoyuzhoufm.com/episode/67359e9843dc3a43878eaa90 - 网页版：https://42zhangjing.qiaomu.ai/ep/67359e9843dc3a43878eaa90.html - 精读字数：约 12408 字（阅读约 28 分钟） > 本文为 42zhangjing.qiaomu.ai 基于节目转写的 AI 整理精读，不是逐字稿；引用请注明出处并链接网页版。 2024 年 9 月，曲凯在硅谷见了一批人，其中收获最大的一位，是当时正准备离开 Character.ai 的 Ted。Ted 是 C.AI 第四十多号员工，在那之前他在 Roblox、Meta、Google 之间跳过一圈，做的是经典的全栈工程师，偏后端。过去一年，他的工作是 Post Training，也就是把一个大模型从「不太会说人话」调到「业界最好的对话式大模型」。 这期播客聊了三件事：C.AI 内部到底怎么运转、Post Training 的最佳实践长什么样、硅谷一线的 AI 从业者现在在想什么。Ted 讲得很实在，包括 C.AI 为什么商业化一直没做起来、模型迭代里那些说不清道不明的「涌现」、以及他面试 Cursor 时被允许现场用 Cursor 解题的经历。 曲凯在节目里说，这期内容基本代表了美国最一线 AI 从业者的实践和认知。Ted 说话有个特点，讲到关键处会先声明「我很偏驳地讲」，然后给出一个相当明确的判断。这种坦诚在技术访谈里不多见，值得完整听一遍他到底怎么想的。 ## 有 Noam，和愿意为 Noam 买账的投资人 01:06 Character.ai 的用户群偏年轻、偏二次元，和 Roblox 有点像，但商业化一直没做起来。Ted 概括了两点：一是公司到当时为止只有一个简单的订阅，没怎么认真做；二是团队之前思考得也少，他走之前团队才刚刚开始积极探索这件事。 原因说出来有点像开玩笑，但 Ted 说他是认真的：**因为有 Noam（Noam Shazeer，C.AI 联合创始人），以及会为了 Noam 买账的大量投资人，商业化在很长一段时间里都不是公司发展的重点。**换句话说，C.AI 所有的娱乐属性，都是这个以 AGI 为目标的团队在追求 AGI 路上的副产物。 Ted 加入时公司将近 25 人，几乎全围绕模型训练，五到七个行政，不到十人做前后端和运维。全公司没有一个 title 是产品经理的人，所谓「半个产品经理」，是一位 Snapchat 高管兼职做顾问。Ted 对这位顾问评价极高，叫他超级产品经理。 聊到中美产品经理的差异，Ted 的观察是：国内更重人文，会总结出很好的方法论；美国这边他接触到的超级产品经理，在数据分析上非常深入，能力接近数据科学家，而且愿意亲自去翻数据找 insight。曲凯补充说，他看过美国产品经理的模拟面试，整个流程很像管理咨询面试，给一个用户行为变化的场景，让面试者拆解要看哪几个数据。 ## 如果重来一次，该不该赌一把大的 04:40 曲凯提到自己之前写过的一篇文章：C.AI 团队很长时间里既想要一个产品，又想要一个 AGI 的愿景，两件事都要做，倒推看的结果是两边都抓不住，必须放弃一边。 Ted 的回答很直接：他希望当时应该往 AGI 再赌一把大的。这意味着入职之前的很多决策都要为纯粹的 AGI 服务，过程中肯定会损失大量用户增长，但也许现在国外只剩五家 frontier lab 的格局里，能挤进去一家。他甚至设想，如果当时把 C.AI 前面那个产品直接卖给自己或者 MiniMax，后面好好做模型，也许是一条出路，只是政策上不太能实现。 关于「如果把 C.AI 交给字节系来做会怎样」，Ted 的视角不太一样。他觉得关键要看这个产品对母公司意味着什么。**C.AI 对 Character 来说就是唯一的产品，而 Talkie 对 MiniMax 来说，是证明自家模型在海外有增长的战略一环。**MiniMax 自己有海螺，有丰富的产品矩阵，还有 API，Talkie 更像整个公司战略的一部分，而不是全公司都得靠它走出去。 有人讨论过两家的产品形态：C.AI 打开一看就是没怎么运营和雕琢的 UGC 平台，奇奇怪怪的原生内容容易长出来；Talkie 有很重的推送、推荐和运营。Ted 说他们在今年年初产品团队膨胀之前做过推荐算法的调整，以当时有限的产品资源来看，结论是不太值得做。因为 C.AI 有大量用户数据，训练管线健全，用户和机器人的交互能快速回馈到模型，再回馈到全体角色和用户体验。**对他们来说回报最大的，是持续迭代模型，而不是靠运营和产品思路做官方角色、做更多推荐。** 不过 Talkie 一直在这个赛道的竞品榜单上。Ted 认可它功能迭代快，能快速上各种多模态新功能，内购做得积极，还允许用户自己造卡。但他说这里要澄清：**他们看 Talkie 做这些功能，既是认可，也是一种警示。如果 Talkie 做了这么多丰富功能，商业化和增长依然没有特别大的突破，那可能这些功能本身不太适合这个产品形态。** ## C.AI 到底是个什么东西 09:36 被收购之后，Ted 说他自己还是非常相信 AI 陪伴类产品的。核心问题在于商业化到底能走多远：如果重度使用的 app 做订阅不好做，是不是只能卖广告？是直接贴小广告吃流量红利，还是有更原生态的方式，让机器人去推荐广告？他觉得这里面有技术上还等待解锁的可能性。 用户量是不能忽视的。官方数据是月活 2000 万，日活接近 800 万，跟去年比翻了差不多一倍。按这个速度，明年月活可能到 3000 万，日活接近 1000 万。Ted 拿 Roblox 做类比：当年 Roblox 作为教育软件走进学生家里时，没人觉得它将来会变成月活四亿的大平台。 现在使用这类产品的人群，以年轻女性为主，相对偏二次元。Ted 说高中生比例其实没那么多，大学生和刚上班几年的年轻人比例更高。 曲凯提到之前和 TrACeton 聊过的一期，对方认为 C.AI 这类产品更像互动内容消费、互动小说消费，而不是真正的 AI 陪伴。Ted 非常同意。他给 C.AI 的定位是「创造型的感情伴侣」，创造性的部分非常重：用户得抽卡，每一句文字都是抽卡的过程，用户输入很多东西，机器人说的话要去筛选，不完美还得替换。在这样一个重输入的过程中，用户获得了很新的体验。 至于 C.AI 为什么在这个赛道做得最好，Ted 从技术出身的角度给了三点。**第一，Noam Shazeer 带着一群天才研究员，在去年那个时间点把推理成本压到外面同参数量模型的百分之一以内，这让公司能轻松 hold 住上千万用户，不至于马上把银行里的钱烧光。第二，自研模型意味着可以控制训练语料里人类对话的比例，在初期不特别追求 AGI 的情况下，先让它看足够多的人类语料，模型自然能跟人展开极大广度的对话。第三，后训练管线经过多次迭代，能把用户反馈快速送进管线，再结合外部数据标注，甚至用户帮忙做的额外标注，让数据高效地被模型吸收。** Ted 承认，在常见的感情陪伴场景里，C.AI 的模型确实没有其他家好。它厉害的是广度，以及在巨大广度之下每一个方向的深度都不差。很多用户跟其他家聊完，发现内容比较窄，情情爱爱、霸总剧情，聊久了会想要变数，这时会想起来试试 C.AI，发现在常见场景之外依然能聊得有来有回，还能给一些启发式的回答。这跟模型训练时见过太多自然人类对话有关。 ## 主动 996，和五十多岁的程序员 14:56 Ted 用一句话形容在 C.AI 的工作状态：主动 996。那是他严格意义上第一次加入初创公司，真切感觉到自己做的每一点事情、看的每一点额外数据分析，如果能对公司有帮助就好了。 这不是公司强迫的。他举例说，晚上在 Reddit 上看到有人说 C.AI 又登不进去了，他会去 Slack 上看有没有运维的同事在，能不能自己修。往往他去看的时候已经有十几个人在线。当时公司七八十人，有老有小，还有五十多岁、经验非常丰富的老工程师。合作很流畅，没有人逼谁，就是主动加班，主动帮用户、帮公司做更多事情。 严格来说 996 有点夸张，周末也就那十几个人会主动跳出来修东西改代码，平时正常上班九点到五点，中间还能吃一小时饭。Ted 说，那十几个包括他在内的人，是真觉得有使命感，在跟很厉害的人做很有意思的事。 曲凯追问：五十多岁的程序员在国内几乎不可能发生，在美国常见吗？Ted 说还蛮常见，他们公司不止一位，其中一位后来跟着去了 Google。这边对年龄没那么看重，更多看你本身能提供给公司的价值。很多这个年龄的程序员做了这么多年，到这个年纪已经不想退休，来这里做些事情本身就是一种很愉快的体验。 Post Training 团队要回答的问题是：Pre-training 那边给了一个很棒的大模型，已经有一套还不错的管线在跑，能把用户反馈和额外数据给模型看一遍，出来一个理论上对话能力很强的模型。但每天看 Discord、看 Reddit，用户还是在表达正常的愤怒，那怎么让模型更符合用户喜好，怎么在 AB 测试周期变长的情况下不停迭代模型，就是他工作的主要目标。 方式上，一方面是看大量数据、分析最近几次迭代的效果，理解该调数据还是调算法；另一方面是工程上思考管线里用户数据的使用方式是否不够优秀，DPO 这类算法最近有没有新的研究指出缺陷；当然还少不了跟研究员大量讨论。一天八小时里，真正写代码实现的时间不超过两小时，六个小时基本都在交流和分析数据。 ## 四条迭代路径，每条都有低垂的果实 18:42 Ted 说，这一代模型同样有数据飞轮，而且效应更强烈，因为大模型本身就是个数据黑洞，喂一堆数据进去，吐一堆数据出来，随机性和不可控性都很强。快速迭代时得不停改变数据配比，很多在某个版本上好用的技巧，带进来之后 AB 测试可能就跑崩了，内部评估分数也跑崩。里面有很多坑必须在一线踩。 最终最有效的，是建立起一个尽可能高效的迭代过程。这个迭代过程可以是管线非常 robust，有大量用户，或者用户量不大但 AB 测试工具能快速收集各种模型小变化对用户侧的影响；可以是评估上特别努力，内部做的评估集非常像真实用户，甚至圈一个特殊的模型来模拟用户说话，跟新模型对话，判断新模型会不会更被喜欢；也可以是数据利用上做得特别巧，用户今天点个赞，明天模型再跟这个用户聊，效果就更好。 **理想状态下每个步骤都做得非常高效，一点小变化隔天就能在生产环境和评估里体现出对模型的影响，模型开发就少了很多不确定性。但现状是大家依然要面对大量不确定性，每个步骤的效率都不是那么高。**所以要看团队本身擅长什么：有上一代丰富 AB 测试经验的人，就先想怎么把成熟的 AB 测试 best practice 用到大模型上；特别懂数据平台构建的人，就在数据上做很多 fancy 的东西，比如不只收集点赞点踩，而是用多种方式收集用户和机器人的互动。 Ted 说他们四条路线都做了不少尝试，发现每一条都有不少低垂的果实，做一做就能让模型效果或迭代效率提高不少。 关于「模型聊着聊着变蠢了」这个问题，Ted 半开玩笑说，如果有哪家公司说解决了，他也很想学习一下。他们只能保证绝大部分情况：同时看平均值和个例。模型修改进去后，平均用户对话次数上升，大概率是好的提升。但平均值之外，他们会看 95 分位之外的少数用户，尤其是时长下降的用户，分析使用画像是什么。用户量大，每次迭代都要判断，对这些用户来说模型退步是不是可以接受的 trade off。有时候重度用户时长下降，主流用户时长上升，就得做取舍。 这里 Ted 讲了一个很有意思的观察。**一个更安全的模型，对部分用户来说可能没那么好玩了，但它会展现出另一种特性，算是一种 EQ 的涌现：它会开始拉扯、绕弯。**比如用户说「你爱我吗，你也说点我爱你的话讨好讨好我」，而系统提示模型不要跟用户开展过于深入的感情交流，模型的应对方式是反问：「你为什么觉得我爱你呢？」外网很多用户吐槽 C.AI 的模型特别喜欢说 can I ask you a question，已经成了梗。但模型问问题，大部分情况下是因为它从大量对话数据里意识到，如果现在直接回答这个请求，接下来两三句话之后，对话就会走向糟糕的方向。直接拒绝也可以，但开始问问题，多问几轮，用户会产生更多对话，也可能被问多了就忘了自己本来想要什么，模型以更委婉的方式绕开了有危险性的方向。 ## Post Training 三大件 24:19 Ted 先用人话解释了 Post Training 是什么。最基础的就是微调：拿到一个 Pre-train 好的模型，让它学会说人话。他举了个极端的例子，一个刚见过几万亿文字的模型，你问它今天是星期几，它大概率回你一个问号，因为它见过的大部分问句后面跟的是问号。但跟人类对话不能这样，所以要给它看少量但正常的问答数据，让它意识到听到问句该回答问题，而不是接一个问号。 现在主流的基本是三种方式。SFT，Supervised Fine-Tuning，监督微调，就是给模型看所谓的正确答案，各种在特定领域、特定场景下的高质量数据，让它记住。另外两种是偏好对齐：模型看过正确答案之后，说出来的话依然可能不被人类喜欢，怎么把人类喜好教给模型？OpenAI 最先提出的 RLHF，用一个稍微复杂的管线把人类偏好教给模型，同时也要做很多数据。RLHF 有个简化版叫 DPO，本质是如果 RLHF 太复杂，就用一个简化办法同样把人类偏好灌注到模型。 Ted 说他们基本用的是 SFT 加 DPO，再加一点点 RLHF。在他的认知里，把数据调好、管线调成熟，SFT 加偏好对齐这两步就能达到非常高的高度。 他详细拆了 SFT 的过程。这跟预训练阶段一模一样，让模型不停看大量文字，看第一个字、再看第二个字，第一个字作为上下文，一直看到第一百万个字。模型本质是一个巨大的矩阵，里面全是数字，输入变成一组数字跟矩阵做乘法，输出另一组数字，告诉你下一个词可能长什么样。预训练把矩阵里每个初始随机的数字变成一组新数字，这组数字理论上能对任何输入输出最可能的下一个文字，就是最高效的文字接龙。微调基本也是在调这个矩阵，调全部还是调部分，看投入多少资源和方法。 SFT 和预训练的区别在于数据质量高得多。预训练可能是互联网上搜集来的大量文本，有正常对话也有科学文章；SFT 阶段会精心挑选人类高质量对话，A 说一句、B 说一句，拼成很长的一段，让模型一个字一个字看过去。这里有个很多人敏感的点：我跟机器人说的话是不是都被拿去训练了？Ted 专门澄清，完全没有。**训练时可以只让模型学 B 说的话，A 说的话只作为上下文，模型扫到 A 的话时可以直接跳过不学。**用户说的话有很多隐私问题，不能让模型学。 再往后是 RLHF 或 DPO。Ted 说，很多对话其实没有太多正解可言。聊了五十句之后你说一句话，我的感觉是「还行，挺有意思」，这是一种喜好判断，而且越是开放式的领域，喜好的存在远超所谓正解。RLHF 的做法是：假设上下文是一千个字，有三四个不同答案，按好坏排成 A、B、C、D，把这些数据给模型学，训出一个奖励模型。奖励模型看到类似上下文和一个答案，能判断这个答案有多大概率被人类喜欢。有了奖励模型之后进入强化学习：让文字模型跟环境交互，不停生成下一句话，奖励模型不停告诉它这句话好不好，形成一个反馈循环，文字模型在这个过程中不断提升自己。难点在于怎么设计一开始的数据来训出一个高效的奖励模型，其余都是很成熟的强化学习关键。 DPO 则是说别搞那么复杂的管线。假设你有一堆用户点赞点踩的数据，拼成偏好对，让模型同时看这句话用户喜欢、那句话用户不喜欢，大量偏好对作为简单的训练模式，让模型一遍过。过程里要加载两个模型，一个要训练的，一个参考模型。DPO 简单快速，能快速建立起反馈循环，Ted 说这是它最好用、见效比较快的地方。 RAG 和 Prompt Engineering 在 C.AI 内部几乎没有做。Ted 很坦白，RAG 没做特别多尝试。Prompt 方面，每个角色会有一个 prompt，跟 GPT Store 一样，用户会在角色上给大量 prompt，他们试过给自己加额外 prompt，发现往往跟用户千奇百怪的 prompt 冲突，小规模实验之后就没在官方层面做太多。 ## 两道数据思考题 32:53 流程大家都知道了，都是做 Post Training，都知道数据质量重要，都知道要做 DPO。那做得好的和做得不好的区别在哪？Ted 说这可能是非共识的地方。他会反问：**不论是 SFT 里找的高质量对话数据，还是偏好对齐里找的偏好数据，真的是你现在能找到的最高质量的数据吗？**他们在 C.AI 都觉得这上面还有很大空间可以挖。 > 当你开始下这种结论的时候，我觉得你可以直接反问一下，真的没有办法让他再提高了吗？ 他的建议是，SFT 目前大有可为。大家觉得 SFT 不就是给一堆正解吗，找高质量人类数据就行了，但高质量人类对话数据本身是个非常开放式的问题。C.AI 的做法是，SFT 的人类对话数据不是人工挑选的，而是拿用户反馈数据辅助挑选，做一个分类器，分类器的数据来源就是用户反馈。用户反馈在不断提升，暑假的反馈和开学的反馈不一样，下一次 SFT 就用最新的用户反馈数据指导分类过程。这个分类过程不停提升，总能找到比上一次质量更高的人类对话。**所以他们的 SFT 是一个非常动态的过程，每次模型迭代，SFT 的数据配比都会有一定程度的变化，变化的根源是用户反馈。** 用户的偏好在变，所谓高质量人类数据也应该变。不然产品迭代三个月，一开始选的那段高质量数据，对三个月后进来的新用户已经非常不匹配。把 DPO 的简单管线 build 好之后，能快速观察到用户偏好具体是什么样，来指导更好的 SFT 过程。Ted 说这里面属于「一直 SFT 一直爽」，有大量潜力可挖。 另一个在 Twitter 上很流行的观点是数据快用完了。Ted 不完全同意：互联网上现在这个阶段，只是通过简单过滤规则被丢掉的数据依然有相当多，先改写现有这些质量不那么高的数据，可能比从无到有生成新数据效果要好得多。 第二道题是偏好数据的来源。点赞点踩只是最基础的。**用户在跟 app 交流时能做很多事情，比如编辑。用户编辑了这句话，是不是说明他更喜欢编辑之后的版本？编辑前和编辑后就构成一个好一个坏的偏好对，可以直接丢进 DPO。用户删除一句话，本身也是偏好。**如果收集了足够多删除数据，就知道用户真的不喜欢什么，可以再训一个分类器，把用户可能不喜欢的东西挑出来，把删除动作转化成训练数据。C.AI 在产品层面做得不算特别多，但产品上能收集到的用户行为，都能高效转化成对 SFT、DPO 甚至用户推荐有帮助的数据。 Ted 观察到，很多竞品的思维定势是「大模型这么棒，那我就想办法收集点赞点踩吧」。他觉得 2024 年下半年再严肃做这件事，应该去想产品上怎么能更丰富地收集用户反馈和互动，再丢进微调管线，这里面有大量低垂的果实，是能产生差异化的点。这件事该谁负责？Ted 认为主体是 Post Training 的人，因为实际在用这些数据、写代码让模型只看 A 不看 B，最了解数据怎么被模型消化，也知道数据长什么样对模型效果最好。但比如平台以女性为主，收集数据时要不要做性别标准化，这就牵扯到产品，产品得先决定调模型的方向跟新产品方向是否相关。 技术上还有个先发优势。C.AI 以免费状态持续很久，吸引大量用户，用户大量跟模型交流，某种意义上是规模的暴力。其他公司做 AB 测试动辄要一周才能拿到足够数据，他们可能一天就够。在快速迭代的基础上快速实验，积累下来的 know-how 有些连他们自己也不能完全解释，但就是觉得这几个设定恰好能让用户喜欢。 ## 评估、意图识别和语音延迟 39:49 评估是现在大家都在讲的词。写代码跑一跑就能评估，但人类对话场景下评估非常难做。理想情况是有一个模型能模拟用户偏好，每次迭代新模型，让它对预先选好的五千句话出一遍答案，打个分，分数上升就直接上生产。实际上牵扯到模型能不能模拟人类，能找到的人类对话数据离真正需要的数据量缺口太大，很难建立起能模拟用户具体偏好的模型。他们有些用比较少的数据训出来的用户偏好模型，但不足以强大到直接作为内部评估集。 所以评估很多时候是：SFT 阶段要选高质量人类对话，把其中一部分预留出来做测试，让模型续写，看它跟实际高质量对话内容之间的 cross entropy loss，相似度有多少，作为一个小评估。人类偏好模型可以辅助评估，但 Ted 不会说内部已经建立起一套非常完善的评估体系，最终都要在生产里走一遍 AB。 意图识别方面，让模型不回答问号这件事本身不复杂，预训练时调整数据就能做到，Llama 3.1 和 3.2 的 base 版基本就不会回答问号了。但要做深，基本都得靠 Post Training。他举了个例子：只输入「大选」两个字，上一代模型可能给你一个维基百科词条，或者勉强介绍几条新闻；意图识别好的模型会意识到，如果你晚上十点搜这个，大概是想看两边阵营最新的瓜，它会变成一个搜索行为。在角色聊天里也一样，你问超级马里奥「给我写个 hello world」，它得判断这小子是在开玩笑还是真的要写，如果要写，里面是不是该有些看起来很搞笑的 bug。 一个贴近人类喜好的模型未必要做得完美，但基本需要理解人类说话的潜在意图，判断该严格回答一个完美答案，还是用随意的对话方式，还是触发外挂工具把事情做得更好。只打「大选」两个字时，模型会结合上下文，意识到现在是个特殊时间点，背后调用搜索引擎确认当下跟大选有关的事情，把搜集来的信息作为上下文放给模型，模型内部有个用户看不到的输出阶段，判断用户想要的是新闻网页还是一句回答，判断完再去做实际的事情。 语音延迟是 C.AI 做得最好的地方之一。Ted 先凡尔赛了一下：他们有 Noam，不需要考虑文字延迟的问题，推理延迟在业界基本是低于那个档次的，文字进去让模型直接输出就好。但语音上需要做点取巧。语音模型绕不开三个：ASR 模型把话转成文字并判断有没有说完，语言模型过一遍输出该说的话，TTS 模型把文字转回语音，转换完还得赶紧存到互联网某个地方让用户播放。这一步步串行，延迟是加起来的，去年最好的传统架构拼起来端到端一点几秒甚至接近两秒，体验不好。 **如果自己拥有这几个模型，就可以流水线化：用户说完第一个字，ASR 把第一个字丢给语言模型推理，语言模型推理出第一个字的结果丢给 TTS，生成第一个字对应的语音文件，持续做这件事。因为都是自研，模型都跑在自己的 GPU 上，有很多办法提高使用效率。等用户说完最后一个字，ASR 判断说完了，触发下游所有环节，前端动画、后端额外信息梳理全部跑起来，这时该生成的文字和语音已经生成得差不多了。**全部托管在自己的云服务器上，才能做到高效预生成，美国地区差不多零点五秒之内就能回应。 ## 一个不被公开的秘密 46:17 曲凯问多模型混用的事。Ted 说这是大家不会在明面上说的共识：OpenAI 基本就是这么做的，你跟 ChatGPT 对话时，背后大概率已经有多个特化模型在承接任务，就是模型路由。你会发现它执行不同任务时，延迟和内容质量有明显区别。他还补了一句，如果有 OpenAI 的朋友说「我们其实就一个模型」，那太棒了，但路由的逻辑非常显然，就该路由。未来在类似场景里，多模型混用会是常规操作，除非哪天 GPT-6 或 Claude 5 说我们一个模型比你们两个都好、价格还更低。 长期看，Ted 说 o1 出来后的这几个月，整体还是很乐观的。o1 证明模型迭代还有额外路线可以走，可以继续堆推理侧的算力让性能提升，训练时也有些新技巧可以研究。他特别讲了 o1 延伸出来的一个积极角度：OpenAI 自己在博文里说，o1 做得很好的是有明确答案可以验证的过程，写代码、解数学题、解物理题，但一到写作，跟 GPT-4o 基本不相上下。扩展到人类对话这种没有明确答案的场景呢？ o1 某种意义上是证明了 inference time compute 的价值，不用天天只看训练时的 compute，可以在推理时让模型产生新能力。Twitter 上有个叫 entropix 的项目，在推理时做大量额外采样，模型生成几个答案，选哪个答案的过程做了很多动态数据调整，说选答案时有大量丰富信息可以辅助选更好的答案。最后做到用 1B 的模型很好地回答 9.1 和 9.8 哪个更大。很多人觉得这是过拟合或者 magical，甚至怀疑是骗子，但 Ted 说很多他很认可的 Twitter 大 V 也在认真看这个过程，现在大家尝试把它用到 70B 上，看能不能因此有强大的采样逻辑，拥有类似思维链的思考过程。 另一个方向是：人类对话的思维链到底是什么？你跟人打字会打了删、会撤回，人类对话里这种行为天天发生，大家都在想这句话怎么说最让对方觉得有意思，前进后退，最后决定这句话比较有意思。**这种思维链有没有可能让模型学会？现在模型做陪伴对话、感情对话基本就是直出，有没有可能让它学会类似 o1 的方式，内部想几十个回答，判断这句让玩家友好度加五、那句减二，但后面二十句好感度可能加一百。**Ted 说这是个非常开放式的问题，他自己在尝试探索，发现模型的确会产生一些很奇妙的感觉，不像直接一次性生成的回答。OpenAI 至少告诉大家好，这是一个方向，值得研究，用 RL 辅助模型获得更强的人类对话能力。 ## 硅谷现在在聊什么 50:45 Ted 用一句话总结硅谷当下的状态：偏产品的 AI 公司基本都在往多模态方向走，看怎么赚钱；偏算法的公司基本在想 o1 到底是怎么训出来的、类似的路线怎么复制、要不要在推理时堆额外技巧让效果更好。两边有个潜在共识：类似 Google 宣布 12 月要发的 Jarvis 这种交互式 Agent，接下来一年有很大可能性。 多模态是为了赚钱。当不能再讲基础研究、不能再等基础研究这个趋势之后，投资人和公司自己都在想商业模式怎么快速运转，哪怕不赚大钱，也要证明商业模式不只是卖流量或者烧 VC 的钱。曲凯问美国资本市场是不是也在变务实，Ted 说前两年 VC 会给很多信心，也是因为过去两年模型不断给人新的惊叹，现在这边 VC 整体信心依然充足，但会希望你更脚踏实地，不用讲特别虚的「等这个技术、等那个技术」，而是希望模式一开始就比较 make sense。 多模态具体指什么？Ted 说都混在一起，简单讲就是跟你现在产品主要模态不一样的另一个模态。现有模态下，增长和产业化好像都见顶了，故事讲不起来，用户增长停滞，所以都在想选哪个模态：图片模态成熟些，视频模态或 NotebookLM 那种想象力更大。选哪种能发挥产品现有用户量和 momentum，快速切入新的能获得利润的场景，是很多 AI 产品在考虑的。 算法那条线就是追赶最领先的模型，研究能不能追、怎么追、数据要不要追，这条路线上看起来还有些果实可以摘。 ## 面 Cursor 的时候，被允许用 Cursor 53:48 Ted 聊了很多硅谷求职的经历。他感觉业界越来越意识到 Post Training 对每个产品的重要性，以及 Post Training 人才的技能树会点得很宽：左边是 Pre-training 出来的勉强能说人话的模型，右边是用户特别喜欢、越喜欢用模型就变得越好的终极形态，中间全是 Post Training 的领域。不论是做模型研究、做企业服务，还是做陪伴、感情价值、娱乐，都会有对 Post Training 管线很大的需求。 印象最深的面试是 Cursor。他上来就问「我可以用 Cursor 吗」，对方说可以。面试给了一个链接、下了一个文件，说是他们实际生产在用的相关逻辑的实现，故意加了一个 bug 导致程序运行很慢，让他去找。Ted 说现在 AI 公司很多面试流程更加强调实战，喜欢快速 coding、快速反应、快速使用 AI 工具，短期写很多代码、短期分析代码。允许你直接问 Cursor 这个 bug 可能在哪，但考验的是你问题问得好不好，不会给你很多时间反复试错，你一开始问的第一个问题就能看出作为大模型从业者本身的素养。 他觉得现在哪怕有一定算法成分，面试对「正解」的追求已经不那么重要了，重要的是解题过程，这是很难让 AI 帮你模拟的，你得表达、得分享思路，这些是人性所在的部分。三五年前遇到难题他会觉得完蛋了，现在挺自信，硬着头皮上，把能想到的都分享出来，甚至会说能不能用 AI coding、能不能用编程助手，如果允许 Google 搜索，会直接把搜索的思路和过程全部展现出来，告诉对方「这就是我加入公司之后的工作方式」。 被问到最好的问题是什么，Ted 说面他的很多是接近 founder 的人，问得不多，但印象很深的是有人问他：「你觉得我们这个 idea 有多不靠谱？」他很喜欢回答这个，因为第一反应常常是真的觉得不靠谱，然后展开一系列攻防问答。在 to C 那个领域，最后剩下的那家，他一度觉得自己有点不礼貌，天天质疑人家，没事就微信说「我觉得你这东西还是不靠谱」，但在这个过程中他越来越理解他们看到的那个 vision 是真的。 如果他是面试官面 Post Training 的人，最想给两篇 paper，提前给对方，让对方现场讲解 paper 里可能的问题。他们会内部试验过，知道这篇 paper 有些缺陷，想看这个人能不能只通过读 paper 就感觉到，哪怕擦到边也可以。**这就是对 paper 的美感。他身边遇到过的研究员对 paper 的美感判断都非常好，不用读特别多，读一遍就能感觉到哪里不太对劲，而且是直觉型的，之后写代码或者拿数据才发现好像是真的。** ## 华人扬眉吐气的最好时机 57:28 最后聊到华人在硅谷的状况。Ted 说这可能是过去很多年里华人最好的机会，甚至是移动互联网之后华人最好的时机。客观事实是，OpenAI、很多大型模型公司、很多 AI 创业公司里，华人比例极其高。很多在大厂待了很多年、完全可以继续拿极高薪水慢慢退休的人，现在也都下场，觉得这是个特别好的机会。 他相信这个趋势能让更多华人进到更有影响力的地方。比如在 B 站做技术分享的翁荔，之前是 OpenAI 的安全副总裁。他相信这样的华人在核心圈子最前沿持续创业，或者作为企业高管，对接下来的华人发展会有很大帮助。现在 to C 这边做得非常成功的 AI 创业公司，很多是华人为主的核心团队。他不否认这个事实：华人在产品化上的能力就是很强，完全不输其他族裔的人。 曲凯补充了一个画面：他在美国去 Meta 食堂吃饭，回头一看基本是百分百中国人，而且基本坐满了，不是游客，是真的 Meta 员工，那一瞬间感觉像回到大学食堂。Ted 说这个时代特别 match 华人在硅谷的学术和努力优势，一拍即合。他还提到，OpenAI 每一次回购都会让一小批人财富自由，这些人会慢慢分散到硅谷创建自己的公司或培育新团队，这些都是华人将来在硅谷有立足之地、有更大影响力的必要条件。 节目最后，曲凯问了一个有点私人的问题：全程聊 C.AI 你都说「我们 C.AI」，感觉你还是很喜欢这家公司，它过去一年多肯定也带给你很多东西，那你到底为什么要离开？ Ted 的回答是：**他相信在 C.AI 积累的东西能够在一个不同的平台造福更多的人。虽然这话听起来有点大有点假，但他是真心觉得能为全人类做更大更好的贡献。** 把这期听完，能带走的判断大概有这么几条。第一，Post Training 的差距不在流程，流程是公开的，差距在数据：你找到的高质量对话和偏好数据，真的还能再高吗？用户编辑、删除这些动作，都是比点赞点踩更丰富的偏好信号。第二，评估在人类对话场景下极难做，模拟用户偏好的模型还不够强，最终都得回到生产环境走 AB，同时盯平均值和长尾用户的退步。第三，商业化是团队目标和资本结构共同决定的结果，C.AI 的案例说明一家公司把力气花在哪，往往在很早就被定下了。第四，硅谷当下的两条主线很清晰：产品侧往多模态找收入，算法侧追 o1 和推理侧算力，两边都在等交互式 Agent 解锁新的想象空间。