一个人、两周、数百美元，如何训出登顶 Hugging Face 的模型 | 对谈研究员逯雨鑫

一张租来的 5090，一小时一两美元。一个 200 美元的 Claude Max 订阅，用来生成靶向数据。两周业余时间，几百美元总投入。逯雨鑫用这些做出了两个登顶 Hugging Face 模型热度榜的小模型。

他的履历里缺很多东西：没有 AI Lab 经历，不是 AI PhD，做这个项目时还在读 AI 方向的研究生，此前的工作是 data engineer。现在他是 Mind Lab 的研究员，做 post-training，蒸馏、SFT、数据工程，近期转向 continued pre-training。

42章经的曲凯跟他聊了 47 分钟。前半段是操作手册，怎么选底座、数据从哪来、蒸馏有哪几条路线、钱具体花在哪。后半段是判断，主权 AI 会不会成为应用公司的标配，Local AI 会不会是下一个 PC 级机会，以及为什么做出榜一模型之后，他还是去了一家 AI Lab。节目最后，42章经的内容同事陈皮还追问了一个问题：用户到底会不会为了本地模型，放弃最强的智能。

“大家觉得这事非常复杂，其实并没有” 1:33

曲凯开场就把话挑明了：在大多数人的印象里，训模型的人得是 PhD，得是 researcher，得在 AI Lab 待过。逯雨鑫的路径不长这样。

他自己的解释是，2022 到 2023 年 GPT 第一次对外开放时他就用上了，后来做 data engineer，接触到一些今天算行业领军人物的人，聊得多，对行业的理解也就跟着长，最后才选了 AI 这条路。

他把 AI 分成两类。学术的那类，作用是帮工业界拓展思路，找新方法、新领域。工业的那类，才是普通人真正能上手训模型的。工业界的主流做法就两条，SFT 和 RL。基础补齐，剩下的可以交给现在这一代很强的 AI 伙伴。

曲凯问他是不是全靠自学。逯雨鑫的回答分得很清：最基础的部分是自学，研究生阶段帮他把地基夯实了一下。

研究生更能提供的是方向，只要走对方向，自学是完全 ok 的。

曲凯接着问了一个更现实的问题：你身边做这件事的人多不多，是我们有盲区，还是确实没多少人做。

逯雨鑫说确实不多，但原因不是难。卡住大家的不是技术门槛，是这件事被想象得太复杂。他说实际上并没有那么复杂。这句话是整期节目的底色，后面所有细节都在解释“不复杂”到底长什么样。

五步走完：定目标、挑底座、做数据、选方法、迭代 6:08

曲凯请他完整讲一遍流程，从想做模型到做出来。逯雨鑫给了五步。

第一步定目标。他特别提醒个人开发者别一上来就想着拿热度，什么火做什么。现在什么火，竞争对手也多。做应用的公司就从业务出发，围绕 business 想清楚要解决什么问题。

第二步选底座。这一步的坑比想象中实在。他举了自己踩过的例子：Gemma 的 12B 版本，中文非常差，无论哪个量化版本，大部分时间都在讲粤语。这个问题他到现在也没解决。做中文向的东西，就得换成像 Qwen 这样的底座。架构、语言能力都得在选型时看一眼，不能随手挑一个下载量最高的。

第三步做数据管线。他把数据来源拆成三路。一路是合成数据，自己扮演用户，让 AI 生成；或者用两个模型对打，一个当用户，一个当真实使用的那一方。一路是公开数据，Hugging Face 上有很多好东西，国内的 ModelScope 也一样。还有一路是真实 trace，用户实际用出来的轨迹。三路怎么配比，是他后面花时间最多的地方。

第四步选训练方法。工业界流行的就两种。SFT，说白了就是蒸馏，把老师模型的能力蒸下来，数据喂给小模型；RL，强化学习，被吹得很神，他自己的判断是效果不如 SFT，所以只用了 SFT。中间还有 OPD 这类方法，对个人和应用公司都不太现实，成本太高。

第五步迭代。跑自己的 benchmark，看错题，从错题里找原因，再改数据，一版一版往上推，最后发布。

他补了一句，整套流程的工具全是公开的。训练脚本、公开的好数据、benchmark，在任何网站上都能拉下来，用 agent 加上自己学一学，很快就能改成适合自己模型的东西。环境也能买，价格很便宜。个人项目他全程用 Claude 完成，Codex 用得少，理由是 GPT 现在这套模型不太适合做规划，更适合执行，也就是写代码。

一个懂流程的人，几天就能跑完。不懂流程的人，也很快。

95% 的时间在做数据 11:33

曲凯问整件事最难的地方在哪。逯雨鑫的答案没有犹豫：数据。

真正的卡点，我的 95% 的时间都用在了做数据上。

他算过账。第一版模型总共花了三天左右做数据，训练一天。第二版两三周，其中十二天在做数据。训练本身非常快，有小模型加好显卡，几个小时一版，几个小时一版。

合成数据的效果被他直接否了。合成数据只能用来靶向处理一些问题，撑不起主体。他举的例子很具体：那个 12B 小模型有个毛病叫过度自信，跑 benchmark 的时候，很多题明明没做完，它直接宣布完成了。这种病在公开数据里找不到对症的药，只能自己合成靶向数据去治。

但治病的药也得自己验。他提到第二版为什么费那么长时间，主要就是审数据。数据量 5000 条，他自己抽审 500 条，比例是十分之一。审的原因很直接，AI 合成数据目前还很差，很多病都藏在里面。你只跟 AI 说“帮我做一些治疗过度自信的数据”，它做出来的东西完全不对。得自己看，得一遍一遍告诉它这一版哪里有问题，它再改一版，再改一版。

配比上，真实数据占了 60% 到 70%，剩下的是靶向数据，专门补模型的错题。总量做了小一万条，把整合和好轨迹都算进去，真正用上的要剔掉一大截，最后落在几千条这个量级。

曲凯问，能不能只看数据就判断这一版训练结果好不好。逯雨鑫说这块没什么捷径，一般般来测。数据有问题，你在训练前就能看出来；数据看着很好，训出来照样可能有问题。这就牵出了他反复提到的一个概念。

老师太强，学生太弱 15:34

这个概念叫 capacity gap。翻成大白话就是老师太强、学生太弱。

他给的数字是，老师模型的体量在 3T 以上，学生只有 12B。把老师真实的推理轨迹、真实的作答蒸馏进这么小的模型里，中间有一大块能力是学不到的。所以数据看着没问题、结果却不行，很多时候不是数据做错了，是这一步的容量差摆在那。

遇到这种情况，办法只有一版一版测。看是否有明显提升，没有就回头判断是不是老师太强、模型太弱。他在这里说了一句挺重要的话：不要因为一版没达到预期就放弃，觉得自己不适合。这件事需要的是耐心。

曲凯顺势问蒸馏路线。过去几年业内讨论过软蒸、硬蒸、聪明地蒸，各种说法都有。逯雨鑫的答案是，他用几台 8 卡的 H200 做过大量实验，on-policy 蒸馏是最强的，其他像 OPD、强化学习，都是在锦上添花，不解决根本问题。

那什么叫好的蒸馏？他给了一个跟 benchmark 无关的标准：看你的锚点。

不管它 benchmark 是掉分了也好，只要跟你的方向是一致的，我觉得都是好蒸馏。

反面例子他也说了。锚点是 benchmark，就拼命蒸馏 benchmark 的衍生变体，可真实目标只是想提升安全边界，这就是坏蒸馏。反过来，你想让模型往某个方向拉，数据也往那个方向走，哪怕 benchmark 掉分，也是好蒸馏。

这一段其实解释了那个模型为什么能上榜。曲凯提到，除了头部几家 AI Lab，别人不承担 AGI 的责任，不用想着训出智商更高的模型，只要用起来更好就够。逯雨鑫认同，并说这正是他项目成功的原因：现在大家用得最多的是 agentic 和 coding，他的锚点就压在这两个领域，下载量自然来。盯住真实使用，比盯住 benchmark 有用。对 AI 公司来说 benchmark 只是一场考试，考试的目标和用户的目标本来就不一样。

几千块钱能训出什么 20:01

钱的部分，逯雨鑫给得很干脆。小模型，几千到一万人民币以下，一个应用公司就能训出自己比较想要的东西。大模型要加卡，十几万到二十万以内。

这只是训练成本。曲凯追问了推理和调用那一端。逯雨鑫说那是 serving 的坑，SGLang、vLLM 这些架构各有说法，成本要看部署什么模型、有多少用户。他的估算是一台 H200 几万块钱，能撑十几个并发的极小需求量，够十几个员工日常用。

坑的清单里，他排第一的还是那句别放弃。每个环节都有一堆坑在等着。他自己最早公开的微调模型是搞小说的，纯粹为了满足自己的想法：喜欢武侠，金庸之外好书不多，看完想再找一本就很难，于是自己动手微调。那期间踩的坑不少。

底座推荐上，他给了一个很实用的判断：Qwen 的坑最少，训练、infra、脚本、部署都顺，是小模型里最好上手的，值得重点搞。有些新出的模型架构不主流，训起来非常复杂麻烦。他的经验是别太相信 AI 给的答案，及时去查，去看别人真实的成功案例。

曲凯还问了一个产品化的问题：既然每个环节都有第三方方案，为什么没人做一整套 pipeline，让用户跟着走就能训出模型。逯雨鑫说这正是除了 RSI 之外所有公司都在想的事。海外有公司做出来了，在 Hugging Face 上比较出名，但价格挺贵。国内很多公司也在做，infra 和 serving 是难点。Hugging Face 自己也有一项专门做这事的服务，坑还比较多。

曲凯的总结是，前几年大家讨论 AI Lab 的模型会不会商品化，聊到这里，训模型这件事本身也要商品化了。逯雨鑫同意，说完全做得到，只是 infra 还没搞好。

应用公司才是下一个 Neo Lab 23:44

节目后半段转向判断。曲凯列了一串近期迹象：主权 AI 被反复提起，公司想用自己的数据训自己的模型；做数据标注的公司在训模型；做应用的 Harvey 在训模型；做推理的 Fireworks 也在训模型。那未来是不是所有人都成了模型公司，这个概念本身就没意义了。

逯雨鑫的判断分两层。AI Lab 的数量会减少，但价值不一定低。他举的场景是刚发布第一个产品的小应用公司，比如做个健身打卡 app，这时候养一个 AI 团队，成本和效益都不划算，把主业做好才是重点。这类公司前期让 AI Lab 承接，等用户涨到几百万几千万，再建自己的团队。

中型和大型公司不一样，直接拉一个三四人的小团队就能干，开销就是这几个人的工资，加上部署和显卡。他还提到一个时间变量：现在显卡和内存价格在很高的位置，很多厂商没预测到 AI 会火成这样，短缺明显。等供应上来，会像当年手机流量一样，从三十块钱一路走到无限量。显存价格下来，大公司的成本会大幅降低。

曲凯把话题推到更远处：如果平台化真的成熟，应用公司建 AI 团队的门槛会比今天还低。逯雨鑫认同，并说 AI Lab 的方向已经很明确，往更高层面走，解决科学问题，做 AI for science，做预训练。日常的那些模型能力，在当下的 benchmark 上已经卷完了，开源模型足够覆盖很多需求。

这里他给了一个硬门槛。想自己做预训练，128 卡到 264 卡的 B300，跑好几个月。这件事应用公司做不了，还是 AI Lab 主导。

曲凯提到红杉此前的文章，说最新的 AI 应用公司未来反而会变成 Neo Lab。逯雨鑫觉得有可能，还举了个例子：一些行业里领先的公司，很多其他公司会基于它的模型做东西，它自己就成了新的源头。他判断未来的反转是 AI Lab 往上走，彻底不碰后训练，应用公司接管后训练，因为应用公司不想把数据分享出去，也想在行业里占住位置。中型应用公司手里可能还握着 token plan，小公司来调 API。

曲凯接了一个类比：现在 AI Lab 砸钱买数据，很像移动互联网早期字节砸钱买用户。那时候大家不理解为什么用户获取成本那么高还要买，后来才发现一开始是最便宜的，后面只会越来越贵。逯雨鑫顺着说了机制：你用 GPT 写一篇博客稿、调一段东西，这条真实轨迹本身就值钱，AI Lab 想知道用户真正的问题长什么样、问题是怎么被解决的。免费发模型也是同一套逻辑，架起一堆 B300 服务全世界，成本几十万几百万，图的既是宣传，也是收数据喂下一代。

曲凯最后问了一个私人问题：你既然看好应用公司，为什么自己去了 AI Lab。逯雨鑫说还是会有赢家，他更想往 research、RSI 那个方向走，做预训练这一类。他也点了一个风险：如果 AI Lab 哪天不再开源，对应用公司是毁灭性的。所以有预算的中大型应用公司，现在就该开始迭代自己的模型。他提到 Qwen 在某个版本上没有再发小模型，路就直接堵死了，很多人只会把模型部署在自己电脑上，一旦上游断供就没办法。

Local AI 与 SOTA 之间 36:59

节目最后聊的是那个经典类比：计算机从占满一间房的大型机，走到每人一台 PC，机会从 IBM 转到了微软和苹果。AI 会不会也这样，从几家大模型走到人手一个模型，跑在自己的电脑、手机、端侧设备上。

逯雨鑫的答案是“一定的”，而且已经在发生。他给的理由里，商业动机比技术动机更硬：调 API 的时候，你的数据上游是能看见的。市面上那些便宜的中转站，除了灰色地带的问题，还会卖你的数据。他见过太多案例，朋友遇到过，一些 AI Lab 也遇到过，被黑客拿数据泄露来威胁。

硬件的时间表他也给了。有报道说苹果可能在 2027 到 2028 年推出 2TB 统一内存的电脑，这个容量基本能跑今天的大模型，不用再调上游 API。这也是 Qwen 一直在发小模型的原因之一。

陈皮追问了那个最关键的反方观点：用户对智能的需求可能最终还是要到 SOTA 级别，OpenAI、Anthropic 一直在发最强模型，哪怕差距对日常工作已经不重要，用户会愿意用本地模型吗。

逯雨鑫承认自己现在用 Local AI 的频率并不高，本地模型确实会犯错，不如最前沿的模型。但他从 Hugging Face 上收到的反馈里看到了另一群人：对数据极度敏感的人。反馈最多的是网络安全领域，还有生物领域，这类场景里大模型的风控极严，很多问题它直接不答，那就只能自己部署。日常聊天，他也认为大家更愿意用大模型，手机现在还跑不动一个让人满意的模型，但未来 27B 级别的模型放进手机是有可能的。到那个程度，很多人问简单问题就用自己的设备，手机已经买了，沉默成本摆在那，天天问等于免费，调 API 每月还要二三十美元。

他举了小说创作的例子，这个他有发言权，早先就是做小说模型的。这一块的 token 消耗非常恐怖，跑完一版小说可能要几千甚至几万人民币，本地跑完自己再调，账完全不一样。

他还讲了一个具体的案例：Hugging Face 被攻击那次，最后解决问题用的是中国国产模型加本地部署，Claude 和 GPT 在这个场景里风控太严，用不了。

曲凯在这里给了两个反驳，是整期节目里最有意思的碰撞。第一，隐私可能不是真需求。今天很多 app 都在想办法拿用户数据，大家用着用着也就无所谓了。第二，就算有顾虑，安全公司加上 SOTA 模型也能部分解决，不一定非要人人上一个 Local AI。

他的落点更冷一点：最后用户最多的肯定还是豆包这类产品，因为方便、够用、便宜。今天在讲 Local AI 的这批人，是 AI 人群里话语权比较强的小众。隐私这件事也不太会由个人去选，更可能是应用公司推着走，比如苹果在推，因为应用公司和模型公司天然有点竞争关系。

最后肯定还是豆包的用户是更多的。

逯雨鑫基本认同，说豆包最方便，用户不用管它是不是 SOTA，能解决问题就行。

把这一期听下来，能带走的东西其实很具体。

想动手的人，路径已经清楚了：定一个跟真实使用对齐的目标，挑一个坑少的开源底座，数据以真实 trace 为主体、靶向合成数据补错题，方法用 SFT 蒸馏，跑 benchmark 看错题再迭代。一张租来的显卡、几百美元、两周业余时间，就能跑完一轮。真正的成本不在算力，在审数据的那十天。

做应用的公司，有两个时间点值得记住。一是现在就开始积累自己的数据和后训练能力，因为上游开源一旦收紧，没有自己迭代能力的公司会很被动；二是别急着在只有第一个产品的时候养 AI 团队，用户到几百万几千万再建，那时候的成本比今天低得多。

至于 Local AI，它未必会赢在“更强”，更可能赢在“不能上云”。网络安全、生物、小说这类 token 消耗巨大或者风控极严的场景，是它先站住的地方。而大众市场那一端，仍然是方便和便宜说了算。