# 这个男人帮 5 万个 AI 应用接上了大模型 | 对谈 Dify 创始人路宇

> 42章经 精读

- 发布日期：2023-08-19
- 主持：曲凯
- 原节目：https://www.xiaoyuzhoufm.com/episode/64e040eb80c9ec4c5faf2868
- 网页版：https://42zhangjing.qiaomu.ai/ep/64e040eb80c9ec4c5faf2868.html
- 精读字数：约 12015 字（阅读约 27 分钟）

> 本文为 42zhangjing.qiaomu.ai 基于节目转写的 AI 整理精读，不是逐字稿；引用请注明出处并链接网页版。

2023年5月中旬，Dify.AI 在 GitHub 上线。一周之内，star 数冲到三千。到8月这期播客录制时，star 接近七千，Docker 镜像拉取量超过一万，公有云版本上跑着四万多个应用。两个月后，这个数字变成五万。创始人张路宇（Luyu）此前做了五六年的开发者工具，他给产品起名 Dify，意思是 Do it for you。名字是 GPT 帮忙起的。

42章经创始人曲凯把张路宇请来聊了一期，主题是大模型应用怎么真正跑起来。两个人从 LLMops 的定义一路聊到 Agent 的三种形态、Prompt 被低估的难度、LangChain 的定位、五万个应用里跑出来的真实场景，最后聊到各自最焦虑的事。曲凯说，张路宇是全国最理解大模型应用与生态的人之一，因为他手里握着最一手的数据。

这期节目信息密度很高，但散落在七十四分钟里。下面把它拆成几个部分，尽量保留原话里的判断和数据，去掉重复和语气词。

## LLMops 不是运维，是运营 0:00:34

曲凯一上来先问定义。LLMops 显然衍生自 DevOps，但张路宇强调，这两个词里的 ops 含义并不一样。

传统 DevOps 里的 ops，翻译过来更接近运维，指的是服务器监控、可用性、性能这些偏基础设施的事。Dify 把自己定位成 LLMops 时，ops 更偏向运营。区别在于参与者：**AI 应用不会像传统软件那样，几个工程师写完上线就定型，它需要大量懂业务的运营人员、销售人员把经验灌进大模型里。**

所以张路宇说，这个 ops 是向更多人开放的概念。他还补了一句区别：传统软件研发是瀑布式的，一次性干三个月然后上线，而 LLMops 必须有持续迭代改进的过程，不接受用户快速反馈去纠正 prompt、agent 和模型，就达不到预期结果。

曲凯顺势问数据。张路宇报了几个数：GitHub star 接近七千，Docker 镜像拉取量一万多，公有云上四万多个应用。他解释 Docker 那个数字的含义：Dify 的社区版被打包成一个镜像，通过命令下载，必然安装到服务器上，所以一万多这个数基本等于私有化部署的安装量。

曲凯提到 GitHub star 有水分，有人刷单。张路宇承认收到过刷 star 的邮件，没理。他说今年 AI 本身就给 GitHub 注了水，不同题材的项目不能放一起比，全自主 agent 类的项目天然比 LLMops 品类高一个档次。他给了一套更靠谱的观察方法：**看镜像拉取次数、看 Python 包或 npm 包的下载量、看 Google 搜索趋势，几个数据结合起来看。**因为很多开发者的行为模式是打开项目、觉得牛逼、点个 star、关掉，跟浏览器收藏一样。加上 GitHub 有日榜周榜月榜的马太效应，强者越强，单看 star 会失真。

## 从 Prompt 到 Embedding 到 Fine-tune，一条由易到难的路径 0:07:07

曲凯问，四万多个应用里到底有没有规律，什么项目靠谱。张路宇从模型层开始往下拆。

模型层，OpenAI 是明显领军者，无论是模型能力还是 API 提供的功能，都比其他模型好出一大截。他给了个粗略的分数：OpenAI 八十多分，第二名可能是 Claude 或其他，六七十分。所以现在想做离生产最近的应用，首选 OpenAI 的模型，以后可以换。

接入模型之后是定义应用。张路宇把中间服务层从简到复杂分了几级。最简单的是由几个简单 prompt 组成的应用，比如文法纠正、评论情绪分类，这类不能作为独立应用，更适合做原有应用的增强，或者封装成产品化应用，比如 Jasper 那种帮你批量写市场文案的工具。

再往上需要私有数据。OpenAI 模型的训练数据大部分截止到 2021 年，要让模型了解私有知识，有两条路：微调模型本身，或者做 embedding。

张路宇解释 embedding 的本质：它是调用大模型之前的一次 prompt 组装过程。你问「曲凯老师今年做了哪些项目」，模型本来不知道，但 Dify 这样的产品会把你的问题和向量数据库里的数据组装成一个完整的、更长的 prompt，比如「曲凯是谁，他今年做的项目有哪些，用户问了什么问题」，拼起来喂给大模型。对模型来说，这只是一段超长的 prompt。

听起来简单，工程细节很多。一个 8K 的上下文窗口，用户提问占一部分，命中的信息占一部分，命中一条还是五条还是十条，还要给回答预留空间，token 怎么分配全是工程问题。向量数据库在这里的作用是做相似度匹配，核心目的是节省 token。

微调这条路，张路宇说他们最早做 Dify 时就想做 fine-tune，当时项目还叫 AI Trainer，AI 驯兽师。二三月的时候每个开发者看到大模型都觉得自己是造物主，第一反应就是调整模型。但微调不好操作：数据量要求大，需要大量 QA 形式的样本，想让模型知道曲凯是谁，这个问题得换着花样问二十遍、回答二十遍再灌进去；而且微调要把模型加载到 GPU 显存里，非常吃资源，开源模型做微调需要的机器配置是推理时的两到三倍。

**所以微调是一种不太划算、只在特别必要时才用的能力，对大部分开发者门槛太高。**典型场景是改变模型的默认回答风格，比如做一个写诗的 AI，希望诗的风格接近某种调性，这是对模型性格的改变。

张路宇在博客里写过这三步：prompt 工程、embedding、微调，从易到难，按情景选划算的方式。曲凯补充了 few-shot，张路宇说这是 prompt 工程的一种技巧，论文显示能把回答符合预期的概率净提高百分之二三十。他解释原理：文本大模型本质是文本补全机制，你只给指令，它要先去理解；给一三个或五个例子，等于对指令做补充，让它在参数里找更接近你想要的结果。

## Agent 的三种形态，和它头上的三朵乌云 0:15:48

前面说的 prompt、embedding、微调，解决的都是模型单次回答什么的问题。复杂情景，比如让 AI 帮你订一张机票，需要多轮对话和多步推理，这就是 agent。

张路宇给 agent 的定义：让大模型利用推理能力和上下文，反复推演，结合手上可用的工具（搜索、上网、API 能力），完成一系列连续动作，最终达到一个目标。

他把市面上的 agent 分成三种。**第一种是纯手工编排，第一步干嘛第二步干嘛、调什么工具都写死，这其实不算 agent，RPA 也能实现。第二种是完全自主的 agent，非常不可控。**Dify 在探索的是中间形态：用部分编排能力混合一些自主能力，实现相对可控的状态。反过来，当一个 agent 表现好、完全达到预期时，可以把它完整的推理过程和工具调用预存成一个编排过的 agent，下次直接复用。

曲凯说自己一直没太理解 AutoGPT 为什么引起那么大轰动。在他看来，从 copilot 到 autopilot 是人介入越来越少的过程，人介入足够少自然就是自动系统，而 AutoGPT 本质是给模型一个嵌套逻辑，先让它拆解问题，再按拆解自己做，概念很简单直接。

张路宇的回应是，agent 的推理过程太接近人脑了。他描述了一条路径：现在是帮你更快地完成一件事，很快会变成帮你完成一件事，再往后是帮你替代一个人。他还说，大家对 agent 和开源模型这么热衷，是因为它实现了一种技术平权，一个工程师从来没有如此接近这么强大的武器，想到的是可以以一敌百，可以和大公司拼一拼。

但 agent 现在有三个问题。第一，上下文窗口不够。写一个软件项目，正常都是十万行代码以上，模型要做这件事必须把十万行全部装进上下文。第二，模型推理质量不够。GPT-4 推理能力很好，但偶尔出错，ChatGPT 自带的代码解释器就是一种编程 agent，它经常要反复自我纠正几次才能达到效果，等于承认第一次推演的结果是错的或信息不完备。第三，工具的质量。张路宇举了他们做过的内部工具：让大模型辅助工程师做 API 自动化测试，先要检查所有 API，但市面上 API 定义格式语言都很长，装进大模型很慢或者被裁剪，他们自己发明了一个只有一半长度的语言来解决。

曲凯追问大模型的局限，提到上下文长度像人的短期记忆，还有幻觉、注意力不集中。张路宇解释注意力问题：文本补全机制下，越接近尾部的权重越高，你给五千字 prompt，模型对接近尾部的信息权重更高。人聊天时能抓住重点，靠的不只是理解力，还有情绪、停顿这些信息，而纯文本模型获取这些很困难。

曲凯提了一种方案：用另一个大模型帮忙总结五千字，两个模型配合。张路宇说这需要人工介入，完全自主化的情况下并没有解决问题。这本质是放置优化，把长的缩成短的，前提是自主完成从长到短的过程是 OK 的，而且还是要测，few-shot 可能少不了。

## Prompt 的潜力和难度，都被低估了 0:23:20

曲凯问，prompt 这件事现在是被高估还是低估。张路宇的回答很干脆：**潜力被低估了，难度也被低估了。**

他观察到，很多软件团队今年开始基于大模型 API、基于 LangChain、基于 Dify 做应用，第一个要迈过的坎就是 prompt 工程。这恰恰是最难的。大家都没经验，人和人之间的默契都要配合，何况人和模型之间，要不停找感觉。他们内部自嘲，做 prompt 的不叫工程师，叫 prompt 艺术家。

Dify 打算怎么帮开发者做这件事，张路宇分了三层。第一层是工具：传统写软件有 IDE，基于 prompt 就得有 prompt IDE，快速写一个 prompt，生成十种变种，在十个模型下快速得到十种结果，再对照预期结果纠偏打分。这是真自然语言编程。

第二层是模板和引导。系统内置一些模板，告诉开发者解决哪类问题用哪类范式最好。张路宇说他们和模型厂商的合作比一般产品更深，会问厂商这个模型的特征是什么，能不能把技术黑箱打开一些。厂商有调试报告，会告诉他们解决哪类问题 prompt 怎么写最好。不同模型的调性不一样，甚至要换一套写法，Dify 跟每个模型都调过，开发者拿去开箱即用。

第三层是用高级模型辅助写 prompt，做 copilot。OpenAI 有篇论文提到，用 GPT-4 去解释 GPT-3.5 为什么这么回答，是可以给出解释的。

曲凯提到 OpenAI 自己的人说过，大家不要过于花精力在 prompt 上，它可能是个阶段态的东西。张路宇同意 prompt 不可或缺，但写 prompt 的难度一定会越来越低，因为模型本身在改进，工具也会提供更多范式。他提到一种嵌套玩法：写一段 prompt，作用就是帮你把话变成更好的 prompt 再输入进去。

话题转到成本。张路宇说通用大模型的好处是知识多、推理强，代价是慢和贵，这是它从零岁爬到十八岁的代价。垂直领域希望有垂直模型，性能性价比都好，但他跟模型厂商聊过，理论上不太容易存在。开源的小模型六 B、十三 B，简单微调后在文字模拟、照猫画虎上确实有效果，微调完很懂法律，但一问有推理有逻辑的事就不行了，参数不够。

曲凯由此总结，大模型的学习能力相比人还是挺笨的，吃掉几乎全网数据才达到成年本科生水平，而人一两天在课堂上学的东西，理解速度要快得多。张路宇补充了一个多模态能解决对齐问题的例子：问模型非洲分木做的吉他什么音色，它会说温暖、锐利，问另一种木材它可能也这么回答，因为它对这些词背后的意义没有概念。人在描述音色时也不知道用什么词，只能找几个接近的，人和人沟通本身就有信息损耗。曲凯接了个比喻：像期末考试突击两天去答卷，感觉写的好像是对的，其实也不知道在写什么。

## 多模型混用是定局，中间层的价值就藏在这里 0:31:17

曲凯问未来大模型的市场格局。张路宇说混用现在就已经发生了：文本生成、推理、embedding、声音转文字、文字转声音，很多环节在 Dify 的工程里已经开始混用。多模态出来之后，一定是多个模型配合的过程，每个模型有擅长领域，成本也不一样。

他推演了两种情况。一种是商业模型垄断市场，三到五家赢家，每家一套封闭解决方案，模型多样性少很多。另一种是开源繁荣，百模大战，各领域各有专长，对 Dify 更有吸引力，因为工程上能做的事很多。

近一两年，他认为还是商用模型为主，效果和成本优势都好很多。开源模型还早期，但 Llama 追得很快，国内 GLM 效果也不错。

曲凯抛出一个他问过所有做中间层的人的问题：这事未来大模型自己会不会做掉，国内投资人问得最多。张路宇的答案是，模型层会混合，多个模型同时存在，中间层就有很大价值。大模型厂商做开发工具包甚至中间件服务都挺好，他们离技术细节更近，但有几个问题。

**第一，屁股不对，所有事情围绕自己的模型做。第二，云厂商做不好 SaaS，全球范围内云厂商几乎没有在哪个 SaaS 产品上做得特别好，要么收购，基因是卖资源，不是开发者体验。第三，不中立，开发者会保持距离。**

他举了个具体场景：开发者选 Dify 或 LangChain 这样的产品没有心理包袱，知道后面模型可以想换就换，先拿 OpenAI 做最好的原型，再换到想要的模型。但如果拿的是微软的工具包，只能接它的模型，就会有疑虑，万一模型跟不上市场发展，代码要重写吗。中间件解决的重要问题就是把 prompt 工程和程序代码解耦，代码归代码，中间件归中间件，好不容易分开，不能再黏回去。

曲凯问用了 Dify 到底能缩短多少时间。张路宇说，以 LangChain 为基准，大部分典型应用能缩短一到两个月开发时间。但这不是重点，重点是 LLMops 后面需要各种人参与进来，反复运营、维护数据，很多市面工具解决不了后面的问题。比如数据集维护，不是录一次就好，embedding 数据需要精细判断，需要所有人都能掌握，需要给数据增加或降低权重，国内还要维护敏感内容。agent 之后有各种工具，哪个效果好就申全，哪个不好就剃掉，这些都需要人反复参与。

他提了一个判断：不可能公司里只有两个懂 AI 的人来做所有事，未来是所有人围绕这件事配合。如果做不到，AI 的可塑性潜力就没被最大发挥。如果每个人不能轻松塑造符合预期的 AI，AI 就仍然掌握在少数技术人手里，而他们对世界的理解是片面的。

## LangChain 是新手村，也是教科书 0:38:55

曲凯说 LangChain 是今年绕不开的关键词，但大家对它的理解最弱。张路宇给了个定位：**它既是一个工具箱，也是一本教科书。**

LangChain 是个 library，开发者用 Python 或 JS 写代码接入大模型时，它把模型接入、模型模板、prompt 里哪些词要替换、chain（链条，调模型之前干什么、调完干什么）这些抽象概念封装成简单形式的代码。张路宇打了个比方，它是一个 cookbook，菜谱，各种调味料都在里面，你可以拿它去用。

但问题也在这。它是非常早期的产品，在大家关心大模型的时候把所有需要的东西一股脑放进去，油盐酱醋都在，因为太早，没有经过很好设计。做到比较深的工程时，会发现它不够用，必须改。它也不是 service 化的产品，仍然是一个代码库，需要维护，需要和你的代码耦合。它封装的调味料、食谱都非常浅，团队最大的能力是动员很多开发者加入社区一起做，早期对开发者来说是最好的标的，大家都贡献代码。比如它支持了二十种模型、十种向量数据库、七八种工具，但稍微把任何一个工具拿出来，都很脆弱，仅仅能跑起来的程度。

有句话叫 LangChain 是开发者做大模型的新手村，张路宇觉得差不多。入门的东西都在里面，可以拿来用，但想接着做下去，用 LangChain 第一周写完的东西第二周接着写，写到好的程度，基本上代码就得废了或者魔改。它做得好的地方是把一堆东西传到一起，传得早、传得多，还定义了很多范式，chain、agent 这些抽象概念，有代码放在那里告诉你怎么写，是一本非常好的动态教科书。

LangChain 后来出了 LangSmith，一个配套的调试和跟踪服务。传统软件开发里也有类似的东西，浏览器控制台会统计一个网页加载的图片、音频、文字各用多少时间。LangSmith 就是在 LangChain 代码里开一个开关，运行过程中的所有信息被跟踪上传，做可视化。因为大模型本来就是黑盒，用了链之后一个应用调七八步，每一步输入什么输出什么，工具帮你统计出来。

曲凯问 LangChain、LangSmith 和 Dify 的关系。张路宇说 LangChain 对 Dify 也是基础设施，当工具箱用，需要用就用，不需要就不用，后面可能完全不用。LangChain 不是完全产品化的产品，Dify 是完全产品化的 LLMops 应用技术栈，既能在云服务用，也能开源拿回来自己部署。LangSmith 的调试能力，Dify 里面也会有配套工具。**Dify 是整体解决方案，即拆即用，能满足百分之七八十的情景；LangChain 是一堆积木，你得组上各种东西放到一块才能用。**Dify 也用到了一些积木，未来可能自己重新造水泥。他透露内部有个东西叫 Dify Core，在做 Dify 的过程中想象一个更底层的库最好的形式是什么，做出来可能会开源，那就有点像 Dify 自己的 LangChain。

曲凯提到一个他原来没想到的现象：很多开发者做到某个程度之后，LangChain 必须丢掉，因为它已经完成了新手村上路的过程。张路宇说他们很了解 LangChain 用户，试图拿它做深度应用时确实得丢掉。曲凯打了个比方，像一把青铜剑不断打磨，打磨到最后发现怎么打磨还是青铜，只能换更高级的材料。

曲凯问 Dify 会不会遇到同样的问题，技术很牛的创业公司觉得自己从零造最好。张路宇说不是所有开发者都需要 Dify，追求最大自由度可以自己写代码，连 Python 标准库都不用，用 C 写。但那些需要人反复运营的工作，不是代码能解决的，是 Dify 能提供的基础设施。他们现在也在把几个好零件单独拆成单体产品，比如数据集能力、agent 编排能力，可以配合 LangChain 或开发者喜欢的东西一起用，用整体方案也行，用我一个方向盘、轮胎也行。

他补了一句：做 Dify 就知道，所有开发者拿大模型做应用的前三个月遇到的问题几乎一模一样，细致末节不同，大体相同。做自有问答知识库的，embedding 怎么做、分段怎么做、权重怎么分配，问题一样，只是内容不同。做 agent 的，模型驱动怎么做、推理模板怎么做、调用哪些工具、工具限制的轮次和问怎么控制，也一模一样。

## 五万个应用跑出来的真实场景 0:46:51

曲凯问这些大模型的问题未来多长时间能解决。张路宇把 Dify 的开发者分两类。**务实型开发者评估过大模型能力，认为现实情况下大模型能做出什么事，这类人现在遇到的困难，未来一年内都能解决，无论通过模型层还是中间件工程。**愿景型开发者希望大模型一次替代一个团队，这种比较难，三五年内一部分需求能满足，另一部分会被厂商做成比较深的垂直产品。

曲凯接话，说下午刚跟妙鸭的负责人聊过，大模型能力有限的前提下，最考验产品能力，需求定义得足够清楚。需求不清楚等于要爬一座高山，需求清楚可能开个隧道就过去了。张路宇同意，问题越限定，技术解决难度越低。

具体场景，教育最多，比如评估学生水平、给命题题目、给作文打分。张路宇说打分太主观，但告诉学生哪里对哪里不对很容易，尤其对低年龄段，编程也好写作文也好，做改进非常好。曲凯由此提了个判断：现在定量会遇到很多问题，记忆问题等等，但定性相对 OK，大模型给的任何数字可能都不要信，但它给的方向很多时候都是好的。

其余场景：行政，企业内各种内务调度；市场营销，目前最成熟，写文案、做图、商品图；客服，替代简单情景已经很好。他举了个客服的例子，用户进来问问题，系统能查这个买家过去买过什么、订单是什么、今天来的情绪是愤怒还是积极，然后判断该不该退款，这类问题大模型已经解决得很好。

张路宇说他们团队内部不会让所有人把工作交给 AI，而是把运营类的增长工作拆成二三十项工种，圈出哪些在大模型当前成熟度下适合做，标出来，用 Dify 或各种手段做自动化的改进与替换。不要一上来就说拿大模型替换一个人，要把一个人的所有工种能力列出来，看哪些大模型的程度已经到了，也许能在这里发现一个很好的市场机会。

## 入口不超过三个，后面可以挂无数个 bot 0:51:06

曲凯让张路宇抛两个让人听不懂的问题。张路宇说他脑子里最困惑的是一个简单但难回答的问题：**基于现在大模型的能力，未来会诞生最多增量的 AI 原生应用到底是什么样的。**就像移动支付激发了 O2O 这样的产品，基于大模型会诞生什么样的大增量应用，是他最期待看到的机会。

他自己给的答案倾向：多种模型能力揉到一块，甚至加上硬件，是一个非常封闭、很好的解决方案，融入到你身边的物件里。他不相信未来会有那么多 chatbot。

曲凯提到第一期嘉宾说未来每个人、每个企业都有 bot，几十亿人口可能对应上千亿个 bot。张路宇说 chatbot 只是交付给用户和开发者的一种直观形式，是大家现在最能理解的，Dify 作为应用技术栈完全可以不做这件事，现在做是为了跟用户拉近距离，不意味着相信未来都是 chatbot。他判断，到今年九月十月之后，手机、Windows、操作系统里都会有一个，企业内部也会有一个，一个人有三个 chatbot 就够受了，还得磨性格，前端上不需要那么多。

他相信操作系统级别会有 chatbot 入口，解决调度和聊天体验。入口不会超过三个。但入口可以是一个接线员，把各种 agent 接进去。因为每一个大模型要做一个完备的 agent，需要组装很多东西，每个 agent 跟人一样有自己的能力栈，不可能用一个 AI 模型替代所有人的能力，里面有我的特点、私有知识。**入口可以有一个，入口后面的 agent 可以有无数个，中间是接线、转接、路由的过程。**

曲凯对比说，OpenAI 现在是模型加 plugins，实现的还是一个意志、一个主体。张路宇说他指的是另一种情况：很多微 agent 有自己的工具，工具之间的权重和组合关系都设计好了，是完备的、有自己意志的整体，被一个入口集成进来。可能像你现在的微信通讯录，需要的时候找到那个正确的 agent 接进来，甚至搞三个 agent 中间讨论同一个问题、吵一架，都没问题。

曲凯说最近几个月大模型相关的热点和质变明显变少，问未来还有哪些方向会热。张路宇说光多模态这个故事就够大了。现在大模型的能力仅限文字层面，对图形图像的理解还少。下一代大模型训练时如果有更多感知，视觉、听觉、触觉、温度，结合文字一起训练，能力会远大于现在，因为现在接收的信息是单一的。多模态一方面让模型能力有质的飞跃，另一方面输出形式也丰富，文字、图片、3D 模型、声音，能真正做很多现在人类知识工作者才能做的事。曲凯接了个比喻：像请大模型看 3D、4D 电影，现在还是看小说的阶段。

另外两个方向。一是模型小型化、移动化。现在参数量这么大才获得那么点智商，算法和硬件层面调优之后，模型未来可以装进口袋，不需要那么依赖云端，至少可以装在家里，类似一个 WiFi 一样的东西，成本、速度、效率都会变。二是一切数据向量化。现在所有有知识产权的东西，电影、小说、书籍，都是给人类阅读的，这些材料都应该被向量化一遍，让 AI 快速加载，像 U 盘一样插到 AI 上。他相信这是一个很大的市场，所有东西都要以 AI 能读的形式重新出版一遍。

张路宇还提了版权和合规的混乱：Dify 是开源项目，开源许可证规定了让你干什么不让你干什么。如果 GPT-5 能力足够强，拿一个限制很严的开源项目给它读一遍、重写一遍，那是不是一个全新的东西？我自己抄了一遍书，这书还是不是我的？这类问题都需要解决。

## 两个人焦虑的是同一件事 0:59:07

曲凯问最焦虑什么。张路宇说，他焦虑的是模型的发展速度没有他说的那么乐观。曲凯说自己主要焦虑的也是这个，所以要给国内的大模型创始人打 call，还是要加油。

张路宇说很多大模型厂商最近也跟他聊应用怎么真正跑起来，一方面 Dify 能帮他们的用户做这件事，另一方面有些厂商已经卖出了一些大客户，客户预期很高，即使拿出世界上最好的模型，能力也没办法满足。厂商跟开发者一样，也在找场景、做各种尝试。曲凯打了个比方，模型厂商像技术材料提供商，Dify 像装修队，要有人把材料真的装好，变成商品房。

曲凯说今年国内大模型有一点计划经济的味道，需求端一股脑都去做。他觉得这可能是唯一应该被计划的事，因为大模型确实很费成本，没有集中的资源调度可能就赶不上。但计划经济带来的问题是拿着锤子找钉子。他问 Dify 是锤子还是钉子。张路宇说都不是，Dify 是介于锤子和钉子之间的东西。曲凯说，你是那个螺母。张路宇说，现在锤子们都在相互模仿造锤子，Dify 从第一天就是围绕钉子做的，基于开发者甚至小白的开发者反推，要充分利用大模型应该做些什么，产品由此诞生。

曲凯说他最看好 Dify 的地方在于：未来上游一堆大模型，下游一堆应用开发者，中间一定需要一个东西串起来。张路宇说他们最宝贵的东西是跟几千个开发者建立了连接，中间可能有上百个关系特别好，遇到技术难题、成本限制，会毫无保留地告诉他们，甚至不一定告诉模型厂商。所以他们知道在有限的密集作用下可以做出什么东西，Dify 能帮什么。

## 画外音：曲凯怎么看这笔投资 1:02:44

正片结束后，制作人 Celia 拉曲凯补录了一段。曲凯说这期没聊太多张路宇个人，主要是因为太熟了。他回忆四五月遇到张路宇时，大家还在看中间层到底有没有机会、大模型会不会自己做、中国市场会不会跟海外不一样，而张路宇联系他时，一整套东西已经做出来了。张路宇还给他看了对海外市场的整体研究，包括 LangChain 和其他项目，代码已经看了好多遍。

曲凯说他们看创业者的偏好跟市场不太一样。市场一派喜欢特别年轻、聪明、有潜力的，他们接得不多。市场另一派喜欢特别光鲜的高管，他们也不特别喜欢，因为可能不那么 hands-on，实干能力不一定强。他们更喜欢 underdog 概念：有足够冲劲，足够 hands-on，能做很多 dirty work，学习能力强，像大厂中间层，但是大厂的核心力量。

执行力强的基础是什么？曲凯说，做得快的本质是想得比别人清楚，想清楚最重要。另外张路宇做过类似的事，知道事情该怎么跑通，能很快走完从零到一，不用重新踩坑走弯路。**执行力强等于想得清楚加有经验。**

为什么投 Dify。曲凯说，在那个节点大家都没那么看好中间层，他们很看好，核心原因是大多数投资人从大模型开始看起，觉得投了大模型、模型能力很强、后面的事模型自己会做。他们从应用层看起，先看做应用的人，聊了很多公司，发现大家花大量时间做基础设施，有的团队花几个月就为了追求一个可用性或可实施性，大量时间和工作是浪费的、重复的 dirty work，需要有人在中间把这些事做掉。

另一个原因，他们认为未来大模型是分散市场，相当长时间内大家会选各种模型，甚至自己基于开源模型做训练。如果认可应用端会有海量应用、大模型是分散市场，中间层就是很好的入口，把两边结合起来，成为平台级机会。他举了美国市场的例子：最近起来比较快的现代数据库 Chroma，为什么能起来，因为 LangChain 首选首推它。应用开发者不会花那么多时间研究各个环节，最能接触到的就是 LLMops 这一层，这一层推荐谁、把谁整合进来，后面的东西就能起来。

中间层的创业和投资机会，曲凯分两类。一类偏大模型层，做分身加速、训练、推理，这类比较困难，会遇到很多挑战：这东西卖给谁，应用场景是什么。如果客户面向大模型层，大模型公司确实会把这些东西自己做掉，跟训练、推理核心相关的东西，大模型不太可能放给别人。另一类像 Dify 这样接近应用开发者，也有问题：会不会 to C 的事情很多人自己就做掉了，比如 bot 社区、bot 应用开发平台。两边走得太近都有问题，跟大模型太近容易被吃掉，跟 C 端太近容易变成 to C 平台，竞争激烈，很多做应用开发的会觉得你是不是竞品。所以需要一个非常有定力、有经验的团队把中间层做好。

曲凯还提了一个非共识：**大家高估了大模型的能力，低估了把应用真正做出来的难度。**这是他们三四月看很多应用得出的结论，现在越来越多人同意。他们始终保持在中间态：大模型像每个人发的那手牌，不太可能一上台就发个同花顺，但也不会差到是一手烂牌，需要很多战略和策略层的东西，怎么把手牌打好。他看到一些公司，比如妙鸭、绘读，基于已有能力做更好的产品定位，做出跟之前不一样、大家能用的产品。

现在创业者普遍暴露的问题，曲凯说是核心问题：很多应用公司在讲自己怎么突破技术局限，花很多精力、人力、时间、财力解决技术问题。做应用最好的选择是利用已有技术更好地定义用户需求、解决用户问题，而不是找到一个需求后发现需要更好的技术，就先投入很多精力在技术上。

曲凯最后总结这期的价值：三四月开始大家讲 fine-tune、embedding，但他自己也没把这事理得特别清楚，什么场景用什么、背后意味着什么。这期相对理清了。加上 Dify 平台上五万多个实际应用，在大家都在质疑 AI 能不能真正用起来的时候，张路宇掌握最一手的数据，分享的场景和问题是最实际的视角。

## 留给做 AI 应用的人的三条判断 1:13:40

这期播客最有价值的部分，是张路宇用五万个应用的数据反推出来的几条经验，可以直接拿去用。

- **先选容易的路。**prompt 工程、embedding、微调，由易到难，大部分场景用 embedding 加 few-shot 就够了，微调只在需要改变模型默认风格、且有大量 QA 样本时才划算。
- **把需求限定得足够小。**问题越限定，技术解决难度越低。妙鸭解决特定问题，教育场景做「哪里对哪里不对」而不是打分，都是同一个逻辑。大模型给的数字别信，给的方向常常可信。
- **别把时间花在造基础设施上。**所有开发者前三个月遇到的问题几乎一模一样，embedding 怎么做、分段怎么做、权重怎么分、agent 的工具轮次怎么控。这些重复的 dirty work 应该交给中间层，应用公司该做的是定义用户需求。

张路宇自己的判断是，务实型开发者现在遇到的困难一年内能解决，愿景型开发者想用大模型替代一个团队，还需要三五年，而且一部分需求会被垂直产品吃掉。他和曲凯焦虑的是同一件事：模型能力进步的速度，没有大家期待的那么快。对做应用的人来说，这意味着未来一两年，产品定义能力比技术能力更决定生死。