a16z对谈：大模型很强 但落地企业还差一截

在最新一期 a16z 对谈里，Decagon 两位联合创始人 Jesse Zhang 、 Ashwin Sreenivas 与 a16z 的 Sarah Wang 、Kimberly Tan 聊了一个现在很热的话题：当大模型越来越强，应用层创业公司还有没有未来？

他们给出的答案很明确：有，而且空间很大。原因不只是“企业还需要有人帮忙落地”，而是因为真正能在企业里跑起来的 AI，不是把模型 API 接上去就结束了。你还得解决延迟、评测、微调、业务流程、权限控制、合规、部署、监控，以及上线之后怎么持续优化这些问题。也就是说，企业 AI 的护城河，远不只是模型本身，而是把模型变成“可部署、可管理、可持续迭代的生产系统”。

本文编译自A16z最新一期博客内容，原文链接：https://www.youtube.com/watch?v=cO1f2wOxSH4，以下是完整编译。

“小模型更笨”是个假命题

Jesse Zhang： 现在外界有一种很流行的说法：Anthropic、OpenAI 这样的实验室会变成“最后的创业公司”，它们什么都会做，应用层最后只剩一层薄薄的 UI。我们并不这么看。哪怕未来模型能力继续大幅提升，企业依然需要软件来承载工作、存储信息、连接系统、表达业务逻辑。真正的变化不是“软件消失了”，而是软件的形态会变，应用层公司会继续存在，而且可能会变成某些垂直场景里的“专属模型工厂”和“企业 AI 操作系统”。

Sarah Wang： 你们最近关于开源和闭源模型的讨论引发了很大关注。尤其是在企业场景里，很多人都在问：到底该不该把命运交给外部模型公司？你们自己是怎么演变到今天这套架构的？

Jesse Zhang： 我们刚创业的时候，目标非常简单：先把产品做出来、先让它有价值。所以那时候自然就是直接上最强的前沿模型，也就是 OpenAI、Anthropic 这些。因为在最早期，最重要的是“能不能跑通”。但随着我们服务的企业越来越大，客户量越来越高，尤其是语音 agent 上线之后，问题开始变了：你不只需要回答得对，你还必须足够快。延迟变成了核心指标。到了这一步，如果你还想让 agent 完全按你希望的方式运行，光靠大模型 API 就不够了，你需要更小、更可控的模型。而小模型如果不做微调，通常又不够好，所以我们才开始系统性转向开源模型。到今天，Decagon 大概 90% 的工作流都已经运行在开源模型上，主要原因不是成本，而是延迟、可控性和生产效果。

Ashwin Sreenivas： 外面经常把问题理解成：你是要一个最聪明但很贵的模型，还是要一个便宜但笨一点的模型？但我们觉得这其实是个伪命题。因为在真实生产环境里，我们看到的不是“便宜换低性能”，而是“针对单一任务微调过的小模型，反而能比最先进的大模型做得更好”。它只是没有那么通用，不擅长无穷无尽的任务，但在我们指定的那个任务上，它可能更准、更快、也更便宜。所以不是简单的性能降级，而是任务特化之后，把三件事同时拿到了：更好的效果、更低的延迟、更低的成本。

Jesse Zhang： 这也是 agent 系统的一个本质。一个企业 agent 在对话过程中，其实会拆成很多子任务：识别主题、判断是不是恶意用户、决定是否升级处理、调用工具、读取系统信息……这些单点任务并不需要最顶级的大模型智能。你要的是“它在这个点上做得非常稳”。所以与其一直拿最通用的大模型硬顶，不如把任务拆开，再用经过微调的小模型去打。

Kimberly Tan： 听起来你们不仅在用开源模型，而且已经把模型训练和后训练能力变成公司内部核心能力了。那企业是不是迟早也会走到这一步？

Ashwin Sreenivas： 企业会走到这一步，但速度可能比大家想象的慢。因为“决定用开源模型”只是开始，后面真正难的是数据、评测和部署。尤其是评测，几乎不可能直接拿公开 benchmark 就够用。我们的 eval 都是围绕自己的任务和自己的客户结果去设计的。我们不是看一个模型单点能力强不强，而是看它放进整套系统之后，能不能更好地交付最终客户体验。所以很多关键的训练和评测基础设施，我们最后都只能自己做。但反过来说，一旦你的使用场景已经稳定、已经规模化上线，那开源模型通常就是更优解：更快、更便宜，也更容易针对你的流程优化。

Jesse Zhang： 另外，模型世界变化太快了。不是说你训练出一套模型，就两年不用动了。新的开源模型出来，新的能力出现，新的子任务值得拆出来优化，你就得持续训练新模型、淘汰旧模型。所以我们内部做 Decagon Labs，本质上就是想把“新模型发布”到“能用于我们生产任务的专用模型上线”之间的时间压缩到最短。它像一间模型工厂，不是一次性工程。

企业AI的护城河，不在模型在应用层

Sarah Wang： 你们刚才讲的这些，其实已经在反驳一个流行误解：很多人觉得 AI 应用公司不过是“套壳”，就是一个前端界面加一点实施服务。你们怎么看这种“应用层 vs 基础模型层”的二元对立？

Jesse Zhang： 如果你站在《财富》世界百强企业的视角看，问题就会完全不一样。企业不是在问“谁家的模型最聪明”，而是在问“谁能让我这套业务真正跑起来”。我们做的大量微调，并不是为某个具体客户定制，而是为“客户服务这个用例”本身定制。因为我们专门做这个，所以值得花很多研究资源，把模型调到非常适合这种场景。但如果你是企业自己，你真的要为了客服流程、销售流程、运营流程，组一支研究团队去做这些吗？大部分企业并不会这么选。它们更可能跟应用公司合作，因为应用公司已经把这一整层能力做成了平台：模型微调、流程表达、工具调用、合规监控、对话 QA、实验和回放，这些都不是模型本身自带的，而是应用层的价值。

Ashwin Sreenivas： 我觉得未来不是“实验室吃掉应用”或者“应用完全独立于实验室”，而是双方会互相侵入对方边界。实验室会往上做应用，因为它们希望企业更直接看到投资回报；应用公司会往下走，自己做后训练、做模型系统，因为这样能拿到更好的延迟、成本和效果。但即便到了通用人工智能，代理也仍然需要数据库、CRM、系统记录、工作流和权限边界。软件不会消失，只是人与软件的交互方式会变。应用层，尤其是深垂直、深集成的应用层，仍然会存在。

Kimberly Tan： 现在硅谷很流行前沿部署工程师这套打法。很多公司都在说，要靠前线部署团队把 AI 落地到客户最后一公里。你们怎么看？

Ashwin Sreenivas： 我其实觉得这很容易变成陷阱。早期 AI 公司确实需要大量前线部署，因为很多工作流以前从来没人做过，客户自己也不知道该怎么用，产品团队也在边做边学。所以这些人前期很重要，他们像是和客户一起铺轨道的人。但长期来看，如果这些经验最后没有沉淀进产品，没有变成可复用能力，那你其实只是做了一辆“咨询卡车”。能不能规模化，关键就在于：前线团队吃到的痛点，最后有没有被产品化。

Jesse Zhang： 我们一直很警惕这一点。Decagon 的前沿部署团队不是去给某个客户做一次性定制，他们的任务是理解客户到底缺什么，然后把它贡献回核心产品。今天为一个客户做的能力，明天应该让后面十个客户都能直接用到。否则你再能签单，也很难长大。我们当然是销售导向的，公司很重视销售反馈，但最终还是产品导向的：所有一线反馈都要汇总回产品主干，而不是越做越散。

Sarah Wang： 你们有没有哪一刻，真正感受到“模型能力已经跨过某个门槛了”？

Jesse Zhang： 对我来说，那个时刻是 Duet（ Decagon 推出的一款 AI 伙伴）。我们最早做的是面向客户的主代理，但其实在它背后，我们团队要做很多脏活累活：写流程文档、接企业系统、写测试、上线后抽查对话、分析哪里表现不好、再继续优化。后来我们做了 Duet，本质上是第二个代理，它更慢、更重，但它的职责不是跟客户聊天，而是帮我们“造出”那个能跟客户聊天的代理。你给它一堆历史对话和文档，它就能自己写出代理操作规程、搭测试、看生产对话、发现薄弱点、甚至草拟优化方案。这个体验很像一个更高阶的代理在帮你造低阶代理，特别震撼。因为它不是只会做一个点状任务，而是把一串本来需要人手工完成的工作接起来做掉了。

Ashwin Sreenivas： 更重要的是，Duet 不是凭空拍脑袋想出来的，而是我们把前线团队一直在做的事情，一步步产品化的结果。以前大家手写代理操作规程，后来我们让系统帮你写；以前大家手工回顾对话，后来我们做了 Duet Autopilot，让它自动去找问题、提改进建议。我们对产品演进的理解其实很简单：凡是前线团队反复在做、而且值得标准化的东西，都应该尽快被做进产品。

Kimberly Tan： 你们现在已经不只是“一个很会做模型应用的团队”了，而是很明显地变成了非常懂企业销售、懂大客户部署节奏的公司。为什么那么多大企业会买你们？

Jesse Zhang： 很多企业选我们，不只是因为效果好，还因为他们不想买一个黑箱。有客户从 Sierra 切到我们，理由之一就是之前很多事情都要通过对方的前线团队转一层，想改流程、想知道为什么会这样回复、想做新流程，速度都很慢。我们更强调“玻璃箱”——让客户自己也能看到系统怎么工作、自己迭代得更快。对大企业来说，初期有人手把手扶上马当然很好，但长期更重要的是你得拥有控制权，而不是永远依赖厂商帮你调。

Ashwin Sreenivas： 另外，大企业最担心的往往不是“这个模型能不能回答问题”，而是“我能不能真的把它上线”。尤其在金融、医疗、航空这些受监管场景里，能不能过模型风险治理、能不能做分阶段上线、出了问题怎么回滚、怎么复盘、怎么证明它没越过合规红线，这些都决定了项目能不能落地。所以我们卖给企业的，不只是一个技术产品，也是一整套“从第一次会议到 100% 上线”的实施方法。这其实是很多技术公司容易低估的部分。

Sarah Wang： 过去大家对 Decagon 的理解，可能还是“AI 客服公司”。但现在你们明显在往更大的方向走。这个变化的底层逻辑是什么？

Ashwin Sreenivas： 早期我们聚焦客服，是因为当时模型能力就到那儿，客服也是最明确、最紧迫的企业需求。但后来模型越来越会“遵循复杂指令”了，这个边界就开始被打开。企业会发现：既然你已经理解了我的产品、我的客户、我的品牌语气，那为什么只能做售后？为什么不能顺手做销售线索筛选、主动运营触达、账户异常提醒、流程协助？所以我们现在越来越把它理解成“AI concierge”——AI 不是某个孤立部门的小工具，而应该成为企业对外互动的前门。无论是客户主动找上门，还是企业主动去联系客户，最终都可以由 AI 来承接。

Jesse Zhang： 这个变化成立，关键在于模型对开放式指令的理解力变强了。以前你只能给它非常窄、非常明确、不能偏离的流程；现在你可以给出更宽泛的目标和规则，让它像一个靠谱的人一样，在边界内自己补全细节。所以产品路线并不是我们凭空想象出来的，而是客户需求和模型能力一起把边界推开的。

Kimberly Tan： 如果 AI concierge 成了企业和客户之间的主界面，那 CRM、数据库、这些传统系统会不会慢慢失去意义？

Ashwin Sreenivas： 我不觉得。哪怕你今天有一个最顶级的人工 concierge，他也还是要把客户信息写进 CRM。AI 只是把交互做得更顺滑、更便宜、更普惠，但数据还是要有地方存，业务还是要有记录系统，团队还是需要共享一个唯一事实来源。我们做的是把体验层、执行层智能化，而不是把所有底层系统都替换掉。

Jesse Zhang： 甚至反过来，我觉得 CRM 这类软件在 AI 时代未必更差。今天人嫌它难用，很多时候是因为图形界面本身笨重；但未来有可能是 agent 直接在背后调用这些系统，人不再需要亲自点那些复杂界面。这样一来，CRM 的价值不是下降，而是从“人用的系统”变成“agent 用的系统”。所以我们完全没有兴趣自己去做 CRM，因为光 agent 这一层就已经有太多事情可做了。

AI没让客服失业，只是换了种干法

Sarah Wang： 你们做的偏偏是最容易引发争议的一类场景：客服。很多人会自然联想到，AI 是不是会直接把这些岗位拿掉？

Ashwin Sreenivas： 我们在客户那里反复看到的，往往不是“成本下降了，所以把人都裁掉”，而是“原来支持服务太贵，不敢多做；现在便宜了，就把服务铺开”。有些客户本来每月只有一个比较隐蔽的 support 入口，上线 AI 后，他们反而把支持入口放到了更多页面上，甚至给免费用户也开放即时支持。因为需求一直都在，只是以前供给跟不上。现在 AI 把供给成本打下来了，企业自然会把服务做得更广。这其实非常像 Jevons paradox：效率提升之后，使用量反而增加了。

Jesse Zhang： 所以我更愿意说，AI 可能会杀掉一些“具体的岗位任务”，但不一定会杀掉“职业生涯”。那些高度重复、机械、低创造性的工作，确实应该被 AI 接走；但客户体验、业务增长、关系维护、例外处理、策略制定，这些事情还会继续存在，而且可能因为 AI 把基础活都做了，人反而能去做更高价值的部分。不同企业情况当然不完全一样，有的确实会减少外包或缩减某些团队规模，但也有很多企业是用 AI 去承接增长，而不是单纯裁人。

Kimberly Tan： 听下来，你们其实并不是在说模型不重要，而是在说：模型再强，企业真正买单的，还是那套能把能力变成结果的完整系统。

Jesse Zhang： 对。短期内，企业 AI 的护城河不只是模型性能，而是你能不能和企业资源、企业流程、企业组织一起工作。哪怕假设模型明天就完美无缺，企业仍然需要控制它能做什么、不能做什么；需要不同团队共同参与验收；需要做测试和合规审查；需要在海量对话里抽洞察；需要连接那些老旧系统。把这些都做出来，才叫“企业 AI 上线”。这部分价值，不会因为模型越来越强就立刻消失。