我跑了一段时间的实验:让一个 Agent 每天把我的一千多条钉钉消息编译成可核对的台账。第一版很糙——模型带着工具自己翻原始消息,单次任务烧掉约 83 万 token;后来改成「代码先采齐、模型只调一次」,同样的任务降到约 6 万(过程和实测在每天 1000 条钉钉消息,我让一个 Agent 先编译再开口里)。
相差 14 倍。这个数字放在个人实验里是有趣的,放在产品里是致命的:如果一个服务上万用户的 AI 产品,每个任务都按 83 万 token 的方式跑,两种架构的差别就是「毛利为正」和「每单都在流血」的差别。
这是本文的前半句:AI 产品的成本和弹性,是架构问题,不是运维问题。
后半句来自另一个观察:这两年见过不少「AI 产品」,是在老软件上钉了一个聊天框。用户照样翻菜单、填表单、手工同步数据,AI 只是一个更会说话的查询框。这类产品的架构可能很先进,但依然不成立——因为它的体验不是 AI 原生的。
所以我对 AI 产品的判断标准是两道及格线:技术的及格线是云原生,它决定产品能不能活;体验的及格线是 AI 原生,它决定产品配不配活。
一、为什么「好架构」被云原生重新定义
AI 产品的负载有四个传统软件没有的特性,每一个都指向云原生。
第一,脉冲式算力。 Agent 任务不是均匀流量。我的编译任务凌晨批量跑一次,白天几乎归零;企业场景里,晨会前、周报日、月末结账都是潮汐。按峰值设计容量就是烧钱,按均值设计容量就是崩溃。弹性伸缩对 AI 产品不是优化项,是生存前提。
第二,token 是销货成本。 传统软件的算力成本近似固定——服务器买都买了;AI 产品的算力成本随使用量线性增长,且不同架构能差出一个数量级(83 万 vs 6 万就是同一任务的两份账单)。成本必须能按租户、按场景、按任务度量、归因、优化——这套计量和归因能力是云架构的原生能力,靠月底导账单是补不出来的。
第三,模型以月为单位换代。 今天的旗舰半年后就是上一代,价格还在持续跳水。把架构绑死在某个模型上,等于把产品性命押在别人的发布节奏上。模型可替换——API 优先、依赖解耦、统一网关——是基本功。模型迭代越快,架构越重要里写过一支 12 个 agent 各自为战的团队:独立部署、独立维护、权限各管各的。这样的架构,模型一换代,债就要还 12 遍——这就是不可替换的利息。
第四,多租户信任是 To B 的门票。 企业数据进了系统,租户隔离、权限、审计就是硬需求。云原生架构磨了十年的隔离与可观测能力,恰好是 AI 产品进入企业的最低门槛——没有这条,前面三条都是空谈。
一个常见的反驳:「我们的企业客户要求私有化部署,还谈什么云原生?」
这里要把交付形态和架构内核分开。私有化是把云原生的内核(容器化、弹性、可观测、模型可替换)搬进客户机房,这是一种交付选择;因为私有化就退回单体加手工运维,这是架构退步。前者做得好的团队,私有化只是部署参数不同;后者做出来的私有化,每次模型升级都是一场现场手术。
所以云原生不是「部署在云上」,而是四个形容词:弹性的、可计量的、可替换的、可隔离的。
二、为什么「好产品」被 AI 原生的体验重新定义
老 SaaS 体验的本质是 人适应软件:用户学菜单结构、学表单字段、学流程节点,软件定义好路径,人照着走。
AI 原生的体验是反过来:软件适应人。 具体有三个特征。
第一,意图驱动,不是菜单驱动。 用户说目标,不点路径。「把这周可能延期的三件事按影响排个序」是一句话的事,不该是打开模块、设筛选、点排序的三步操作。自然语言不是新的入口皮肤,而是执行链路真的能被意图调用。
第二,主动,不是被动。 传统软件等着被使用;AI 原生的产品会在人开口之前做事——承诺到期它提醒,风险越线它预警,任务完成它汇报。当工作流的执行者从人换成数字员工(AI 重塑企业工作流里那条「形状不变,执行者替换」的判断),「在岗感」就是体验的本体,不是附加功能。一个只会等人来问的助手,和一个到期主动来敲你的同事,是两种产品。
第三,寄生原生环境,不要求迁移。 最偷懒的 AI 产品让用户搬进一个全新界面;对的做法是让 AI 出现在用户已经在工作的地方——群聊、文档、邮件、既有系统。人不变,底层变,这是 从群聊到数字员工整篇的主题:让 AI 适应组织,而不是让组织适应 AI。
用这三条一照,「加聊天框」为什么不算 AI 原生就清楚了:老软件钉一个聊天入口,用户依然在老流程里翻菜单、填表单,AI 改变的只是提问方式,没有改变 谁在干活。
两个可以当场执行的判定测试:
- 剥离测试:把 AI 从产品里拿掉,其余体验照样成立的,AI 是点缀;拿掉之后产品塌了的,才算 AI 原生。
- 执行者测试:核心工作流里,每一步是谁执行、谁判断?还是「人操作、AI 提示」,最多算 Copilot;「AI 执行、人判断」才是体验范式的分界线——这条线在 再谈 AI Native 工程里论证过:10 倍不是效率,是范式。
三、两道线是钳形,缺一不可
这两道线不是并列关系,是钳形攻势的两臂。
只有云原生、没有 AI 原生:技术很先进,体验还是老 SaaS——新瓶装旧酒。弹性省下的成本留在机房里,用户感知不到;而用户不会为「你的架构很弹性」付溢价,只会为体验付钱。省下的成本没有变现出口,架构投入就变成了纯消耗。
只有 AI 原生、没有云原生:演示很惊艳,规模化是灾难。Demo 可以不计成本地烧 token,一旦服务上万个企业租户,脉冲算力、成本归因、模型换代、数据隔离的账单一起找上门。这类产品大多死在 PPT 到规模交付之间的路上。
两臂的交点,恰好是开头那个 14 倍:83 万降到 6 万,既是架构问题(编译层、调用结构、缓存复用),也是体验问题——响应从分钟级到秒级,产品才敢把「主动提醒」「每日编译」做成默认体验而不是奢侈品。成本决定体验敢不敢主动,体验决定成本投入能不能收回。
判断一个 AI 产品,我现在就用这两条线过一遍:看它的架构,问弹性、计量、替换、隔离四件事;看它的体验,做剥离测试和执行者测试。四件事都立住、两个测试都通过的产品,还很少见——这正是机会所在。
把判断标准压成一句话:
做 AI 产品,不符合云原生的技术不是好架构,不符合 AI 原生的体验不是好产品。
前者决定它能不能活,后者决定它配不配活。