再谈 AI Native 工程:10 倍不是效率,是范式

10x Is Not an Efficiency Number, It Is a Paradigm Shift

写给已经在用 Coding Agent 写代码的工程师。

之前两篇文章(《用 SPEC 和 Evals 把数字员工做成一个能自我改进的系统》、《做好一个钉钉数字员工,只有三件事》)讲的是 单个系统怎么建:SPEC、Evals、基建。

这篇往前站一层,谈整个研发组织:当 10 倍效率成为明确的战略要求时,瓶颈就从「怎么建系统」转移到了「组织里谁在建、怎么验收、怎么分配杠杆」。

先把结论放在前面:

10 倍不是让每个人写代码快 10 倍,而是把从需求到结果的闭环时间压缩一个量级。代码已经不稀缺,稀缺的是判断:定义什么是对的,证明交付确实是对的。一个研发组织 10 倍效率的上限,取决于它的判断密度,而不是程序员的数量。

下面五节,分别是这个结论在效率、环境、测试、人才和知识沉淀上的推论。

10x Is Not an Efficiency Number, It Is a Paradigm Shift


一、10 倍是范式判断,不是 KPI

「研发效率提升 10 倍」最容易被听成口号,或者被翻译成加班换来的平均值微增。这两种理解都错了。它的真正含义是重新定义研发的生产方式。

看几个已经发生的例子:

  • 过去需要上百人协作完成的项目,现在应该能够由 2 个人在一个月内交付 POC。
  • 过去需要 5–7 天才能闭环的单片机应用,现在 AI 半天就能完成,而且质量更好。
  • 人脸识别这类涉及硬件接入、数据录入、算法调优的完整闭环,现在半天就能搭起来,准确率达到 80% 以上。

这些例子改变的都不是某个环节的速度,而是 从需求到结果的整个闭环时间。

单片机那个例子最能说明问题。AI 不只是生成代码,还会根据测试结果反复调整双击识别算法,最后得到比人工更好的效果。过去工程师完成一次「修改、编译、测试、调优」要几天,现在这个循环压缩到小时甚至分钟。

质量更好,恰恰是因为循环变快了。 一次试错足够便宜之后,过去因为时间和人力成本不敢尝试的优化,就都值得试了。同样的时间里,工程师可以探索更多方案、验证更多假设。所以 10 倍效率的本质,是闭环时间的量级压缩,以及由此释放出来的优化空间。

这也让研发组织的瓶颈发生了根本变化。过去效率受限于代码生产能力;现在 Coding Agent 能承担大部分代码生产,真正稀缺的变成了这些:

  • 能否正确理解需求;
  • 能否把需求定义成明确的工程规范;
  • 能否判断 AI 交付的结果是否正确;
  • 能否发现系统性的副作用;
  • 能否建立自动化机制,让系统持续变好。

当写代码的成本趋近于零,瓶颈就从「写」转移到了「判」。

最有力的反方证据是 METR 在 2025 年做的随机对照实验:16 位资深开源开发者在自己熟悉的仓库里完成 246 个真实任务,允许用 AI 时反而多花了约 19% 的时间。我的读法是,这恰好印证了瓶颈在「判」:写变快了,但审查、纠错和返工全压在人眼上,收益被吃光了。只加速「写」而不加速「判」,到不了 10 倍,甚至会变慢。

判断这一侧的变化,我在 品味不是一块,是三半:其中一半正在贬值 里写过:对最佳实践的理解正在被模型吃掉,判断结果好坏的能力在涨价。组织层面的「判断密度」,就是这笔涨价的总量。

2 个人一个月交付 POC 的前提,是这两个人能高质量地定义问题、组织 AI、建立验收标准,并证明交付结果确实满足要求。否则他们交付的不是 POC,而是一堆没人敢上线的代码。

二、AI 可见环境:先让 AI 看见,它才能判

给 AI 提供完整的可见环境,包括代码、日志、屏幕、中间件和 Token 消耗,让它能像人一样操作和优化系统。 我认为这是 AI Native 工程最值得优先投入的基础设施。

原因是,一个 Agent 要真正具备工程能力,必须自己跑完一个反馈闭环:

观察 → 归因 → 干预 → 验证
  ↑                 ↓
  └──── 持续优化 ────┘
# generated by hugo AI

观察:看见完整的现场。 不能只给 AI 一段错误日志,也不能把问题人工总结成几句话。它应该能访问完整的代码和项目结构;运行日志、异常堆栈和系统状态;浏览器、屏幕和真实交互过程;数据库、中间件和外部依赖;工具调用的参数、结果和错误;模型调用、Token 消耗和执行时间。

归因:自己分析为什么发生。 人工摘要可以帮 AI 快速定位,但不能替代它对现场的观察。如果每次都是人先判断问题、再把结论交给 AI,AI 最终只会是一个代码执行工具,而不是能独立解决问题的工程 Agent。

干预:直接修改系统。 AI 不应该只给建议,还应该能改代码、调配置、优化 Skill、改变执行路径,甚至修改其他 Agent 的行为规范。从改代码,到改运行时,再到优化整个 Agent 系统,是 AI Native 工程能力的三级进阶。

验证:证明修改有效。 编译通过、单元测试通过,不等于问题解决了。真正的验证要覆盖用户行为、系统状态、异常场景和副作用,而且要可观测、可重复。

四个环节里,最常被省掉的是第一个,而它决定了后面三个能不能成立。AI 看不到完整的执行现场,就无法形成自我改进的闭环。 所以日志、Trace、工具调用记录、运行时状态和 Token 消耗,不应该是出了问题才补采的数据,而应该从一开始就是系统的标准组成部分。

全量记录不是为了留档,而是为了让 AI 能理解自己做过什么、为什么这么做,以及下一次怎样做得更好。

三、用 Spec + Eval 重构整个测试体系

传统测试体系很大程度上依赖历史 Bug、人工测试经验和测试人员对产品的理解。这些仍然有价值,但在 AI Native 时代不够了:AI 每天产出的改动量,靠人工经验验收不过来。产品质量要求必须变成 AI 能理解、执行和验证的明确规范。

Spec 定义什么是正确的,Eval 验证是否真的正确。

这是我在 Evals 是新的 PRD 里那个判断的组织版:当判据可以被机器执行,需求文档的形态本身就会改变。落到测试体系上,有五个转变。

1. 从历史数据驱动,转向 Spec 驱动

历史行为不等于正确行为。如果一个产品过去一直存在某种体验问题,只学历史数据,反而会把错误固化下来。

所以分工应该是:历史数据提供真实场景和测试样本;产品和技术共同定义正确的行为标准;Spec 提供明确的判据;Eval 按判据自动执行和验收。历史数据是测试用例的来源,不是正确性的标准。

2. 产品和技术共同定义 Spec

Spec 不能只是技术人员写的接口文档,也不能只是产品经理写的需求说明。它要把产品体验和工程质量一起转化为机器可以执行的标准,比如:

  • 界面元素是否遮挡;
  • 国际化是否符合规范;
  • 页面交互是否符合平台设计规范;
  • P0、P1 问题如何分级;
  • 弱网、断网和大文件场景能否正常工作;
  • 高并发下是否有性能退化;
  • 与竞品相比,核心体验是否有明显差距。

这些标准应该是 AI 能直接读取和执行的 Spec,而不是停留在文档里。

3. 两类自动化 E2E 测试:守底线,也验体验

暴力测试基础体验验收
目标发现极端条件下的缺陷,保证质量底线不退化判断产品体验是否达到预期,而不只是功能能不能用
谁来定义工程团队产品团队主导,定义核心用户场景
怎么做断网、大文件、高并发、异常输入、极限操作,持续挑战系统边界AI 自动操作产品,检查交互细节、体验一致性和功能完整性
产出边界缺陷清单和回归用例结构化测试报告

两类测试回答的是不同问题:前者问「会不会坏」,后者问「好不好用」。只有前者,产品不会崩但可能难用;只有后者,体验看起来不错,但一到弱网就出问题。两类合在一起,才是产品质量的自动化保障体系。

4. 每个 Bug 和 Feature 都必须沉淀测试用例

发现 Bug、修复 Bug、关掉任务,在 AI Native 工程里是不够的。每发现一个问题,都要补对应的测试用例;每新增一个 Feature,都要补对应的验收标准。否则下次 AI 修改相邻代码时,同样的问题很可能再次出现。

测试用例要持续积累成 Markdown 格式的知识库,作为 AI 测试和工程执行的上下文。这一条为什么是整个体系的支点,第五节单独展开。

5. 端到端的自动化工程链路

最终要打通的是这样一条链路:

问题发现
   ↓
自动生成 Issue
   ↓
Coding Agent 分析问题
   ↓
生成修复方案
   ↓
自动修改代码
   ↓
自动执行 Eval
   ↓
验证通过
   ↓
提交 PR
   ↓
持续回归
# generated by hugo AI

Codex、多 Agent 协作、统一的账号环境和自动化测试体系,都是为了让这条链路尽可能自动化。工程师的主要工作不再是逐行写代码,而是定义目标、建立判据、审查关键决策,并处理 AI 无法独立解决的问题。

这条链路里,真正决定它能不能无人值守的,是「自动执行 Eval」那一步。Eval 不可信,后面的「验证通过」和「提交 PR」就都不可信,链路只能退回由人逐个审查。

四、前 5% 人才:杠杆该分给谁,以及怎么造出更多这样的人

前三节讲工程系统,这一节讲组织。AI Native 时代,工程组织的产出模型变了:

组织产出 = Σ(个体判断质量 × AI 杠杆率)
# generated by hugo AI

传统工程组织里,工具和流程相对标准化,人与人之间虽然有效率差异,但组织产出主要还是取决于人头数。AI 改变了这个关系:AI Native 工程师之间的杠杆率差异,可能不是 10%,而是一个数量级。

决定杠杆率的不是会不会用 Coding Agent,而是四种能力:

能力关键问题
环境构建能否把代码、日志、数据、运行状态和工具链开放给 AI,让它能独立理解和操作系统?
判据定义能否把模糊需求转成清晰的 Spec,定义什么是对、什么是错、什么情况下应该拒绝执行?
验证闭环能否建立 Eval 和自动化测试,让 AI 自己验证修改结果、发现副作用?
全链路掌握能否理解模型训练、数据、标注、推理和应用之间的关系,跨越传统专业分工把系统串起来?

这四种能力是相乘的。同一个模型交给不同的人,产出可能完全不同:能力不足的人,AI 放大的是他的错误;能力足够强的人,AI 放大的是他的判断。

由此推出两个判断。

第一,平均主义的资源分配不再适合 AI Native 组织。资源应该向能创造更大杠杆的人倾斜。

第二,也是更容易被忽略的一点:前 5% 人才不是简单从现有员工里筛出来的,而是要在新的工程环境里培养出来的。 上面四种能力在传统分工里几乎没有练习机会,从存量里筛,筛不出足够的人。

校招生同样有机会在开放的工程环境和高挑战任务里,快速成长为 AI Native 工程师。培养方式和传统培训不同:不是先学几年基础知识再逐步承担复杂任务,而是让新人尽早进入真实项目。

  • 给新人完整的 AI 工程环境;
  • 让新人承担有挑战性的任务;
  • 要求新人自己定义 Spec;
  • 让 AI 承担主要执行工作;
  • 用 Eval 和真实结果持续验收;
  • 在不断失败和修正中提升判断力。

本质上,识别人才和培养人才可以用同一套机制:能在这个环境里把闭环跑通的人,就是要找的人。

组织需要的不是更多会用 AI 工具的人,而是更多能驾驭 AI、定义问题、建立系统和交付结果的人。人才两极分化带来的组织震荡是真实存在的,解法不是降低对高绩效的要求,而是把人才培养通道本身工程化。

五、所有成绩,最后都是一条测试用例

我认为最值得刻进工程文化的一句话是:你最后所有的成绩,就是一条测试用例。 发现了 Bug 却不补测试用例,下次你怎么知道要不要再跑一次?

过去我们把工程成果理解为完成了一个 Feature、修复了一个 Bug、优化了一个性能指标、解决了一个线上问题。在 AI Native 工程里,这些都不是最终成果。真正的成果,是把这次解决问题的经验,变成下一次可以自动执行的测试用例。

修复只解决当下的问题,测试用例才是约束未来不再犯错的机制。一个 Bug 修了却没补用例,系统就没有真正记住这次教训。下次有人改相邻代码,或者另一个 Coding Agent 重新生成这段逻辑,同样的问题仍然可能发生。在 Agent 写代码的团队里,「重新生成」是高频事件,这个风险比人写代码时高得多。

所以测试用例要像棘轮一样只能往一个方向转:

  • 关键测试用例只增不减;
  • 新增用例先验证能发现问题,再验证修复通过;
  • 关键用例一旦退化,直接判定版本不合格;
  • 删除测试用例不能让评测结果变好;
  • 测试验证实际行为,而不只是验证代码或文案的形式。

第四条最容易被忽略。没有它,Agent 在追评测分数时很快会发现,最省力的路是删掉失败的用例。

还有一个前提:知识沉淀必须有明确的消费者。 一条经验放进 Markdown,如果没有工具在正确的时间把它交给正确的 Agent,它就只是一篇没人看的周报。知识必须被工程流程消费:

  • Spec 被运行时和评测系统读取;
  • 测试用例被 CI 自动执行;
  • Bug 经验被相关 Agent 检索;
  • 质量标准被验收流程强制执行。

只有能被读取、被执行、被验证的知识,才真正构成组织资产。

把这一节抽象成一条工程原则:任何一次成功,都应该让下一次成功更容易;任何一次失败,都应该让同样的失败更难再次发生。

六、三个待验证的命题

上面的判断能不能在一个组织里跑通,我认为取决于三个命题。

命题一:Spec 的生产能否规模化?

单个系统可以靠产品和技术团队手工打磨 Spec。但一条完整的 App 产品线涉及大量界面交互、国际化、性能、兼容性和异常场景,Spec 的生产本身会成为新的瓶颈:谁来把「界面遮挡」「P0/P1 分级」「国际化规范」翻译成机器可执行的判据?未来需要的不只是 Spec,而是一条 Spec 生产线。

验证口径:能否在一个月内,把核心产品体验和质量标准转化为可机械执行的判据,而且随着判据积累,新场景的定义成本持续下降。

命题二:竞品盲评能否成为客观的机制?

自己和自己比,能发现版本退化;真正的产品竞争力,要和竞品比。这需要回答:谁来定义对比维度,谁来制定评分标准,如何避免评测人员的主观偏差,如何保证竞品的测试环境和条件一致,如何让结果可量化、可复现、可追溯。

验证口径:产出第一份与主要竞品的暴力测试对比报告,测试环境一致,结果可复现,结论可追溯。

命题三:组织能否承载人才的两极分化?

AI Native 组织需要高杠杆人才,也必然会出现更大的个体产出差异。高绩效人才应该获得更多资源和激励;持续无法适应新生产方式的人,也要面对岗位上的调整。

但组织不能只做存量筛选。培养通道必须能持续输送新的人才,否则完成一轮调整之后,组织反而可能失去长期增长的能力。

验证口径:观察新人在真实项目中独立完成端到端闭环交付的比例。


结语:重新定义工程师的价值

之前两篇的结论是:做好一个 AI 系统需要三件事,SPEC、Evals、基建。这篇把这个结论放大到整个研发组织,并加入了最重要的变量:人。

三个层次拼起来,才是完整的 AI Native 工程:

  • 效率层: 10 倍来自研发闭环时间的量级压缩,判断密度决定效率上限。
  • 工程层: AI 可见环境是优先投入的基础设施,全量记录和自动验证是自我改进闭环的基础。
  • 组织层: 人才杠杆率决定组织产出,培养通道决定组织能否持续提高人才密度。

过去,优秀工程师的价值很大程度上体现在解决复杂问题、并把方案写成代码的能力上。现在代码越来越多地交给 AI,工程师的核心价值转向了 定义问题、构建环境、制定判据、组织 AI、验证结果,以及让系统持续自我改进。

如果只允许带走一句话,我会选最朴素的那句:

你最后所有的成绩,就是一条测试用例。

它同时是效率论、质量论和人才论的最小公分母:

  • 效率,是让一次成功可以被重复;
  • 质量,是让一次失败不再重复;
  • 人才,是能够把经验变成系统能力的人。

这就是我理解的 AI Native 工程:不是让工程师写代码快 10 倍,而是让整个组织具备持续创造、验证和进化的能力。

你的团队里,一次修复最慢的环节是「写」,还是「判」?欢迎留言聊聊。


See also