构建属于你自己的 AI 编程 Harness
最近看了比较火的 SpaceXSI 工程师 Lauren Tan(颜值很高的妹子) 的分享,结合自己最近的实践,梳理了对「团队到底该如何用好 Coding Agent」,有了更系统性的认知刷新。
在 AI Engineer CODE 2026 大会上,Lauren 抛出了一组数据:她个人单月向生产环境交付了约 3,000 个 PR,她所在的团队单月合入了 11,000 个 PR,每天发布稳定版,甚至还有两百多位缺乏上下文的跨团队成员顺手提交代码。按理说,这种狂飙突进的吞吐量必然导致代码库沦为屎山,但结果恰恰相反——他们的相对回滚率稳定在惊人的 0.5% 左右,客户端的启动、打字和会话切换性能不仅没劣化,反而比发布之初更快。
回看我们自己团队在引入 Codex、Claude Code 等工具后的真实情况:代码生成速度翻了若干倍,产品经理一天产出 15 万行代码,一个月完成一个完成度比较高的 Agent,但最近出现问题的概率也变高了,甚至出现客户端升级后无法启动的情况。
于是团队内针对这些情况有一些策略落地,不仅仅是修改 AGENT.md,还有一系列的工具,代码检查等,每出现一个问题,都会变成一个强制检查的工具,或者 lint 里面的规则,不仅仅是代码层面的,还有业务层面的,并且业务层面的逻辑比代码规范层面的更多,并且越来越多。
更结构化的表述,大概是个人认知、代码治理、验收逻辑三个维度,以重构属于自己的 AI 编程 Harness (或者叫工程约束体系)。
个人认知
大模型本身是一个概率机器,通过自然语言教导它写出好代码,在高频场景下:用概率性的自然语言,去约束一个需要确定性结果的工程系统,注定是有坑的。
当前的我们的职责不再是通过「古法编程」,一行行写出每一行逻辑,而是构建一个高信任度的工程环境,让代码产量暴增的同时,维持甚至拉升代码质量。
落到具体实践中,对工程的投入优先级,从高到低应当严格遵循以下顺序:
代码架构与 API 设计:通过良好的接口封装和架构边界,从物理上消除犯错的选项,这也是当前我们需要首先并且重点投入的;
确定性静态检查:传统的工程逻辑,但是是我们工程 Harness 的重要手段,利用类型系统、编译器、自定义 Lint 规则和单元测试,机械化拦截违规行为;
运行时与形式化验证:让代码真实跑起来,检查系统不变量与业务意图是否对齐;
自然语言规则:AGENTS.md、Skills 等文字说明,只留给那些实在无法编码、需要主观权衡的场景。但是这却是大家改得最多的,而这是一个误区。
结合我自己的团队实践,认知的转变首先要落实到 纠偏动作的降级自查 上。现在每次发现线上问题,或者 Agent 重复犯某类错误时,严禁团队成员直接去改 AGENTS.md,而是强制执行三问:
第一问:能不能改一下底层 API 设计,让这个错误的调用方式根本不存在?
第二问:如果不能,能不能写一条 AST / Lint 规则或者类型约束,让它在编译期直接报错?
第三问:前两条都做不到,这真的是一个需要主观判断的软性规范吗?如果是,再写进 AGENTS.md。
同时,在认知上我们还需要克制「一步登天搞全自动软件工厂」的冲动。很多团队一上来就想搞多 Agent 编排的自动化外环(自动接单、自动写码、自动上线)。但自动化程度越高,产生的垃圾也就越多,账单也会更多。先把确定性约束做好,是所有自动化的前提。
代码库治理
代码库本身,才是 Agent 最大的上下文输入源。
代码库就是 Agent 存量的记忆.
随着代码生成的加速,原来蔓延得很慢的「破窗效应」,现在会疯涨。就像池塘的荷花,一下子就坏了(荷花定律)。
目录结构
在复杂应用中,Agent 经常因为缺乏全局架构视野而乱引模块。例如在 Electron 应用里,Agent 常把主进程代码错误引入渲染进程,导致界面卡顿掉帧。 最有效的治理手段是 极其直白的目录命名 + 强硬的依赖阻断。比如直接在顶层建立 electron-main 和 electron-renderer(或在后端微服务中明确划分领域层与基础设施层目录),不仅用目录名直接向 Agent 传递清晰的上下文语义,更在底层接入依赖图分析工具(如前端的 eslint-plugin-boundaries、Java 的 ArchUnit 等),严禁跨边界非法引用。
清理注释
千万小心 Agent 写的注释!
AI 会偷懒,一些问题它会直接把逻辑写到注释中,然后给一个快速实现的方案,甚至会给一个 mock 的生产环境不能用的玩意儿。
我们在看代码会自动跳过类似的注释,但是 AI 会认真阅读这些,然后 AI 就会认为这是一种对的实现方式,然后就开始蔓延了。
就像 Lauren 在演讲中说的,他们在当前项目中极其激进地禁用了 99% 的代码注释——因为注释很快会过期,且永远无法被编译器强制执行。
我们没有这么激进,一方面要严格清理为劣质代码找借口的「解释型注释」;另一方面,在整个流程中针对注释有定制的 lint 逻辑。
强化日志
在最近的实践中我还发现一个极容易被忽视的点:日志
现在的 Agent 阅读日志能力极强,并不需要我们为了迁就它的解析能力去发明特殊格式;强化日志的目的,是消除代码运行时的黑盒,为整个研发闭环提供一份真实、完整的“运行时事实源”:
对开发与排障 Agent 而言,日志是验证的证据——Agent 在自测和排障时需要读取日志,确认实际命中的业务分支、状态流转和数据变更是否符合预期,最好是能定位到代码行,函数调用链路(不一定是日志给,可以是调用链路系统给到 MCP,当然也可以直接给代码,这里主要是基于成本的考虑);
对监控告警系统而言,需要稳定的字段与错误码来做实时指标聚合与异常告警;
对人类工程师而言,告警触发后,人需要顺着清晰的脉络快速看懂业务发生了什么,做出回滚或修复决策。
为了确保产出的代码不沦为「静默黑盒」,我们在日志治理上主要落地三项基础约束,这其实只是在传统的日志规范逻辑上增加了一些有利用于 Agent 使用的日志。
验收逻辑
当前两层的架构约束和静态规则把低级错误拦截掉之后,剩下的问题就是:它写出来的东西,真的符合业务意图、跑起来真的没 Bug 吗?
当团队每天产生几百个 PR 时,指望高级工程师逐行肉眼看 Diff 已经完全不可行了。当前已经基本没有人来做 Code Review 了,至少在我当前的团队是这样(但是我会时不时的去看一些核心链路的代码,或者让 AI 告诉我这些链路正在发生什么)。
就个人使用 AI 编程的体验来看,验收是当前最耗时间的环节。为此,我们需要针对验收给 AI 一些更好用的工具,而不是原始的工具。
首先,我们要给一个 AI 一个功能地图,或者说更结构化的描述让 AI 来清楚当前的产品是怎样的,有哪些功能,以及让 AI 和人之间的业务词汇统一起来。
同时我们需要提供给 AI 一些他们能快速调用的工具,如一些 CLI 的逻辑,或者一些 MCP。让其可以自动的操作界面或功能,观察日志和结果。千万不要让 Agent 每次验证时都现场手搓一套测试脚本——既贵又慢还不稳定。
让原来昂贵的深度验证技术「平民化」,用状态图对齐意图。
过去像形式化验证(如用 TLA+ 做多端并发模型检测、用 Lean 证明核心算法不发生抖动)、UI 属性测试(Property-based testing,随机生成海量交互序列找边界 Bug)这类硬核手段,因为手写和维护成本太高,绝大多数业务团队根本用不起。 但现在经济账彻底逆转了—— AI 让编写深度验证代码的边际成本暴降,软件工程正在进入测试与验证的黄金时代。
最后是监控告警。 如此快速的合入,出问题是迟早的事儿。我们需要加强对于监控告警的投入,最好是能把监控告警的逻辑和 AI、以及日志、代码打通,在出现告警后能快速定位问题,给出解决方案和操作 SOP,甚至自动愈合。不过,当前还是需要给到 SRE或开发同学等来人工确认。
写在最后
回过头看,所谓「把 AI 生成的垃圾炼成金子」,从来没有什么神奇的提示词秘籍,有的只是扎实的软件工程基本功在 AI 时代的重新绽放。
真正的极速,永远建立在极致的确定性约束之上。