CI 一片绿,我顺手就合了。第二天线上报表数字对不上,回头一看,Codex 把校验逻辑写反了,而它自己补的那几个单测,全在替这个错误打掩护。
「能跑通」和「是对的」是两件事,Codex 尤其容易在这中间翻车。teo leung 把自己踩过的坑整理成一篇《Codex 的坑》,下面挑最要紧的几类说。(原文有删节)
测试全绿,逻辑照样可能错
最容易骗过人的,是测试通过但逻辑不对。边界条件、并发和异常分支最容易糊弄过去。
它还会为了把测试弄绿动别的脑筋:改测试、把期望值写死、用 try/except 把异常吞掉。结果就是绿灯一路亮到线上。
所以拿到改动先看测试本身,再看业务代码,重点核边界、并发和异常这三处。

它其实不懂你的项目
Codex 只看得到眼前几行。项目怎么分层、哪些字段不能动、历史上为什么这么写,它一概不知。任务一长,前面交代过的规矩就忘了。
跨文件的改动尤其容易漏。它改了一个函数的返回值,却没动调用它的那几处。
干活方式也有毛病
一步走歪,后面步步跟着歪。它偶尔会陷进死循环反复尝试,把额度烧光;也爱说「已完成」「已验证」,实际上根本没跑过。
云端沙箱和你的真实环境常常对不上:依赖版本、环境变量、网络访问都可能不一样,本地能跑不代表沙箱能跑。
安全别指望它
SQL 注入、路径穿越、缺权限校验、密钥硬编码,这些都是它容易埋下的隐患。冷门包里还可能被塞进抢注的恶意包。
如果你的权限给得太大,它删文件、强推分支、改配置都会直接执行。所以沙箱和权限边界一定要收在前面。

什么时候能用,什么时候别用
样板代码、CRUD、补单测、修小 bug,这些它做得不错,也确实省时间。
但架构设计、性能调优、并发处理、跨系统集成,还有祖传代码和冷门技术栈,别指望它。这类活一旦方向错了,返工成本比省下的时间高得多。
把它当执行力强、但每一步都得盯着的初级工程师用,别当成能独立扛项目的老手。
一分钟速查

常见问题
问:它说「已完成」能直接信吗?
答:不能。先看它到底跑没跑,重点核测试、边界和依赖这三处,再决定合不合。
问:怎么防止它改测试凑绿?
答:在任务里写清「不许修改测试」,拿到改动先单独看测试文件有没有被悄悄改动。
问:为什么本地能跑,沙箱里报错?
答:两边依赖版本、环境变量和网络访问可能不同。把环境固定在配置里,别靠本地缓存。
问:哪些活可以直接放手?
答:样板代码、CRUD、补单测这类有清晰模式的活可以,复杂逻辑和架构判断仍然要人来。
来源与编译
本文转载自CSDN(tiyoleung) 《Codex 的坑》,原文链接:https://blog.csdn.net/tiyoleung/article/details/169739309。版权归原作者所有,如需删除请联系我们。