LLM Agent这个短板终于被揭开了:constrxaint decay也太离谱了

讲真,2026年这个AI圈真的太魔幻了。前脚各家还在吹Agent多厉害,后脚一篇paper直接把遮羞布掀了。

有个新研究叫「Constraint Decay」,说是专门研究了LLM Agent在后端代码生成里的表现,结果真的是蚌埠住——约束越多,LLM拉得越狠。

具体怎么玩的呢?他们搞了80个全新项目加上20个功能实现任务,横跨8个web框架,又是Clean Architecture又是PostgreSQL又是SQLAlchemy,又是FastAPI又是Django。结果你猜怎么着?从啥都不管的baseline到全副武装的fully specified,测试通过率直接掉了30个百分点!

我看到都惊了。本来说实话我对这些花里胡哨的评估是有点怀疑的,但这篇不一样——它不只看能不能跑,还给你搞了两套验证:end-to-end behavioral tests和static verifiers,双重确认。这下没得洗了。

最离谱的点在于:Flask这种 minimalist 的框架表现还行,但一到FastAPI、Django这种convention-heavy的就歇菜。数据层的defect尤其多,什么query composition错啦、ORM violation啦,简直是重灾区。

说白了,现在AI编程 Agent 能搞定简单任务,但你让它同时满足功能需求+结构约束,它就不行。两个一起来,它是真的做不到。

不过这个研究本身我还没完全搞懂的地方是:他评估的时候用的是哪些模型?GPT-4o Claude Sonnet 还是什么的?如果只是某些特定模型,可能结论不完全通用。但不管咋说,这个方向是对的——光吹Agent能干活不行,得看它能扛多少约束。

你们试过让AI帮你写带架构约束的后端代码吗?反正我试过一次让它照着我们公司的规范整,结果生成的代码那叫一个惨不忍睹。。。你们呢?有没有类似的经历?

posted @ 2026-05-25 19:03  Ninghg  阅读(28)  评论(0)    收藏  举报