AI编程助手为什么越用越蠢？从注意力机制说起
我有一条好消息和一条坏消息要告诉你。
坏消息： 在 LLM 之上构建 AGI 是不可能的。
好消息： 如果你是某个高认知领域的专家，你大概率不会被裁员——除非 Sam Altman、Dario Amodei 和 Demis Hassabis 已经用”AI 会替代所有工人”的故事把你老板洗脑了。
说明：除了是一名 AI 研究员，我还在外包公司做了多年专业 Web 开发者。这篇文章来自我在该领域的亲身经历。
“神奇”的假象
我一直听到同样的老调：当前这一代模型太神奇了。你让它构建一个应用，按下回车，然后去喝杯咖啡。回来的时候，一切都完成了，完美运行。
一如既往——这是严重的夸大其词。有时甚至完全是编造。
更进一步说：对于构建在 GPT 之上的 AI，这个目标是不可能实现的——前提是我们说的是真正的产品，而不是那些花里胡哨的玩具 Demo。
我之前多次解释过原因，但这次我只分享一下我的观察。
我当然在 Web 开发中使用 AI。我试过的工具包括：Copilot、Cursor、Gemini Code Assist、Codex 和 Kilo。我还试过 Google 的 Antigravity（反重力），结果发现它太”聪明”了——简单说，它完全无法像正常人一样和我对话。
好吧，话要说得公允。
当然，如果 AI 永远只会产生幻觉，没人会用。但事实并非如此——在很多情况下它极其有用。我不会否认这一点。我甚至充分理解 LLM 开发者们解决了多么复杂的问题，我向他们工程天才致敬。
但是。
这还不够。我们不是来娱乐的，对吧？我们需要的是有效、可靠、可预测的系统。
而这正是 LLM 和生成式 AI 面临的根本性不可解问题。
开场即巅峰
到目前为止，对我而言最可靠的工具是 Gemini Code Assist。刚开始用的时候，我被震撼了。在新项目的头几个小时里，它感觉就像魔法：工作出色，写代码飞快，解释一切。它的解释逻辑清晰、前后连贯。你会产生一种诡异的感觉——你不是在和算法对话，而是在和一个高水平程序员同事交谈。
所以，”人类编码”时代结束了，AGI 近在咫尺？
远远没有。而且你很快就会意识到这一点。
一旦你的项目超出了玩具示例的规模，”魔法”就会消失。 你向 AI 问一个简单的问题，然后它开始”思考”。起初还可以忍受——有时候五秒，有时候十秒。但随着项目增长，思考时间急剧膨胀。它可以坐那里一分钟、两分钟、五分钟。最后你真的能去喝杯咖啡，等它寻找一个人类专家几秒钟就能搞定的答案。
如果你以为这是个”bug”或者”服务器慢”——你错了。这是这项技术的根本性限制，也是基于 LLM 构建 AGI 不过是营销童话的证据之一。
数学 vs 炒作
那么 AI 为什么会陷入如此僵局？答案就在 Transformer 架构本身。它叫注意力机制。
项目开始时，上下文很干净。但工作时间越长，请求就越”臃肿”。LLM 不会像人一样”记住”你的代码——每一次请求，它都要从头重新读取以下所有内容：
- 聊天历史
- 文件
- 系统指令
- 项目索引
所有这些变成了一个巨型数据阵列。这时候物理学登场了：
计算复杂度与上下文长度呈二次方增长（O(n²)）。
上下文翻倍，GPU 负载翻四倍。上下文增加十倍，系统开始像黑洞一样吞噬资源。
你的 AI 助手不是在”思考”你的代码。它只是在努力消化数兆亿的数学运算，来预测下一个词。它的运作方式就像一个被困在封闭认知循环里的生物。
为什么程序员的大脑不是”统计计算器”
这是 AI 布道者们拒绝承认的边界。人类和 LLM 系统之间存在根本性差异。
程序员不会把一万行代码记在脑子里。他们记住的是意义。他们理解架构、意图和每个决策背后的推理。而对 AI 来说，你的项目只是一串扁平的符号序列。
人脑擅长过滤无关信息。但 AI 必须处理每一个 token——只要它的上下文给了它”钱”来承载。
人能在工作中不断学习，而 LLM 是静态的。它不会因为花了三个小时帮你重构代码而变得更”聪明”。它只是消耗了更多能量而已。
“马和汽车”陷阱
LLM 的信徒会说：模型会变得更好！等 GPT-6 或者 Gemini XYZ 就行了！
这是经典的谬误。你可以无限地培育出更快、更强壮的马。但你永远无法从马中培育出汽车。
扩展 LLM 是一条对统计预测器进行定量改进的道路。但智能（AGI）需要：
- 因果推理
- 自主设定目标
- 长期记忆——而且不需要每次查询都烧掉一座发电厂
不舒服的真相
一开始，AI 让你更快。但一旦系统复杂度上升，人类的工作速度开始反超那个已经把自己拖垮的 AI。你花更多时间编写提示词、等待推理，而不是实际写代码。
我希望你现在理解了我的担忧来源。我们把经济建立在那些物理上无法随问题复杂度同步扩展的工具之上。 今天的 AI 助手是强大的统计镜子，反射着我们自己的智能。但不要把反射当作事物本身。
别相信 Sam Altman 说的”2028 年我们会有早期版本的 AGI”。
不过……如果你真的想相信，那就去信吧。
但它不会在 2028 年到来，而且任何真正出现的 AGI 都将建立在完全不同的架构之上。具体是什么架构？我想你很快就会知道了。
总结
这篇文章的核心观点很简单：基于 LLM 的 AI 编程助手之所以越用越蠢，不是因为它不够努力，而是 Transformer 的注意力机制 O(n²) 复杂度从数学上决定了它无法随项目规模线性扩展。代码量翻倍，计算量翻四倍——这不是 bug，这是物理定律。在真正的新架构出现之前，AI 永远是开场即巅峰的魔术师，而不是能与程序员并肩作战的同行者。