AI 编程工具确实正在颠覆软件行业但几乎比我所见过的任何事物都更属于那个如果没有丰富的前期经验你不应该在家尝试的类别Reddit 上 vibe coding 灾难故事堆积如山。除非你介入并为 AI 建立结构否则它就会推送垃圾。以及特别值得阅读的这篇长文报道的另一个案例已经完全刷屏了。一篇值得阅读的长文摘录。这样的彻底失败当然是完全可以预见的正如我在 X 上一条约 200 万次观看的推文中指出的对于一个模仿数据而不真正理解被要求做什么的系统来说也不足为奇。我确信我们很快就会看到更多涉及隐私、安全和数据丢失的灾难性失败。已经有很多了。但这与 Anthropic CEO Dario Amodei 有什么关系该怪谁这一切意味着什么我稍后会讨论后两个问题。也许最重要的一点一个远超编程范畴的观点在文章末尾。但首先我提到 Amodei 的原因是他对 AI 编程的持续炒作尤其是几天前的这句话我不知道这是即将到来的 IPO 之前的拉高出货还是他真的相信自己说的话。但他说的意思是我们可以消除不仅是代码编写者还有架构和维护系统的人。在我看来这极大地夸大了自主 AI 目前能够做到的事情。而且远不止我一个人这么认为。例如软件架构传奇人物 Grady Booch 在 X 上严厉批评了 Amodei写道“我认为 DarioAmodei 不理解软件工程他正在拼命推高公司的估值以期待即将到来的 IPO。”有影响力的软件工程师 Gergely Orosz 同样批评道“唯一相信[Amodei 说的]任何话的人是不会编程的人”并澄清这些工具只有在用户已有经验的领域中被监督时才能完全可靠地工作。像 Amodei 这样的荒谬言论炒作了编程代理就是我们所需要的一切这个想法。事实并非如此。§当灾难降临时很多人想怪用户。这有一定道理。用户应该有独立的异地备份以及做很多很多其他事情。当然每个有经验的程序员都应该知道这一点。但我们刚刚创造了一代不懂这些的 vibe coder。而且我们现在有大量合成编程代理如 Cursor它们显然也不总是遵循这些基本原则例如始终保持独立备份。这正是为什么我们不应该信任编程代理。§人们不断将越来越多的 vibe coded 灾难归咎于用户。这样做只对了一半。用户确实犯了错——让 vibe coded 的东西访问他们的文件没有适当的备份没有适当的监控没有足够的系统管理等。但这恰恰是为什么我们仍然需要软件工程师——也是为什么 Amodei 最近关于软件工程师将消失的说法如此荒谬。熟练的程序员可以在仔细监督下使用 vibe coded 工具。但业余者使用 vibe coding 工具是在自找麻烦。在没有强大的编程和软件维护及系统管理前期工作知识的情况下使用它们就是错误。§X 上的另一个话题是关于为什么一些程序员在最初对编程代理着迷后又开始手写代码了。答案的部分原因是如上述作者在其帖子中指出的使用 AI “太容易让代码库变成垃圾”——这意味着你编写代码后很难维护它。例如人们有时最终会得到数据的多个副本这可能导致难以诊断的下游问题。可维护性是继数据丢失、隐私泄露和安全漏洞等反复出现的问题之后的又一个严重问题。从长远来看它可能是最严重的。§现在有趣的是像 Claude Code 这样的工具实际上可以非常有用。如前一篇论文中所述它们是神经符号系统不是纯 LLM但那是另一天的话题。但你必须理解这些推文的含义以及如何据此行动才能安全地使用它们而大多数人不知道。在非常有技能的从业者手中——那些非常注意并严格审查输出的人——编程代理可以令人惊叹。但这种编程代理无法依赖的专家知识正是为什么我们需要让软件工程师保持在环路中。也是为什么我们这些知情人士很难认真对待 Amodei 关于消除软件工程师那些审视整个问题而不仅仅是孤立的代码片段的人的炒作。§但我还有最后一个教训这是最重要的一个即使你不是程序员、从不打算使用这些工具也相关。那就是AI 代理是极其不成熟的技术正在以过快的速度推出。关于正在流传的 vibe coded AI 代理灾难故事最深刻的教训不是关于丢失你的数据。而是关于 AI 安全。在数据丢失情况中的用户并不完全天真。他认为并在他上面链接的文章中明确指出系统提示AI 公司内置的隐藏提示和护栏会拯救他。它们没有。被称为 lifeof_jer 的用户发现的是用他自己的话说系统提示——当今构成AI 安全大部分平庸工作的基础——仅仅是建议性的而非强制性的系统经常遵循但不总是遵循的东西。换句话说编程代理以及延伸到大部分生成式 AI都不能可靠地遵循规则。一个不能被信任遵循自己规则的系统就不能被信任。句号。在这个案例中用户只是丢失了数据。最终人们会失去生命。原文链接Vibe Coding 灾难的爆发 - 汇智网
