每百万Token仅0.99美元,SemiAnalysis降本增效,硅谷巨头却为AI账单抓狂!

每百万Token仅0.99美元,SemiAnalysis降本增效,硅谷巨头却为AI账单抓狂!

【导语:在AI浪潮下,不同企业在使用Token时呈现出不同的局面。SemiAnalysis以低成本获得高产出,重写专业服务业单元经济;而硅谷巨头们却因AI账单焦头烂额。同时,大模型成本塌缩趋势显现,但AI对经济的实际影响目前仍有限。】


Token:新时代的“生产资料”

硅谷半导体研究机构SemiAnalysis每百万Token成本仅0.99美元,内部大模型Token支出占员工总薪资的30%,却能换来数倍于人力成本的产出。人均每月消耗近50亿个Token,是Meta人均水平的5倍以上,核心贡献者月消耗更突破1000亿。原本初级分析师几小时的工作,如今几分钟内就能完成,成本只需几美元。

英伟达CEO黄仁勋也十分重视Token的应用,打算给英伟达每个工程师发相当于半年工资的Token预算,还让7.5万名员工搭配750万个AI智能体一起干活,认为Token正在变成新时代的“生产资料”。

硅谷巨头的AI账单困境

与SemiAnalysis形成鲜明对比的是,硅谷的巨头们正为AI账单抓狂。Uber向工程师推广Claude Code后,AI使用率飙升,全年预算提前花完,CTO要从头重做预算,还为员工设置了每月1500美元的Token上限。但即便如此,AI使用量与消费者功能创新之间的联系仍不明显。

微软也取消了大部分Claude Code许可证,转向自家的GitHub Copilot CLI,原因是花钱速度比产出速度还快。英伟达应用深度学习副总裁表示计算成本远超员工成本,MIT研究显示在以视觉为主要工作内容的岗位中,77%的情况下雇人比用AI便宜,甚至还有工程师吐槽AI智能体“毁掉了他的数据库和网络”。

大模型成本塌缩趋势

从软件端看,在B300上运行DeepSeek R1,通过wideEP、disagg与MTP三层纯软件优化,单GPU吞吐量能从1000 tokens/秒提升至14000 tokens/秒,实现14倍提升。从硬件端看,最优化配置的GB300 NVL72吞吐量是H100的17倍,切到FP4精度直接拉到32倍。

Opus 4.7虽标价较高,但由于智能体工作负载的输入输出比和缓存命中率等因素,实际混合成本被压到了0.99美元,不到标价的五分之一。Gartner报告显示,到2030年,万亿参数大模型的推理成本将比2025年下降超过90%,SemiAnalysis判断2027年Token价格将下降。

AI资本开支与实际影响的落差

全球科技公司今年AI资本开支已宣布7400亿美元,比去年暴增69%,同时科技业裁员速度已超去年全年。然而,AI对经济的实际影响到目前为止基本为零。这是每一轮基础设施革命都要经历的阵痛,先烧钱建管道,再等水流过来。

编辑观点:AI发展带来了生产力提升的希望,但也面临着成本控制和实际应用效果的挑战。企业需权衡利弊,把握好发展节奏,以在这场变革中取得优势。