英国金融科技公司 Revolut 弃用 Claude 转向自托管,AI 编程成本直降 10 倍
Revolut 表示,在不到一年的时间里,它通过将自托管模型设为默认选项、不再主要依赖 Claude 等商业服务,成功将 AI 编程推理成本削减了约 90%。
在上个月于纽约举行的 AI Engineer 大会上,这家英国金融科技公司的运维与基础设施负责人 David Abitbol 介绍了公司在向约 2,000 名工程师推广 AI 编程工具后,编程时间改善了 60%,交付周期改善了 70%。Revolut 最初采用 GLM-5.1,随后迁移到 GLM-5.3,目前使用 56 块 Nvidia B200 GPU 来提供服务。
在转向 GLM 之前,Revolut 一直在试验 AI,于 2025 年初部署了 Gemini,2026 年初部署了 Claude Code。“我们当时对 AI 的成本高度怀疑。我们看到工程师每月花费 1,000 美元、10,000 美元,却没有太多回报,所以我们在推出时设置了严格的预算限制,”Abitbol 说。
正因如此,工程师只能使用有限数量的 token,于是公司开始研究自托管自己的模型。自托管 GLM 5.1 的成本为每百万输入/输出 token 0.30 美元,约为使用 OpenAI 的 Codex 或 Anthropic 的 Claude Code 的十分之一。而事实证明,当 token 便宜时,你就不再担心他们用了多少、用来做什么。
虽然 Revolut 确实看到了编程速度的提升,但 Abitbol 指出,最大的瓶颈其实并不是代码。相反,他表示最大的收益来自让 AI 模型处理调试以及 Jira 和 Confluence 工单之类的事情。“当你有无限的 token 时,你就可以自由地这么做,”他说。“你不再需要把 token 留到季度末或留给最困难的任务。”
GLM 5.1 由中国开放权重模型开发商 Z.ai 开发,并不是一个小模型。其总参数量约为 7,540 亿(每生成一个 token 激活 400 亿),仅保存权重就需要约 380 GB 的 GPU 显存,另外每个用户还需 6-26 GB 来维持上下文,具体取决于精度。
为了大规模提供 GLM-5.3 服务,Revolut 部署了 56 块 Nvidia B200 GPU,GPU 数量相当于七套八 GPU 的 DGX B200 系统。但正如 Abitbol 所指出的,最大的性能提升并非来自增加 GPU,而是来自调整模型的超参数,同时切换到 NVFP4 量化、实现预填充与解码分离,以及调整上下文长度。
一个关键收获是,支持一百万 token 的上下文窗口并不一定能让这么大的窗口变得有用或高效。“长上下文是个骗局。你真的需要对此保持警惕,”Abitbol 说。“即使你能提供一百万 token,256(千)才是你真正需要的。”
通过这些优化,Abitbol 表示公司能够在约 256,000 token 的上下文窗口上实现低于 3 秒的首 token 时间,以及约每秒 200 token 的生成速度,他指出这两者都是公司软件工程师的最佳平衡点。
“你要瞄准的是低于 3 秒的首 token 时间。这是经验证据。一旦超过 5 秒,我的 Slack 收件箱就开始爆炸了,”Abitbol 说。“就吞吐量而言,其实没那么重要。在交互性方面,我们提供每秒 200 token。人们对此很满意。你不需要更高。人们的工作方式已经改变了。我们不再盯着思考 token 的流式输出。人们并行运行任务,任务完成后再查看。”
而如果吞吐量是个问题,他指出下午 5 点后登录的工程师能获得接近每秒 800 token 的速度。
不过,值得注意的是,GLM 并未完全取代 GPT 或 Claude。这个中国模型仅支持文本,因此不太适合 UI 工作之类的事情。于是,Revolut 使用模型路由器将视觉查询导向 Gemini 或 GPT Luna 等模型,同时让代码生成继续在 GLM 上运行。
“开源现在是 Revolut 的优先事项,我们的经济账很划算。计费是固定的,月底不会有账单惊吓,前沿模型只是例外,”Abitbol 说。
话虽如此,Abitbol 承认,出于隐私和安全原因,中国开放权重模型可能令人担忧,但他强调,主要的担忧是通过位于中国的 API 访问它们。当在本地或区域云资源上运行时,其实没什么可担心的。®
整套方案里 56 张 B200 加调参和量化,这些前期投入大概多久能回本?小团队照搬的话,光硬件门槛就够呛吧。