英国金融科技公司Revolut弃用Claude、转向自托管,AI编程成本直降10倍
Revolut表示,在不到一年的时间里,它通过将自托管模型设为默认选项、不再主要依赖Claude等商业服务,成功将AI编程推理成本削减了约90%。
在上个月于纽约举行的AI Engineer大会上,这家英国金融科技公司的运维与基础设施负责人David Abitbol介绍了公司在向约2000名工程师推广AI编程工具后,编程时间改善了60%、交付周期改善了70%。Revolut最初采用GLM-5.1,随后转向GLM-5.3,目前使用56块Nvidia B200 GPU来提供服务。
在转向GLM之前,Revolut一直在试验AI,于2025年初部署了Gemini,2026年初部署了Claude Code。“我们当时对AI的成本高度怀疑。我们看到工程师每月花费1000美元、10000美元,却没有多少投资回报,所以我们在推出时设置了严格的预算限制,”Abitbol说。
正因如此,工程师只能使用有限数量的token,于是公司开始研究自托管自己的模型。自托管GLM 5.1的成本为每百万输入/输出token 0.30美元,约为使用OpenAI的Codex或Anthropic的Claude Code的十分之一。而事实证明,当token便宜时,你就不再担心他们用了多少、用来做什么。
虽然Revolut确实看到了编程速度的提升,但Abitbol指出,最大的瓶颈其实并不是代码。相反,他表示最大的收益来自让AI模型处理调试以及Jira和Confluence工单之类的事情。“当你有无限的token时,你就可以自由地这么做,”他说。“你不再需要把token留到季度末或留给最困难的任务。”
GLM 5.1由中国开放权重模型开发商Z.ai开发,并不是一个小模型。其总参数约为7540亿(每生成一个token激活400亿),仅保存权重就需要约380 GB的GPU内存,另外每个用户还需6-26 GB来维持上下文,具体取决于精度。
为了大规模提供GLM-5.3,Revolut部署了56块Nvidia B200 GPU,GPU数量相当于七套八GPU的DGX B200系统。但正如Abitbol所指出的,最大的性能提升并非来自增加GPU,而是来自调整模型的超参数,同时改用NVFP4量化、实现分离式预填充与解码,以及调整上下文长度。
一个关键结论是,支持100万token的上下文窗口并不一定能让这么大的窗口变得有用或高效。“长上下文是个骗局。你真的需要对此保持警惕,”Abitbol说。“尽管你可以服务100万token,但256[千]才是你真正需要的。”
Abitbol表示,借助这些优化,公司能够在约256,000 token的上下文窗口上实现低于3秒的首token时间,以及约每秒200 token的生成速度,他指出这两者都是公司软件工程师的最佳平衡点。
“你要瞄准的是低于3秒的首token时间。这是经验证据。一旦超过5秒,我的Slack收件箱就开始爆了,”Abitbol说。“就吞吐量而言,其实没那么重要。在交互性方面,我们提供每秒200 token。人们对此没问题。你不需要更高。人们的工作方式已经改变了。我们不再盯着思考token的流。人们并行运行任务,任务完成后再查看。”
而如果吞吐量是个问题,他指出下午5点后登录的工程师能获得接近每秒800 token的速度。
不过,值得注意的是,GLM并未完全取代GPT或Claude。这个中国模型仅支持文本,因此不太适合UI工作之类的事情。于是,Revolut改用模型路由器将视觉查询导向Gemini或GPT Luna等模型,同时让代码生成继续运行在GLM上。
“开源现在是Revolut的优先事项,我们的经济账很有利。计费是固定的,我们月底不会有账单惊吓,前沿模型只是例外,”Abitbol说。
话虽如此,Abitbol承认,出于隐私和安全原因,中国的开放权重模型可能令人担忧,但他强调,主要的担忧是通过运行在中国的API来访问它们。当在本地或区域云资源上运行时,其实没什么可担心的。®
Wie lange dauert es ungefähr, bis sich die Vorabinvestitionen für das komplette Setup mit 56 B200 plus Parameter-Tuning und Quantisierung amortisiert haben? Wenn ein kleines Team das einfach nachahmen will, ist doch allein die Hardware-Hürde schon kaum zu stemmen, oder?