HuaRenCa
Back to Forum
Community

A家要慌了:金融科技公司Revolut改用自托管,AI编程成本直降10倍

陽光的味道
陽光的味道

2 weeks ago

英国金融科技公司Revolut弃用Claude、转向自托管,AI编程成本直降10倍

Revolut表示,在不到一年的时间里,它通过将自托管模型设为默认选项、不再主要依赖Claude等商业服务,成功将AI编程推理成本削减了约90%。

在上个月于纽约举行的AI Engineer大会上,这家英国金融科技公司的运维与基础设施负责人David Abitbol介绍了公司在向约2000名工程师推广AI编程工具后,编程时间改善了60%、交付周期改善了70%。Revolut最初采用GLM-5.1,随后转向GLM-5.3,目前使用56块Nvidia B200 GPU来提供服务。

在转向GLM之前,Revolut一直在试验AI,于2025年初部署了Gemini,2026年初部署了Claude Code。“我们当时对AI的成本高度怀疑。我们看到工程师每月花费1000美元、10000美元,却没有多少投资回报,所以我们在推出时设置了严格的预算限制,”Abitbol说。

正因如此,工程师只能使用有限数量的token,于是公司开始研究自托管自己的模型。自托管GLM 5.1的成本为每百万输入/输出token 0.30美元,约为使用OpenAI的Codex或Anthropic的Claude Code的十分之一。而事实证明,当token便宜时,你就不再担心他们用了多少、用来做什么。

虽然Revolut确实看到了编程速度的提升,但Abitbol指出,最大的瓶颈其实并不是代码。相反,他表示最大的收益来自让AI模型处理调试以及Jira和Confluence工单之类的事情。“当你有无限的token时,你就可以自由地这么做,”他说。“你不再需要把token留到季度末或留给最困难的任务。”

GLM 5.1由中国开放权重模型开发商Z.ai开发,并不是一个小模型。其总参数约为7540亿(每生成一个token激活400亿),仅保存权重就需要约380 GB的GPU内存,另外每个用户还需6-26 GB来维持上下文,具体取决于精度。

为了大规模提供GLM-5.3,Revolut部署了56块Nvidia B200 GPU,GPU数量相当于七套八GPU的DGX B200系统。但正如Abitbol所指出的,最大的性能提升并非来自增加GPU,而是来自调整模型的超参数,同时改用NVFP4量化、实现分离式预填充与解码,以及调整上下文长度。

一个关键结论是,支持100万token的上下文窗口并不一定能让这么大的窗口变得有用或高效。“长上下文是个骗局。你真的需要对此保持警惕,”Abitbol说。“尽管你可以服务100万token,但256[千]才是你真正需要的。”

Abitbol表示,借助这些优化,公司能够在约256,000 token的上下文窗口上实现低于3秒的首token时间,以及约每秒200 token的生成速度,他指出这两者都是公司软件工程师的最佳平衡点。

“你要瞄准的是低于3秒的首token时间。这是经验证据。一旦超过5秒,我的Slack收件箱就开始爆了,”Abitbol说。“就吞吐量而言,其实没那么重要。在交互性方面,我们提供每秒200 token。人们对此没问题。你不需要更高。人们的工作方式已经改变了。我们不再盯着思考token的流。人们并行运行任务,任务完成后再查看。”

而如果吞吐量是个问题,他指出下午5点后登录的工程师能获得接近每秒800 token的速度。

不过,值得注意的是,GLM并未完全取代GPT或Claude。这个中国模型仅支持文本,因此不太适合UI工作之类的事情。于是,Revolut改用模型路由器将视觉查询导向Gemini或GPT Luna等模型,同时让代码生成继续运行在GLM上。

“开源现在是Revolut的优先事项,我们的经济账很有利。计费是固定的,我们月底不会有账单惊吓,前沿模型只是例外,”Abitbol说。

话虽如此,Abitbol承认,出于隐私和安全原因,中国的开放权重模型可能令人担忧,但他强调,主要的担忧是通过运行在中国的API来访问它们。当在本地或区域云资源上运行时,其实没什么可担心的。®

6
453

Comments (6)

Your avatar
Sign in to comment
周金荣
周金荣2 weeks ago

Wie lange dauert es ungefähr, bis sich die Vorabinvestitionen für das komplette Setup mit 56 B200 plus Parameter-Tuning und Quantisierung amortisiert haben? Wenn ein kleines Team das einfach nachahmen will, ist doch allein die Hardware-Hürde schon kaum zu stemmen, oder?

金色传说
金色传说2 weeks ago

Im Text heißt es, GLM verarbeite nur Text und visuelle Anfragen würden über ein Routing laufen – entsteht bei der praktischen Nutzung durch den Routing-Wechsel nicht eine Verzögerung?

寒冰阿道
寒冰阿道2 weeks ago

Wenn das Team klein ist und der tägliche Token-Verbrauch begrenzt bleibt, ist Self-Hosting nicht unbedingt günstiger als die nutzungsbasierte Abrechnung. Am besten erfasst man zunächst den aktuellen Verbrauch und bewertet dann die Hardware-Investition – sonst fallen die Leerlaufkosten am Ende sogar höher aus.

zhang-阿笑
zhang-阿笑2 weeks ago

Die zentrale Erkenntnis ist, dass der Schlüssel zum Sparen nicht im Modellwechsel liegt, sondern darin, dass man bei günstigeren Tokens auch Nebenaufgaben wie Debugging und Tickets getrost dem Modell überlassen kann – dieser Ansatz ist als Orientierung wertvoller als ein reiner Preisvergleich.

yuldas488
yuldas4882 weeks ago

Ob die Modellqualität nach der NVFP4-Quantisierung zurückgeht, dazu liefert der Haupttext keine Vergleichsdaten.

犀利她妈妈
犀利她妈妈2 weeks ago

Viele Teams kennen die Situation, dass die Monatsrechnung plötzlich außer Kontrolle gerät. Wichtig ist jedoch: Die Kosten im Text beziehen sich auf die eigene Last und genau diese GPUs – bei einem anderen Standort oder anderen Cloud-Ressourcen sehen die Preise völlig anders aus. Außerdem müssen bei chinesischen Open-Source-Modellen mit offenen Gewichten, die über eine regionale Cloud bereitgestellt werden, Compliance- und Audit-Prozesse vorab geklärt werden; der Stückpreis allein reicht nicht aus.