HuaRenCa
Back to Forum
Community

A家要慌了:金融科技公司Revolut自托管替代Claude,AI编程成本直降10倍

陽光的味道
陽光的味道

2 weeks ago

英国金融科技公司Revolut弃用Claude转向自托管,AI编程成本直降10倍

Revolut表示,在不到一年的时间里,通过将自托管模型设为默认选项、不再主要依赖Claude等商业服务,公司已成功将AI编程推理成本削减约90%。

在上个月于纽约举行的AI Engineer大会上,这家英国金融科技公司的运维与基础设施负责人David Abitbol介绍了公司在向约2000名工程师推广AI编程工具后,编程时间改善了60%、交付周期改善了70%。Revolut最初采用GLM-5.1,随后迁移至GLM-5.3,目前使用56块Nvidia B200 GPU来提供服务。

在转向GLM之前,Revolut一直在试验AI,于2025年初部署了Gemini,2026年初部署了Claude Code。“我们当时对AI的成本高度怀疑。我们看到工程师每月花费1000美元、10000美元,却没有太多投资回报,所以我们在推出时设置了严格的预算限制,”Abitbol说。

正因如此,工程师只能使用有限数量的token,公司于是开始研究自托管自有模型。自托管GLM 5.1的成本为每百万输入/输出token 0.30美元,约为使用OpenAI Codex或Anthropic Claude Code的十分之一。而事实证明,当token便宜时,你就不再担心他们用了多少、用来做什么。

虽然Revolut确实看到了编程速度的提升,但Abitbol指出,最大的瓶颈其实并不是代码本身。他说,最大的收益来自让AI模型处理调试以及Jira和Confluence工单之类的事情。“当你有无限token时,你就可以自由地这么做,”他说。“你不再需要把token留到季度末或留给最困难的任务。”

GLM 5.1由中国开放权重模型开发商Z.ai开发,并不是一个小模型。其总参数约为7540亿(每生成一个token激活400亿),仅保存权重就需要约380 GB的GPU内存,另外每个用户还需6-26 GB来维持上下文,具体取决于精度。

为了大规模提供GLM-5.3服务,Revolut部署了56块Nvidia B200 GPU,GPU数量相当于七套八GPU的DGX B200系统。但正如Abitbol所指出的,最大的性能提升并非来自增加GPU,而是来自调整模型的超参数,同时切换到NVFP4量化、实现预填充与解码分离,以及调整上下文长度。

一个关键结论是,支持一百万token的上下文窗口并不一定能让如此大的窗口变得有用或高效。“长上下文是个骗局。你真的需要对此保持警惕,”Abitbol说。“即使你能提供一百万token,256[千]才是你真正需要的。”

Abitbol表示,借助这些优化,公司能够在约256000 token的上下文窗口上实现低于3秒的首token时间,以及约每秒200 token的生成速度,他指出这两者都是公司软件工程师的最佳平衡点。

“你要瞄准的是低于3秒的首token时间。这是经验证据。一旦超过5秒,我的Slack收件箱就开始爆了,”Abitbol说。“就吞吐量而言,其实没那么重要。在交互性方面,我们提供每秒200 token。人们对此没问题。你不需要更高。人们的工作方式已经改变了。我们不再盯着思考token的流式输出。人们并行运行任务,任务完成后再查看。”

而如果吞吐量是个问题,他指出下午5点后登录的工程师能获得接近每秒800 token的速度。

不过,值得注意的是,GLM并未完全取代GPT或Claude。这个中国模型仅支持文本,因此不太适合UI工作之类的事情。于是,Revolut使用模型路由器将视觉查询导向Gemini或GPT Luna等模型,同时让代码生成继续在GLM上运行。

“开源现在是Revolut的优先事项,我们的经济账很有利。计费是固定的,月底不会有账单惊吓,前沿模型只是例外,”Abitbol说。

话虽如此,Abitbol承认,出于隐私和安全原因,中国开放权重模型可能令人担忧,但他强调,主要的担忧是通过运行在中国的API访问它们。当在本地或区域云资源上运行时,其实没什么可担心的。®

6
453

Comments (6)

Your avatar
Sign in to comment
周金荣
周金荣2 weeks ago

このソリューション全体でB200を56枚用意し、さらにパラメータ調整と量子化まで含めると、こうした初期投資はどのくらいで回収できるのでしょうか。小規模チームがそのまま真似しようとすると、ハードルの高さだけでも相当厳しいですよね。

金色传说
金色传说2 weeks ago

文書では GLM はテキストのみを処理し、視覚クエリはルーティング経由だと述べていますが、実際に使う際にルーティングの切り替えで遅延が発生する問題はありますか?

寒冰阿道
寒冰阿道2 weeks ago

チーム規模が小さく、1日あたりのトークン消費量が限られている場合、セルフホスティングは従量課金よりも必ずしも割安とは限りません。まず現状の使用量を集計したうえでハードウェア投資を評価するのが望ましく、そうでなければ遊休コストのほうがかえって高くつきます。

zhang-阿笑
zhang-阿笑2 weeks ago

核心となる結論は、コスト削減の鍵はモデルを替えることではなく、トークンが安くなったからこそデバッグやチケット対応といった雑務もモデルに任せられるという発想にあり、この考え方は単純な価格比較よりも参考価値が高い。

yuldas488
yuldas4882 weeks ago

NVFP4で量子化した後のモデル品質に低下はないのか、本文には比較データが示されていません。

犀利她妈妈
犀利她妈妈2 weeks ago

月額請求が突然手に負えなくなる場面は多くのチームが経験していますが、本文中のコストは自社の負荷とこのGPU群に基づいて算出されたものであり、リージョンやクラウドリソースを変えれば価格はまったく異なります。また、中国語のオープンソース重みモデルをリージョナルクラウドでデプロイする場合、コンプライアンスと監査のプロセスも事前に確認する必要があり、単価だけで判断すべきではありません。