HuaRenCa
Back to Forum
Community

A家颤抖吧,fintech Revolut 弃用 Claude 改用自托管,AI 编程成本直降 10 倍

陽光的味道
陽光的味道

2 weeks ago

英国金融科技公司 Revolut 弃用 Claude 转向自托管,AI 编程成本直降 10 倍

Revolut 表示,在不到一年的时间里,它已将 AI 编程推理成本削减了约 90%,方法是把自托管模型作为默认选项,而不再主要依赖 Claude 等商业服务。

在上个月于纽约举行的 AI Engineer 大会上,这家英国金融科技公司的运维与基础设施负责人 David Abitbol 介绍了公司向约 2,000 名工程师推广 AI 编程工具后,编程时间改善了 60%,交付周期改善了 70%。Revolut 最初采用 GLM-5.1,随后转向 GLM-5.3,目前使用 56 块 Nvidia B200 GPU 来提供服务。

在转向 GLM 之前,Revolut 一直在试验 AI,于 2025 年初部署了 Gemini,2026 年初部署了 Claude Code。“我们当时对 AI 的成本高度怀疑。我们看到工程师每月花费 1,000 美元、10,000 美元,却没有多少投资回报,所以我们在推出时设定了严格的预算限制,”Abitbol 说。

正因如此,工程师只能使用有限数量的 token,于是公司开始研究自托管自己的模型。自托管 GLM 5.1 的成本为每百万输入/输出 token 0.30 美元,约为使用 OpenAI 的 Codex 或 Anthropic 的 Claude Code 的十分之一。而事实证明,当 token 便宜时,你就不再担心他们用了多少、用来做什么。

虽然 Revolut 确实看到了编程速度的提升,但 Abitbol 指出,最大的瓶颈其实不是代码。相反,他说最大的收益来自让 AI 模型处理调试以及 Jira 和 Confluence 工单之类的事情。“当你有无限的 token 时,你就可以自由地这么做,”他说。“你不再需要把 token 留到季度末或留给最困难的任务。”

GLM 5.1 由中国开放权重模型开发商 Z.ai 开发,并不是一个小模型。其总参数约为 7,540 亿(每生成一个 token 激活 400 亿),仅保存权重就需要约 380 GB 的 GPU 内存,另外根据精度不同,每个用户还需 6-26 GB 来维持上下文。

为了大规模提供 GLM-5.3 服务,Revolut 部署了 56 块 Nvidia B200 GPU,GPU 数量相当于七套八 GPU 的 DGX B200 系统。但正如 Abitbol 所指出的,最大的性能提升并非来自增加 GPU,而是来自调整模型的超参数,同时改用 NVFP4 量化、实现预填充与解码分离,以及调整上下文长度。

一个关键结论是,支持一百万 token 的上下文窗口并不一定能让这么大的窗口变得有用或高效。“长上下文是个骗局。你真的需要对此保持警惕,”Abitbol 说。“即使你能提供一百万 token,256(千)才是你真正需要的。”

通过这些优化,Abitbol 表示公司能够在约 256,000 token 的上下文窗口上实现低于 3 秒的首 token 时间,生成速度约为每秒 200 token,他指出这两者都是公司软件工程师的最佳平衡点。

“你要瞄准的是低于 3 秒的首 token 时间。这是经验证据。一旦超过 5 秒,我的 Slack 收件箱就开始爆了,”Abitbol 说。“就吞吐量而言,其实没那么重要。在交互性方面,我们提供每秒 200 token。人们对此很满意。你不需要更高。人们的工作方式已经改变了。我们不再盯着思考 token 的流。人们并行运行任务,任务完成后再查看。”

而如果吞吐量是个问题,他指出下午 5 点后登录的工程师能获得接近每秒 800 token 的速度。

不过,值得注意的是,GLM 并未完全取代 GPT 或 Claude。这个中国模型仅支持文本,因此不太适合 UI 工作之类的事情。于是,Revolut 使用模型路由器将视觉查询导向 Gemini 或 GPT Luna 等模型,同时让代码生成继续在 GLM 上运行。

“开源现在是 Revolut 的优先事项,我们的经济账很有利。计费是固定的,月底不会有账单惊吓,前沿模型只是例外,”Abitbol 说。

话虽如此,Abitbol 承认,出于隐私和安全原因,中国开放权重模型可能令人担忧,但他强调,主要的担忧是通过运行在中国的 API 访问它们。当在本地或区域云资源上运行时,其实没什么可担心的。®

6
453

Comments (6)

Your avatar
Sign in to comment
周金荣
周金荣2 weeks ago

En el plan completo, con 56 B200 más el ajuste de parámetros y la cuantización, ¿en cuánto tiempo se recupera aproximadamente esa inversión inicial? Si un equipo pequeño lo replica tal cual, solo el umbral de hardware ya sería bastante complicado, ¿no?

金色传说
金色传说2 weeks ago

El texto dice que GLM solo procesa texto y que las consultas visuales se enrutan por separado; entonces, en la práctica, ¿el cambio de ruta podría causar problemas de latencia?

寒冰阿道
寒冰阿道2 weeks ago

Si el equipo es pequeño y el consumo diario de tokens es limitado, el autohospedaje no necesariamente resulta más rentable que el pago por uso; conviene medir primero el consumo actual antes de evaluar la inversión en hardware, de lo contrario el costo por recursos ociosos podría ser incluso mayor.

zhang-阿笑
zhang-阿笑2 weeks ago

La conclusión clave es que el ahorro no depende de cambiar de modelo, sino de que, al abaratarse los tokens, uno se atreva a delegar en el modelo también tareas secundarias como la depuración o los tickets; este enfoque tiene más valor de referencia que una simple comparación de precios.

yuldas488
yuldas4882 weeks ago

No se ofrecen datos comparativos en el texto sobre si la calidad del modelo se degrada tras la cuantización NVFP4.

犀利她妈妈
犀利她妈妈2 weeks ago

A muchos equipos les ha pasado que la factura mensual se les descontrola de repente, pero conviene tener en cuenta que los costes del texto se calculan según la carga propia y este lote de GPU; si se cambia de región o de proveedor de recursos en la nube, los precios varían por completo. Además, al desplegar modelos de pesos abiertos en chino en una nube regional, también hay que confirmar de antemano los procesos de cumplimiento y auditoría, sin fijarse solo en el precio unitario.