Gartner predice que en 2028 el 15% de las decisiones serán tomadas de forma autónoma por IA, pero ¿está lista la infraestructura?
2 months ago
En los últimos cinco años, la IA generativa ha arrasado en el mercado, creando diversos contenidos como texto y videos dinámicos a partir de las indicaciones de los usuarios. Ahora, la IA agéntica promete un cambio fundamental para las empresas. La IA agéntica no solo responde a las indicaciones, sino que también razona, planifica y ejecuta pasos múltiples para alcanzar objetivos, casi sin intervención humana.
Gartner predice que para 2028, al menos el 15% de las decisiones laborales diarias serán tomadas de forma autónoma por la IA agéntica. Gartner también señala que para finales de 2027, las empresas cancelarán más del 40% de sus proyectos de IA agéntica. ¿Por qué es tan importante la IA agéntica, pero las empresas tienen dificultades para integrar la IA en sus operaciones? Gartner cree que el mayor obstáculo son los costos crecientes y la complejidad de implementar agentes de IA a gran escala.
Para garantizar el éxito de la IA agéntica, las empresas deben asegurar una proporción adecuada entre GPU y CPU. El "impuesto a la GPU ociosa" se está convirtiendo en una preocupación creciente para los usuarios que expanden la IA, refiriéndose al costo oculto de las GPU infrautilizadas que siguen generando gastos. Según datos de decenas de miles de clústeres, Cast AI publicó un informe que muestra que la utilización de GPU es solo del 5%. El tiempo de inactividad de las GPU generalmente no es intencional por parte de las empresas para ahorrar recursos, sino que probablemente sea un desequilibrio arquitectónico. En un proyecto de investigación conjunto entre Intel y el Instituto de Tecnología de Georgia, se descubrió que en cargas de trabajo de agentes, el procesamiento de herramientas en la CPU representa entre el 50% y el 90% de la latencia total; la GPU permanece inactiva mientras espera que la CPU termine su trabajo antes de procesar el siguiente lote de tokens, lo que aumenta los costos operativos.
A medida que el panorama de la IA continúa cambiando y evolucionando, las empresas necesitan que CPU y GPU trabajen juntas con una proporción razonable, lo que impulsará un rendimiento excelente y evitará pagar de más por la infraestructura de IA.
IA generativa vs. IA agéntica
La IA generativa y la IA agéntica difieren fundamentalmente en cómo los flujos de trabajo interactúan con los sistemas circundantes. La IA generativa generalmente opera en una infraestructura relativamente aislada. Recibe una indicación de entrada, la procesa usando un modelo preentrenado y devuelve una salida, generalmente sin necesidad de integración en tiempo real profunda con otros sistemas. Su flujo de trabajo es en gran medida autocontenido, depende de datos de entrenamiento estáticos y, como máximo, realiza una recuperación limitada de bases de conocimiento seleccionadas.
En contraste, la IA agéntica puede actuar de forma autónoma para lograr objetivos, lo que requiere comunicación continua entre múltiples componentes de la infraestructura organizacional. Estos sistemas deben poder orquestar operaciones, consultar bases de datos en tiempo real, interactuar con API, desencadenar flujos de trabajo y ajustarse dinámicamente según la retroalimentación de diferentes servicios. Por lo tanto, la IA agéntica depende de un entorno donde los datos, las herramientas y las capas de decisión estén interconectados, estrechamente integrados e interoperables; su flujo de trabajo es inherentemente más complejo y distribuido que el proceso relativamente aislado de la IA generativa.
Equilibrio entre CPU y GPU
En la fiebre de la IA de los últimos cinco años, la GPU ha sido el núcleo computacional. Sin embargo, las GPU no están diseñadas para manejar los diversos comportamientos que definen los sistemas de agentes, como recuperar datos de red en tiempo real, procesar flujos continuos de sensores como cámaras y LiDAR para conducción autónoma, o navegar por interfaces complejas como plataformas de comercio electrónico para completar tareas. Es en estos aspectos donde la CPU desempeña un papel complementario crucial, proporcionando computación de propósito general, flujo de control y coordinación a nivel de sistema que las GPU carecen. Con el desarrollo de la IA agéntica, especialmente en la automatización de operaciones empresariales, los procesos impulsados por CPU están ocupando cada vez más un lugar central en la orquestación de flujos de trabajo más amplios, coordinación de herramientas, gestión de memoria y estado, e interacción con sistemas externos.
Desde la perspectiva de la carga de trabajo, esta transición trae un equilibrio más matizado en la utilización de CPU y GPU. Los flujos de trabajo tradicionales de IA generativa pasan la mayor parte del tiempo en la GPU, mientras que la CPU solo maneja preprocesamiento y gestión de solicitudes relativamente ligeros. En contraste, las cargas de trabajo de agentes, debido a frecuentes llamadas a herramientas, bucles de decisión y operaciones intensivas en E/S, pueden pasar la mayor parte, a menudo dominante, del tiempo de ejecución en la CPU, mientras que el uso de la GPU ocurre en ráfagas cortas durante la inferencia del modelo. Este desequilibrio es particularmente pronunciado en entornos de servicio, donde el procesamiento paralelo de la CPU, aunque flexible, no escala tan bien como la GPU, lo que significa que las cargas de trabajo de agentes con uso intensivo de herramientas pueden saturar los recursos de la CPU antes de que la GPU se utilice por completo. Para mantener una alta utilización de la GPU y evitar cuellos de botella, los sistemas de IA agéntica necesitan CPU de alto rendimiento con suficientes núcleos e hilos para satisfacer las demandas de orquestación de tareas. En los centros de datos modernos, es crucial configurar adecuadamente la cantidad de GPU y CPU; de lo contrario, las instalaciones con potencia de CPU insuficiente dejarán ociosos los costosos recursos de GPU, reduciendo el rendimiento del sistema y el retorno de la inversión.
Enfoque centrado en la CPU
En el artículo titulado "Hacia la comprensión, análisis y optimización de la ejecución de IA agéntica: una perspectiva centrada en la CPU", investigadores de Intel, en colaboración con el Instituto de Tecnología de Georgia, describen y analizan los cuellos de botella del sistema causados por las cargas de trabajo de IA agéntica, destacando especialmente el papel central de la CPU en el procesamiento.
Para ello, los investigadores realizaron un análisis de características en tiempo de ejecución en diferentes sistemas de hardware, centrándose en la latencia de extremo a extremo, el rendimiento de procesamiento por lotes y el análisis de consumo de energía, para aislar los cuellos de botella de hardware en el sistema. El equipo identificó y probó cinco cargas de trabajo de IA agéntica ampliamente implementadas, que incluyen aplicaciones como respuesta a preguntas factuales, codificación y tareas científicas, representando diversos tamaños de modelo, patrones de orquestación y estrategias de integración de herramientas. La siguiente figura muestra el porcentaje promedio de tiempo de procesamiento dedicado por cada una de estas cinco cargas de trabajo en CPU y GPU, respectivamente.
Los resultados muestran que las cargas de trabajo de IA agéntica centradas en herramientas están severamente limitadas por el cuello de botella del procesamiento de herramientas en la CPU, consumiendo las tareas de CPU hasta un promedio del 86% de la latencia de extremo a extremo. Estos resultados indican que, para la mayoría de los casos de uso, las empresas deberían implementar activamente estrategias de optimización centradas en la CPU. Sin embargo, el porcentaje específico de tiempo de procesamiento entre CPU y GPU varía ampliamente, desde un 17% de tiempo de CPU para Toolformer en tareas de mejora matemática, hasta un 86% de tiempo de CPU para LangChain en tareas de respuesta a preguntas. Por lo tanto, al determinar la proporción CPU:GPU más eficiente para una empresa, es crucial considerar el caso de uso específico.
Proporción CPU:GPU en aumento
En el libro blanco de Intel "La IA agéntica necesita más CPU", se explora cómo aliviar los cuellos de botella del sistema aumentando la capacidad de cómputo de la CPU, manteniendo así la saturación de la computación GPU para reducir costos. Los resultados de un proceso construido por el equipo muestran que la CPU consume la mayor parte del tiempo del proceso, donde el paso de "complementar contexto" requiere tres veces más tiempo que el tiempo de inferencia del LLM. Los investigadores también construyeron un segundo punto de referencia que simula un escenario donde un desarrollador solicita a un asistente de IA que escriba y pruebe código. Este punto de referencia muestra que la generación de código (GPU) se completa en 62.8 segundos, mientras que la ejecución en la CPU consume 64.1 segundos, convirtiendo a la CPU en el factor limitante del proceso.
Según las pruebas en ese libro blanco, los investigadores encontraron que, para las implementaciones de la generación actual, mantener una proporción (CPU a GPU) de aproximadamente 0.8:1 a 1.4:1 asegura la utilización completa de la GPU. Sin embargo, como se mencionó anteriormente, esto depende en gran medida de la carga de trabajo y el hardware. La siguiente figura muestra cómo el tamaño del modelo afecta la proporción recomendada:
La figura muestra que cuanto más pequeño y eficiente es el modelo, más CPU se necesitan para mantener el mismo rendimiento. Además, el libro blanco señala que, a medida que el rendimiento de la GPU continúa superando las mejoras de la CPU, esta proporción podría necesitar aumentar significativamente, posiblemente hasta 7:1 en escenarios futuros, dependiendo del tipo y la complejidad de la carga de trabajo. Esta investigación demuestra de manera convincente que la CPU está en el centro para lograr el rendimiento y la rentabilidad de los sistemas de IA agéntica de próxima generación.
Procesadores Intel Xeon, diseñados para IA agéntica
La CPU maneja la orquestación, la migración de datos, la inferencia y la coordinación a nivel de sistema, convirtiéndose en el pilar de toda la pila tecnológica de IA. Por lo tanto, elegir la CPU adecuada es crucial para garantizar un rendimiento consistente en entornos de IA cada vez más complejos e híbridos. Los procesadores Intel Xeon 6 combinan aceleración de IA integrada, consistencia de infraestructura y garantías de seguridad, proporcionando una base sólida para la infraestructura moderna de IA.
- Aceleración integrada: Los procesadores Intel Xeon permiten a las empresas ejecutar inferencias directamente en la arquitectura existente, acelerando la obtención de valor y reduciendo la dependencia de habilidades específicas, lo que distingue a Xeon. Con aceleradores de IA integrados como Intel AMX e Intel AVX, Xeon ofrece un rendimiento potente en cargas de trabajo de inferencia comunes, logrando hasta un 50% más de rendimiento con menos núcleos en comparación con productos similares. Esta combinación de aceleración integrada, escalabilidad y flexibilidad operativa hace de Xeon una base sólida para la IA empresarial.
- Consistencia de infraestructura: Los procesadores Intel Xeon 6 son las CPU host más implementadas a nivel mundial. A medida que las operaciones de IA empresarial se expanden y se integran más, Xeon garantiza la consistencia de la infraestructura. Estos procesadores admiten hasta 192 canales PCIe 5.0, aumentando el ancho de banda de E/S, la escalabilidad y la flexibilidad arquitectónica. Al igual que con las cargas de trabajo de inferencia, los servidores host también se benefician de las CPU Intel Xeon 6, con un mayor ancho de banda de memoria gracias a MCRDIMM y la capacidad de usar el soporte de CXL 2.0 de la CPU para expandir la memoria. Las funciones RAS líderes en la industria ayudan a mantener la estabilidad de los clústeres de IA, mientras que el alto rendimiento de un solo hilo ayuda a acelerar tareas como la orquestación y la programación, reduciendo la latencia P99 y de cola, crucial para los servicios de IA orientados al usuario.
- Estabilidad y fiabilidad preparadas para IA: La estabilidad y fiabilidad son fundamentales para las aplicaciones de IA; las empresas necesitan una infraestructura confiable para proteger sus modelos y datos. La tecnología Intel es ampliamente reconocida por sus sólidas garantías de estabilidad y fiabilidad del producto; aproximadamente el 96% de las vulnerabilidades de firmware se descubren mediante protección interna proactiva, mientras que en otras plataformas similares esa proporción es solo del 57%. Combinado con una de las carteras de computación confidencial más completas de la industria, Xeon 6 es una opción ideal para organizaciones que buscan construir una arquitectura de CPU robusta y de nivel empresarial en entornos de IA heterogéneos.
En una era donde las cargas de trabajo de IA se vuelven más dinámicas, distribuidas e integradas con los sistemas empresariales, las decisiones de infraestructura deben equilibrar rendimiento, escalabilidad y confianza. Los procesadores Intel Xeon integran estos elementos, con aceleración integrada para inferencia eficiente, una plataforma consistente y escalable que admite implementaciones en crecimiento, y potentes funciones de protección para datos y modelos críticos, para satisfacer las necesidades cambiantes de la IA moderna. Al reunir estas capacidades en una arquitectura unificada ampliamente adoptada, Xeon permite a los clientes simplificar las operaciones mientras brinda flexibilidad para la expansión continua de los casos de uso de IA.
