NVIDIA NIM , un conjunto de microservicios de inferencia de IA generativa, funcionará con KServe , un software de código abierto que automatiza la puesta en funcionamiento de modelos de IA a la escala de una aplicación de computación en la nube.
La combinación garantiza que la IA generativa se pueda implementar como cualquier otra aplicación empresarial de gran tamaño. También hace que NIM esté ampliamente disponible a través de plataformas de docenas de empresas, como Canonical, Nutanix y Red Hat.
La integración de NIM en KServe extiende las tecnologías de NVIDIA a la comunidad de código abierto, socios del ecosistema y clientes. A través de NIM, todos pueden acceder al rendimiento, el soporte y la seguridad de la plataforma de software NVIDIA AI Enterprise con una llamada API: el botón de la programación moderna.
Sirviendo IA en Kubernetes
KServe comenzó como parte de Kubeflow, un conjunto de herramientas de aprendizaje automático basado en Kubernetes, el sistema de código abierto para implementar y administrar contenedores de software que contienen todos los componentes de grandes aplicaciones distribuidas.
A medida que Kubeflow amplió su trabajo sobre la inferencia de IA, nació lo que se convirtió en KServe y finalmente evolucionó hasta convertirse en su propio proyecto de código abierto.
Muchas empresas han contribuido y adoptado el software KServe que se ejecuta hoy en empresas como AWS, Bloomberg, Canonical, Cisco, Hewlett Packard Enterprise, IBM, Red Hat, Zillow y NVIDIA.
Debajo del capó con KServe
KServe es esencialmente una extensión de Kubernetes que ejecuta inferencia de IA como una poderosa aplicación en la nube. Utiliza un protocolo estándar, se ejecuta con un rendimiento optimizado y es compatible con PyTorch, Scikit-learn, TensorFlow y XGBoost sin que los usuarios necesiten conocer los detalles de esos marcos de IA.
El software es especialmente útil hoy en día, cuando están surgiendo rápidamente nuevos modelos de lenguajes grandes ( LLM ).
KServe permite a los usuarios ir y venir fácilmente de un modelo a otro, probando cuál se adapta mejor a sus necesidades. Y cuando se lanza una versión actualizada de un modelo, una función de KServe llamada «implementos canary» automatiza el trabajo de validarlo cuidadosamente e implementarlo gradualmente en producción.
Otra característica, el escalado automático de GPU, gestiona de manera eficiente cómo se implementan los modelos a medida que la demanda de un servicio fluye y refluye, para que los clientes y proveedores de servicios tengan la mejor experiencia posible.
Una llamada API a la IA generativa
Las bondades de KServe ahora estarán disponibles con la facilidad de NVIDIA NIM.
Con NIM, una simple llamada API se encarga de todas las complejidades. Los administradores de TI empresariales obtienen las métricas que necesitan para garantizar que su aplicación se ejecute con rendimiento y eficiencia óptimos, ya sea en su centro de datos o en un servicio remoto en la nube, incluso si cambian los modelos de IA que utilizan.
NIM permite a los profesionales de TI convertirse en profesionales de la IA generativa, transformando las operaciones de su empresa. Es por eso que una gran cantidad de empresas como Foxconn y ServiceNow están implementando microservicios NIM .
NIM utiliza docenas de plataformas Kubernetes
Gracias a su integración con KServe, los usuarios podrán acceder a NIM en docenas de plataformas empresariales como Charmed KubeFlow y Charmed Kubernetes de Canonical, Nutanix GPT-in-a-Box 2.0 , OpenShift AI de Red Hat y muchas otras.
«Red Hat ha estado trabajando con NVIDIA para que a las empresas les resulte más fácil que nunca implementar IA utilizando tecnologías de código abierto», dijo Yuan Tang, colaborador de KServe, ingeniero de software principal de Red Hat. «Al mejorar KServe y agregar soporte para NIM en Red Hat OpenShift AI, podemos brindar acceso optimizado a la plataforma de inteligencia artificial generativa de NVIDIA para los clientes de Red Hat».
«A través de la integración de los microservicios de inferencia NIM de NVIDIA con Nutanix GPT-in-a-Box 2.0, los clientes podrán crear aplicaciones de IA generativa escalables, seguras y de alto rendimiento de manera consistente, desde la nube hasta el borde», afirmó. el vicepresidente de ingeniería de Nutanix, Debojyoti Dutta, cuyo equipo contribuye a KServe y Kubeflow.
«Como empresa que también contribuye significativamente a KServe, nos complace ofrecer NIM a través de Charmed Kubernetes y Charmed Kubeflow», dijo Andreea Munteanu, gerente de producto MLOps de Canonical. «Los usuarios podrán acceder a todo el poder de la IA generativa, con el mayor rendimiento, eficiencia y facilidad gracias a la combinación de nuestros esfuerzos».
Docenas de otros proveedores de software pueden sentir los beneficios de NIM simplemente porque incluyen KServe en sus ofertas.
Al servicio de la comunidad de código abierto
NVIDIA tiene una larga trayectoria en el proyecto KServe. Como se señaló en un blog técnico reciente , el protocolo de inferencia abierta de KServe se utiliza en NVIDIA Triton Inference Server , que ayuda a los usuarios a ejecutar muchos modelos de IA simultáneamente en muchas GPU, marcos y modos operativos.
Con KServe, NVIDIA se centra en casos de uso que implican ejecutar un modelo de IA a la vez en muchas GPU.
Como parte de la integración de NIM, NVIDIA planea ser un colaborador activo de KServe, aprovechando su cartera de contribuciones al software de código abierto que incluye Triton y TensorRT-LLM . NVIDIA también es miembro activo de Cloud Native Computing Foundation , que admite código fuente abierto para IA generativa y otros proyectos.
Pruebe la API NIM en el catálogo de API de NVIDIA utilizando los modelos Llama 3 8B o Llama 3 70B LLM hoy. Cientos de socios de NVIDIA en todo el mundo están utilizando NIM para implementar IA generativa.