IBM y Bloomberg anunciaron el jueves que KServe se unirá a LF AI & Data Foundation como su último proyecto de incubación. KServe proporciona una definición de recursos personalizada de Kubernetes para servir modelos de aprendizaje automático en marcos arbitrarios y respalda varios productos de IBM, incluido Watson Assistant.
Bloomberg, Google, IBM, Nvidia, Seldon y otras organizaciones colaboraron con KServe Project Community para lanzarlo y publicarlo como código abierto.
En una publicación de blog, Animesh Singh de IBM y Dan Sun y Alexa Griffith de Bloomberg dijeron que estaban hablando en nombre de la comunidad de KServe y promocionaron a LF AI & Data Foundation por su trabajo de «construir un ecosistema para sustentar la innovación en inteligencia artificial y proyectos de código abierto de datos». .»
Según las empresas, KServe tiene como objetivo resolver casos de uso de modelos de producción al proporcionar interfaces de alto rendimiento y alta abstracción para marcos de ML comunes como TensorFlow, XGBoost, Scikit-learn, PyTorch y ONNX.
«KServe encapsula la complejidad del escalado automático, las redes, la verificación del estado y la configuración del servidor para brindar funciones de servicio de vanguardia como el escalado automático de GPU, escalar a cero y Canary Rollouts a sus implementaciones de ML. Permite una historia simple, conectable y completa para la producción ML Serving, incluida la predicción, el preprocesamiento, el posprocesamiento y la explicabilidad», dijeron Singh, Sun y Griffith.
Animesh Singh, CTO y director de Watson AI en IBM, dijo que la compañía es cofundadora y adoptante de KServe. Singh dijo que cientos de miles de modelos se ejecutan simultáneamente para aplicaciones de IA a escala de Internet como IBM Watson Assistant e IBM Watson Natural Language Understanding.
Además: 100 días después de la división de IBM, Kyndryl firma un pacto estratégico en la nube con AWS
Singh agregó que ModelMesh de IBM, de código abierto y disponible como parte del proyecto KServe, resuelve el desafío de la costosa administración de contenedores, lo que les permite ejecutar cientos de miles de modelos en una sola implementación de producción con un espacio mínimo.
El director sénior de gestión de productos para computación acelerada de Nvidia, Paresh Kharya, explicó que el servidor de inferencia Nvidia Triton funciona en conjunto con KServe para encapsular la complejidad en la implementación y el escalado de IA en Kubernetes a través de su marco de inferencia sin servidor.
«Nvidia sigue siendo un contribuyente activo al proyecto comunitario de código abierto KServe para respaldar la implementación sin esfuerzo de modelos de aprendizaje automático de IA a escala», dijo Kharya.
KServe también está ayudando a Bloomberg a expandir su uso de IA en Bloomberg Terminal y otros productos empresariales, según el jefe de ingeniería de IA de Bloomberg, Anju Kambadur. Kambadur explicó que Bloomberg quiere pasar rápidamente de la idea al prototipo y a la producción y necesita asegurarse de que los modelos evolucionen sin problemas una vez creados para adaptarse a los cambios en los datos.
«Esto es importante no solo para crear mejores productos más rápido, sino también para asegurarnos de desbloquear el potencial creativo de nuestros investigadores de IA sin agobiarlos con la escritura de toneladas de código repetitivo. En este sentido, estoy emocionado y agradecido de que KServe, que Bloomberg ayudó a fundar y lideró el desarrollo de, ha dado tantos pasos», dijo Kambadur.
Mark Winter, ingeniero de software del popular motor de búsqueda surcoreano Naver Search, agregó que KServe les ha permitido modernizar su infraestructura de servicio de IA y les ha proporcionado las herramientas necesarias para manejar las diferencias de escala de tráfico entre los ciclos diurno y nocturno.
«Al proporcionar una interfaz estandarizada además de Knative y Kubernetes, KServe permite que nuestros investigadores de IA se concentren en crear mejores modelos y poner su arduo trabajo en producción sin convertirse en expertos en la entrega y administración de servicios de back-end de alta disponibilidad», dijo Winter.
El anuncio se produce antes del lanzamiento de KServe 0.8, que según un portavoz tendría características como un nuevo recurso personalizado ServingRuntime, reconciliación de espacios de nombres múltiples ModelMesh, compatibilidad mejorada con CloudEvent y gRPC, e integración de la API REST de KServe v2 con TorchServe.
Según el portavoz, la hoja de ruta para v1.0 presenta una API estabilizada que unifica ModelMesh y las implementaciones de servicio de modelo único y capacidades gráficas de inferencia más avanzadas.
