En marge de la KubeCon North American, où Red Hat a annoncé OpenShift AI 2.15, l’éditeur signe l’acquisition de Neural Magic, jeune pousse fondée par le MIT en 2018, spécialisée dans l’accélération des charges d’inférence d’IA générative.
Red Hat se renforce dans l’intelligence artificielle. Alors que la KubeCon North America s’achève aujourd’hui, le géant de l’open source propriété d’IBM a profité de la grand-messe des experts de Kubernetes pour multiplier les annonces. Il a ainsi annoncé la sortie de la version 2.15 d’OpenShift AI, sa plateforme dédiée au développement, à l’entrainement et au déploiement de modèles de machine learning dans les environnements Kubernetes.
vLLM
Ne s’arrêtant pas en si bon chemin, Red Hat a également signé un accord définitif portant sur l’acquisition de Neural Magic. Cette entreprise créée par le MIT en 2018 développait à l’origine des logiciels d’inférence pour le deep learning. Le succès de ChatGPT et consorts aidant, la jeune pousse ait dans l’ingénierie des performances des inférences, afin d’optimiser l’usage des ressources requises pour cette étape clé du fonctionnement de l’intelligence artificielle.
L’inférence désigne, très schématiquement, l’étape à laquelle un modèle d’intelligence artificielle peut tirer des conclusions, répondre aux requêtes à partir de son entraînement. L’équivalent de la manière dont nous autres, humains, raisonnons. Intervenant après l’apprentissage et la modélisation du modèle, cette phase est donc critique pour les LLM : les moteurs d’inférence sont ceux qui permettent à l’intelligence artificielle de « prendre des décisions » basées sur les données fournies en input et sur son entraînement.
L’alliance de Red Hat et de Neural Magic offrira donc au premier de meilleurs capacités d’ajustage et de paramétrage des LLM, mais aussi l’expertise du second sur vLLM. Ce référentiel open source né à l’Université de Berkeley porte sur le déploiement de modèles ouverts, et notamment sur l’accélération des inférences et l’accélération matérielle des GPU d’AMD et de Nvidia, des accélérateurs TPU de Google et Gaudi d’Intel et, plus largement, des processeurs x86.
« Le « Red Hat » de l’IA »
« Chez Neural Magic, nous avons réuni certains des meilleurs talents dans le domaine de l’ingénierie des performances de l’IA avec une mission unique : créer des capacités de déploiement LLM à la fois ouvertes, multiplateformes et ultra-efficaces » explique son CEO, Brian Stevens. Objectif pour Red Hat : utiliser l’expertise de Neural Magic pour créer une pile d’inférence et simplifier l’intégralité du processus de déploiement de LLM multi-environnements (sur site, dans un ou plusieurs clouds, hybride…). Le montant de l’opération n’a pas été divulgué.
« Les workloads d’IA doivent être exécutées partout où résident les données des clients dans le cloud hybride ; à ce titre, la disponibilité de plateformes et d’outils flexibles, standardisés et ouverts constitue une nécessité, car ils permettent aux entreprises de sélectionner les environnements, les ressources et les architectures qui répondent de façon optimale à leurs besoins spécifiques, tant sur le plan opérationnel que des données » souligne Matt Hicks, PDG de Red Hat. « Nous nous réjouissons de compléter notre portefeuille d’IA centré sur le cloud hybride avec les capacités d’innovation révolutionnaires de Neural Magic en matière d’IA, qui nous permet de poursuivre la réalisation de notre objectif : celui de devenir non seulement le « Red Hat » de l’open source, mais également le « Red Hat » de l’IA ».
