Les deux entreprises s’associent mettent une couche de gestion dans l’utilisation des Large Language Models avec Otoroshi with LLM, itération d’une solution d’API Management qui ajoute contrôles d’accès, monitoring et logs aux modèles d’IA.
La plus si jeune pousse d’origine nantaise Clever Cloud prend de l’avance sur ce qui sera sans doute l’une des tendances de 2025 : le contrôle de l’utilisation des LLM. Elle annonce le lancement d’Otoroshi with LLM, une solution déployable depuis sa marketplace permettant « de centraliser et de simplifier la gestion de leurs interactions avec des modèles de langage à grande échelle (LLM) tels qu’OpenAI, Anthropic, ou encore les solutions européennes d’Hugging Face, Mistral, OVHcloud et Scaleway ».
Otoroshi est initialement une solution d’API Management open source lancée par la MAIF. Très schématiquement, cet outil sert de « hub », d’interface par lequel passe les communications entre les différents services appelés par API. Ce qui permet de surveiller les connexions et les accès à des fins de sécurité et de performances.
Réduire le Shadow AI
Ici, il s’agit de transposer la gestion des API aux LLM. Pour ce faire, Clever Cloud s’est associé à Cloud APIM, une jeune pousse dont le CTO et cofondateur, Mathieu Ancelin, se trouve être le créateur d’Otoroshi. « Plutôt que d’ajouter un nouveau LLM au marché, nous avons préféré répondre aux besoins remontés par les DSI et CTO en leur proposant un outil permettant de réduire le shadow IT et de contrôler et sécuriser l’utilisation de l’IA dans son entreprise », explique Quentin Adam, CEO de Clever Cloud.
Le produit, pour l’heure en bêta, offre des mécanismes de contrôle d’accès et de monitoring afin de, notamment, « limiter les usages [d’un LLM] en fonction des droits et des besoins spécifiques, garantissant une gestion fine et sécurisée des ressources », ainsi qu’un système de logs. Parmi les cas d’usage possibles, Clever Cloud cite notamment la conformité, grâce aux logs auditables permis par Otoroshi, ou encore le contrôle des prompts, afin d’éviter que des données sensibles ne se retrouvent dans la nature.
