IA rapide, réglementation: Infercom booste l'inférence

[Cet article fait partie d’une série de contenus développée en collaboration avec FEDIL, montrant comment l’intelligence artificielle contribue à la transformation numérique de l’économie luxembourgeoise.]

Infercom est un fournisseur souverain d'inférence en IA de l'UE, créé au Luxembourg en août 2025. Il exécute des modèles à poids ouvert (un modèle d'intelligence artificielle dont les paramètres numériques, les «poids», appris pendant l'entraînement sont rendus publics et téléchargeables) sur ses propres puces IA spécialement conçues, dans un centre de données à Munich, pour des entreprises qui développent des produits et des processus sur l'IA. 

L'idée derrière la genèse d'Infercom est venue d’une frustration que partagent de nombreuses organisations européennes. «Les entreprises européennes voulaient utiliser l'IA de manière sérieuse, mais presque toutes les options puissantes signifiaient envoyer leurs données à un hyperscaler américain», explique Altug Eker, directeur général d'Infercom.

De bonnes idées qui ont stagné

Pour une banque, un assureur ou une institution publique, la localisation et le contrôle légal des données peuvent déterminer si un projet d'IA est réalisable. Avec le Règlement général sur la protection des données (RGPD), l’arrêt Schrems II (une décision de la Cour de justice de l'Union européenne invalidant le «Privacy Shield» qui facilitait le transfert de données personnelles de l'UE vers les États-Unis), la loi sur la résilience opérationnelle numérique (DORA) et désormais l’IA Act européen, les entreprises sont soumises à un nombre croissant de contraintes et de restrictions, qui n'empêchent pas de poser certaines questions centrales: «Qui peut accéder à mes données? Sous quel régime législatif dois-je opérer?»

La gouvernance des données n'est pas le seul problème. La rapidité est un autre obstacle majeur à de nombreuses initiatives. Certaines équipes ayant des idées prometteuses ont eu du mal à les transformer en services pratiques. La lenteur des réponses a sapé l'expérience utilisateur, les coûts sont devenus plus difficiles à gérer à mesure que la demande augmentait, et les infrastructures situées hors d'Europe ont soulevé d'autres inquiétudes.

M. Eker a entendu la même demande de client après client: «Nous voulons l'IA, mais nous la voulons ici, selon nos règles, et nous la voulons rapidement.» C'est pourquoi Infercom a été créée pour y répondre.

L’inférence, expliquée puis accélérée

Infercom est une plateforme européenne souveraine d'inférence en IA. L'inférence est l'étape où un modèle entraîné est mis en œuvre. La formation enseigne un modèle; l'inférence est ce qui se produit lorsqu'une personne lui pose une question, l'utilise pour examiner des documents ou s'appuie sur elle pour accomplir une tâche.

«Chaque réponse de chatbot, chaque contrat résumé, chaque agent IA exécutant une tâche est une inférence», explique M. Eker. «C'est la pièce que les entreprises utilisent chaque jour, et c'est là que la vitesse, le coût et le contrôle des données comptent vraiment.»

Pour un CFO, l'IA cesse d'être une facture cloud imprévisible et devient un coût qu'il peut planifier et gérer. Altug Eker, CEO d’Infercom

La plateforme Infercom exécute des modèles à poids ouvert, incluant MiniMax, Gemma et GLM, sur du matériel SambaNova Reconfigurable Dataflow Unit (RDU) hébergé à Munich. Les puces sont conçues pour les charges de travail IA, et la plateforme exécute les modèles en pleine précision plutôt que d'appliquer la quantification pour réduire les besoins informatiques.

Les organisations peuvent se connecter via une interface de programmation d'applications (API). Celles qui ont besoin d'un environnement dédié peuvent utiliser des racks spécifiques. Dans tous les cas, les données clients restent dans l'Union européenne, sont traitées par une entreprise luxembourgeoise et relèvent du droit européen.

Un projet que les équipes financières peuvent planifier

La tarification d'Infercom est basée sur des jetons, les unités de texte qu'un modèle traite ou produit. Plutôt que de louer la capacité d'une unité de traitement graphique (GPU) qui pourrait rester inutilisée, les clients paient pour l'activité qu'ils effectuent réellement.

La plateforme propose également des outils pour surveiller l'utilisation et fixer des limites de dépenses. Pour les tâches qui ne nécessitent pas de réponse immédiate, comme le traitement par lots ou l'analyse de documents pendant la nuit, la tarification hors pointe offre une autre façon de gérer les dépenses. «Pour un CFO, l'IA cesse d'être une facture cloud imprévisible et devient un coût qu'il peut planifier et gérer», note M. Eker.

Quels sont les avantages ?

La plateforme est conçue pour combiner réactivité, contrôle européen des données et un modèle de coûts plus prévisible.

• Des réponses plus rapides pour les interactions en direct – Infercom revendique une inférence jusqu'à 10 fois plus rapide que les configurations classiques basées sur GPU, le premier jeton étant généré en moins de 10 millisecondes. «En pratique, le modèle commence à répondre presque avant que vous ayez fini de poser la question», souligne M. Eker. Cette réactivité est particulièrement pertinente pour les applications vocales. Une longue pause peut perturber une conversation, tandis qu'une réponse rapide aide un assistant IA à suivre le rythme de la personne qui parle. «Un assistant vocal construit sur Infercom ne fait pas de pause, n'hésite pas et ne parle pas par-dessus vous. La conversation s'enchaîne sans effort, comme parler à un vrai humain, sans silences gênants ni interruptions.» 
  Pour le service client, les appels commerciaux et d'autres agents IA en temps réel, M. Eker voit la différence comme «entre un outil que les gens tolèrent et une expérience qu'ils apprécient réellement ».

«Nous voulons être l'alternative européenne aux hyperscalers américains pour l'inférence, et non une copie. Altug Eker, CEO d’Infercom

• Gestion et certification des données européennes - Les données traitées par Infercom sont hébergées et traitées en Europe. L'entreprise est certifiée ISO 27001 et CSA STAR pour l'IA. Pour les organisations opérant dans des secteurs réglementés, ces mesures peuvent aider à répondre aux questions concernant la gestion et la sécurité des données. M. Eker affirme qu'elles «raccourcissent beaucoup la conversation sur la conformité pour les industries réglementées».
• Des coûts gérables à mesure que l'utilisation augmente – Les tarifs au gré, les contrôles de dépenses et les options hors pointe sont destinés à donner aux organisations plus de visibilité à mesure que leur charge de travail s'élargit. La plateforme est également conçue pour offrir aux clients un choix de modèles et d'infrastructures plutôt que de les lier à un seul fournisseur. «Nous voulons être l'alternative européenne aux hyperscalers américains pour l'inférence, et non une copie.»

Quelles sont les prochaines étapes ?

La prochaine phase de développement d'Infercom vise à rendre son infrastructure plus flexible et mieux adaptée aux différentes tâches liées à l'IA. «Nous ne faisons que commencer», déclare M. Eker. L'entreprise prévoit d'aller au-delà de la simple dépendance à un seul type de puce ou à un seul dispositif de déploiement. Les RDU SambaNova resteront partie intégrante de la plateforme, aux côtés des GPU et des accélérateurs d'IA européens émergents. 

Infercom prévoit également de relier son infrastructure cloud aux systèmes locaux des clients, pour les cas où les données doivent rester dans l'environnement propre à l'organisation. Cela rendrait la plateforme moins dépendante d'un fournisseur de matériel unique et permettrait aux clients de combiner les ressources cloud et sur site selon leurs besoins.

Infercom travaille également sur une division de l'inférence en différentes étapes et une allocation de chaque étape au matériel le mieux adapté. Le traitement d'une longue instruction et la génération d'une réponse sont des charges de travail différentes, mais les fournisseurs les gèrent généralement sur la même machine. Séparer les étapes pourrait permettre à la plateforme d'utiliser les ressources informatiques de manière plus efficace. La société s'attend à ce que cette approche soutienne des réponses plus rapides et réduise le coût de traitement de chaque jeton.

Un système qui attribue différentes tâches à différentes puces pourrait également faciliter l'introduction de nouveaux processeurs européens. Plutôt que d'exiger que chaque puce gère chaque partie de l'inférence, l'architecture pourrait l'utiliser pour les tâches qu'elle accomplit le plus efficacement. L'entreprise prévoit d'investir dans et de travailler avec des chipsets d'accélérateurs d'IA européens. «La vraie souveraineté numérique a besoin du matériel européen, pas seulement des centres de données européens», souligne M. Eker.

Une infrastructure multi-sites et multi-nœuds est également en cours de développement. Opérer sur plusieurs sites européens pourrait améliorer la résilience et réduire les temps de réponse des clients dans différents pays. Cela pourrait aussi offrir des options pour conserver les données à l'intérieur de frontières nationales spécifiques lorsque cela est nécessaire. Altug Eker résume cet objectif ainsi: «une infrastructure d'IA européenne rapide et fiable sur laquelle toute entreprise ici peut s'appuyer avec confiance.»