A la mi-juillet, Hugging Face a révélé avoir détecté sur son infrastructure une attaque informatique menée en autonomie par des agents IA. Après enquête, Open AI a reconnu que l’incident était la conséquence de l’action de plusieurs de ses modèles IA, mobilisés dans le cadre d’une évaluation.
Tribune – Suite à cet incident, Pierre Delcher, responsable de la recherche sur les menaces chez HarfangLab, commente :
« Cette affaire, clairement exploitée à des fins promotionnelles par les 2 organisations, est néanmoins marquante à plusieurs titres. Elle constitue en effet le premier cas publiquement documenté d’attaque informatique menée avec grande autonomie par des « agents IA ». Un tel scénario était largement anticipé, comme en témoignent nos prédictions de 2025, mais il restait à démontrer. Ensuite, il faut questionner la façon dont OpenAI présente les faits – alors même qu’elle vient de conduire de son propre aveu une attaque informatique.
En effet, quel que soit le niveau « d’autonomie » présenté aux agents IA, leurs activités restent la conséquence seule des actions et décisions d’OpenAI, qui enfreint plusieurs règles élémentaires de sécurité, et procède visiblement à un cloisonnement très insuffisant. Les activités menées dans l’espace numérique sont régies par des lois, et de telles attaques informatiques sont répréhensibles, alors même que des entreprises privées semblent s’en satisfaire. Par ailleurs, comme le souligne OpenAI, les gardes-fous de sécurité peuvent ralentir l’innovation – les lois aussi vraisemblablement – mais ils ne sont pas négociables, car ils sont une condition à la vie en société, et sont également les conséquences de choix démocratiques. Nous avions également anticipé ce type de dérives dans nos dernières prédictions… »
Pierre Delcher ajoute :
« Les évaluations et entrainements des capacités agentiques IA, qui peuvent mettre en œuvre des actions parfois sans réelle supervision, sont souvent encore expérimentales, et doivent être menées dans des conditions d’isolement et de contrôle très strictes. Outre les stupéfiantes dérives dont nous sommes témoins de la part d’un acteur privé disposant de tels moyens, ce scénario d’attaque demeure possible, et peut être exécuté par des acteurs malveillants dotés d’importantes capacités.
Mais les mesures et capacités élémentaires d’hygiène et de sécurité numérique, comme la gestion des rôles, privilèges et identités, le cloisonnement ou encore la supervision basée sur des outils spécialisés, restent parfaitement adaptés pour prévenir et détecter de telles attaques, qu’elles soient menées ou non avec l’appui de technologies du champ de l’IA. Encore faut-il les mettre en œuvre. »
Il poursuit :
« Les acteurs de la cybersécurité de leur côté entraînent, préparent et déploient aussi des modèles et des capacités « agentiques », pour pouvoir détecter et répondre plus rapidement à davantage d’attaques informatiques. Les attaques menées avec l’appui de capacités « agentiques » peuvent en effet affecter des périmètres très larges en très peu de temps, et l’adoption fulgurante des outils IA en entreprise ouvre en outre de nouvelles surfaces d’attaque. Avant que les technologies de défense « agentique » n’atteignent leur maturité opérationnelle et démontrent leur pleine efficacité, il reste néanmoins pertinent d’anticiper leurs pré-requis, et d’adapter ses modèles pour faire face à une pression plus importante. Les dispositifs de protection, détection et réaction de cybersécurité peuvent ainsi être « désilotés », combinés, et leurs signaux continument analysés, au sein d’une plateforme »unifiée. On parle d’analyse des vulnérabilités sur un poste de travail, connexions privilégiés dans un flux de travail en conteneur, détection d’évènements de sécurité sur un serveur ou d’activités conduites depuis des services IA dans le périmètre de l’entreprise, qui créent des ponts entre des environnements jusqu’ici cloisonnés, jusqu’à la capacité d’action pour corriger une vulnérabilité ou bloquer un processus. »
Voici ci-dessous les commentaires de Laurent Giovannoni, Principal Software Engineer et Damian Skeeles, Senior Solutions Architect chez Filigran, à propos de l’attaque récente visant Hugging Face.
« Dans ce cas précis, l’attaquant était une IA dont les garde-fous de sécurité avaient été désactivés. Lorsque Hugging Face a voulu enquêter sur l’incident, les outils d’IA utilisés pour l’analyse ont refusé d’examiner les données de l’attaque, leurs filtres étant incapables de faire la différence entre une activité malveillante et une opération de réponse à incident. Résultat : l’IA offensive n’avait aucune contrainte, tandis que l’IA utilisée pour la défense en avait de nombreuses. Hugging Face a finalement mené son investigation à son terme grâce à un modèle exécuté sur sa propre infrastructure, une capacité que toute entreprise devrait avoir à sa disposition avant le prochain incident. »
« Depuis cet incident, certains se demandent si les méthodes traditionnelles de cybersécurité sont devenues obsolètes. C’est un peu comme se demander si l’équipement d’un motard est devenu inutile parce que les motos vont plus vite. C’est en réalité tout l’inverse : plus les menaces gagnent en vitesse et en puissance, plus il est essentiel d’appliquer rigoureusement les fondamentaux, de réduire chaque angle mort et de veiller à ce qu’aucune faille, même minime, ne soit laissée sans protection. »
Laurent Giovannoni, Principal Software Engineer
« Pendant longtemps, nous avons conçu nos défenses en partant du principe que les attaques évoluaient au rythme des humains. Cet incident montre que ce n’est plus le cas : des agents IA peuvent désormais exécuter en quelques minutes des chaînes d’attaque qui auraient auparavant nécessité des jours, voire des semaines. Le véritable enjeu n’est donc pas de remplacer les défenses existantes, mais de faire évoluer les capacités de détection et de réponse au même rythme que ces nouvelles menaces. »
Damian Skeeles, Senior Solutions Architect
