Rapport de sécurité de Google (GTIG) – Les abus de l’IA par des acteurs malveillants

Le Google Threat Intelligence Group (GTIG) vient de publier son dernier rapport « AI Threat Tracker », détaillant les dernières tactiques des acteurs ciblant les plateformes d’IA et les mesures mises en œuvre par Google pour les atténuer.

Tribune – En amont de la Conférence de Munich sur la sécurité, le rapport qui s’appuie sur l’analyse de GTIG de l’année dernière mettra en lumière plusieurs conclusions clés :

• Augmentation des tentatives d’extraction de modèles ou « attaques par distillation » : Au cours de l’année écoulée, GTIG et Google DeepMind ont identifié des acteurs malveillants tentant de mener des attaques d’extraction ou de distillation de modèles sur des produits d’IA générative afin d’obtenir des informations sur le raisonnement sous-jacent et les processus de pensée d’un modèle. Les chercheurs ont identifié que ces attaques provenaient d’entreprises du secteur privé international et de chercheurs universitaires cherchant à cloner des logiques propriétaires. Les capacités de raisonnement de Gemini constituent une cible fréquente pour les attaquants.

• Les acteurs malveillants soutenus par des gouvernements utilisent l’IA tout au long du cycle de vie d’une attaque, notamment pour la reconnaissance à des fins d’ingénierie sociale : les attaquants soutenus par des gouvernements continuent d’utiliser l’IA à mauvais escient pour des tâches de codage et de script, la collecte d’informations sur les cibles potentielles, la recherche de vulnérabilités connues publiquement et la mise en œuvre d’activités post-compromission. Parmi les menaces récentes de cette nature observées par le GTIG, on peut citer :
  • APT42, soutenu par le gouvernement iranien, a utilisé des modèles d’IA de génération de nombres (GenAI) pour renforcer ses capacités de reconnaissance et d’ingénierie sociale ciblée. Le groupe APT42 utilise l’IA à mauvais escient pour rechercher des courriels officiels d’entités spécifiques et effectuer des reconnaissances sur des partenaires commerciaux potentiels afin d’établir un prétexte crédible.
  • UNC2970, soutenu par le gouvernement nord-coréen, s’est constamment concentré sur le ciblage des systèmes de défense et l’usurpation d’identité de recruteurs d’entreprises dans ses campagnes. Le groupe a utilisé Gemini pour synthétiser des renseignements en sources ouvertes (OSINT) et profiler des cibles de grande valeur afin de soutenir la planification des campagnes et la reconnaissance.

• Croissance constante des logiciels malveillants intégrant l’IA : comme initialement souligné dans l’analyse de GTIG en novembre, l’équipe a continué d’observer que les acteurs malveillants expérimentaient avec l’IA pour implémenter de nouvelles capacités dans les familles de logiciels malveillants fin 2025.
  • Cela comprenait des échantillons de logiciels malveillants, identifiés sous le nom de HONESTCUE, qui exploitaient l’API de Gemini pour externaliser la génération de fonctionnalités afin de contourner la détection réseau traditionnelle et l’analyse statique.

• Nouveaux kits de phishing générés par l’IA : le GTIG a également observé des acteurs malveillants intégrant des capacités d’IA conventionnelles dans leurs opérations d’intrusion.
  • Le GTIG a identifié un kit de phishing COINBAIT, dont la construction a probablement été accélérée par des outils de génération de code IA, se faisant passer pour une importante plateforme d’échange de cryptomonnaies afin de collecter des identifiants.

• Un marché en pleine expansion pour les services d’IA conçus pour soutenir des activités malveillantes : les observations du GTIG sur les forums clandestins en anglais et en russe indiquent un appétit persistant pour les outils et services basés sur l’IA. Cependant, les acteurs malveillants peinent à développer des modèles personnalisés et s’appuient plutôt sur des modèles d’IA existants et éprouvés.
  • Une grande partie de cette activité témoigne d’une demande croissante pour les clés API piratées ou volées. Par exemple, « Xanthorox » est une boîte à outils clandestine qui se présente comme une IA personnalisée pour la génération autonome de code de logiciels malveillants et le développement de campagnes d’hameçonnage. Le modèle était présenté comme étant sur mesure, cependant, l’enquête de GTIG a révélé que Xanthorox n’était pas une IA personnalisée mais qu’il était plutôt alimenté par plusieurs produits d’IA commerciaux et tiers.