L’équipe de recherche Voyager18 de Vulcan Cyber a découvert une nouvelle technique d’attaque basée sur ChatGPT – appelée AI package hallucination – qui tire parti du phénomène des hallucinations parfois créées par les IA génératives. Il a déjà été observé que ChatGPT peut générer des URL, des références et même des bibliothèques de code et des fonctions qui n’existent pas réellement. Ces hallucinations LLM (large language model) ont déjà été signalées et peuvent être le résultat de vieilles données d’entraînement. Ce qui est nouveau, c’est que ces AI package hallucination sont désormais utilisées par des attaquants pour diffuser facilement des codes malveillants dans les environnements des développeurs.
Tribune – Melissa Bischoping, Directrice, Endpoint Security Research chez Tanium revient en détails sur cette nouvelle méthode :
« Vous ne devriez jamais télécharger et exécuter du code que vous ne comprenez pas et que vous n’avez pas testé en le récupérant à partir d’une source aléatoire – comme les dépôts github open source ou maintenant les recommandations de ChatGPT. Tout code que vous avez l’intention d’exécuter doit faire l’objet d’une évaluation de sécurité, et vous devez en avoir des copies privées. N’importez pas directement des repositories publics tels que ceux utilisés dans l’exemple mis en avant par Voyager18.
Dans ce cas étudié, les cybercriminels utilisent ChatGPT comme méthode de diffusion, mais la technique consistant à compromettre la chaîne d’approvisionnement en utilisant des bibliothèques tierces partagées/importées n’est pas nouvelle. Cette stratégie continuera d’être utilisée et la meilleure défense consiste à utiliser des pratiques de codage sécurisées et à tester et examiner minutieusement le code (en particulier le code développé par un tiers) destiné à être utilisé dans des environnements de production. Ne faites pas aveuglément confiance à toutes les bibliothèques ou à tous les paquets que vous trouvez sur Internet (ou lors d’une conversation avec une IA). »