JFrog découvre une menace CVE de niveau 10 concernant l’utilisation de grands modèles de langage (LLM)

0
283

Une importante vulnérabilité qui touche les grands modèles de langage (LLM) a été découverte. Cette alerte de sécurité majeure montre à quel point la sécurisation des IA/ML est devenue un élément central et valide la stratégie de JFrog en la matière notamment avec le récent rachat de la société Qwak AI. 

Tribune JFrog – L’équipe de recherche en sécurité de JFrog va annoncer de nouvelles découvertes qui constituent une menace CVE de niveau 10 (exécution de code à distance, éventuellement non authentifiée, trivial). Ces résultats concernent l’utilisation de grands modèles de langage (LLM), qui sont de plus en plus utilisés dans le paysage de l’IA, en particulier après le lancement de ChatGPT. Les LLM figurent désormais parmi les 14 % des technologies émergentes les plus importantes.

Ces conclusions s’articulent spécifiquement autour d’une vulnérabilité de type “zero-day” que l’équipe de recherche en sécurité de JFrog a récemment découverte et dévoilée dans une bibliothèque ML populaire, la bibliothèque Vanna.AI. Elle offre une interface texte-SQL aux utilisateurs – qui présente une vulnérabilité d’exécution de code à distance via des techniques d’injection de prompt connues sous le nom de CVE-2024-5565. Cette attaque peut être utilisée pour contourner les mesures de protection “pre-prompting” intégrées dans les LLM, qui peuvent – par exemple – contraindre un LLM à renvoyer des informations sensibles ou dommageables qu’il n’est pas censé partager, ce qui pourrait avoir un impact négatif de grande portée.

En raison du récent essor de l’IA et du ML, de nombreux développeurs utilisent des prompts LLM et les relient à diverses ressources (bases de données, API, générateurs de code, etc.), ce qui – comme le montre l’étude de JFrog – peut être extrêmement dangereux et exposer les organisations à un risque élevé d’attaque par exécution de code à distance donnant un accès complet à la machine hébergeant le LLM. Cela peut conduire à un vol de propriété intellectuelle (vol de modèles de ML) ou à une infection plus poussée des systèmes de l’organisation.

Interrogé sur cette vulnérabilité, Shachar Menasche, Sr. Director of Security Research au sein de JFrog, a déclaré :

“Cette découverte démontre que les risques d’une utilisation généralisée des IA Gen/LLM sans une gouvernance et une sécurité appropriées peuvent avoir des implications dramatiques pour les organisations. Les dangers de l’injection de prompts ne sont pas encore bien connus, mais ils sont faciles à mettre en œuvre. Les entreprises ne devraient pas considérer l’injection de prompts comme un mécanisme de défense infaillible et devraient employer des mécanismes plus robustes lors de l’interfaçage des LLM avec des ressources critiques telles que les bases de données ou la génération de code dynamique.”

Vous pouvez lire le rapport complet ICI. Si vous souhaitez vous entretenir avec un membre de l’équipe de recherche sur la sécurité de JFrog pour obtenir de plus amples informations, n’hésitez pas à me le faire savoir et je me ferai un plaisir d’organiser une réunion d’information ou une séance de questions-réponses par courrier électronique. 

LAISSER UN COMMENTAIRE

S'il vous plaît entrez votre commentaire!
S'il vous plaît entrez votre nom ici

Notifiez-moi des commentaires à venir via e-mail. Vous pouvez aussi vous abonner sans commenter.

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.