Alors que le Mois de la sensibilisation à la cybersécurité bat désormais son plein, je voulais savoir si vous prévoyiez des sujets autour des risques liés au déploiement des agents IA en entreprise et de la nécessité de mieux encadrer leurs actions.
Tribune – Guillaume Moigneu, Field CTO chez Upsun estime notamment que le simple fait d’intégrer un humain dans la boucle ne suffit plus lorsque les agents IA sont capables d’effectuer des actions à fort impact, voire irréversibles. Il revient notamment sur le récent incident impliquant Claude Code, qui aurait entraîné la suppression d’environ 48 000 fichiers. Selon lui, cet exemple montre la nécessité de mettre en place des garde-fous techniques adaptés au niveau de risque de chaque action, plutôt que de compter uniquement sur des instructions données à l’IA.
Commentaire de Guillaume Moigneu, Field CTO chez Upsun :
« Le mois de la sensibilisation à la cybersécurité a commencé et le récent incident impliquant Claude Code, qui a entraîné la suppression d’environ 48 000 fichiers, nous rappelle les agents IA sont capables d’effectuer des actions à fort impact, voire irréversibles. La conception actuelle de l’humain dans la boucle est actuellement trop simpliste. Il ne suffit pas d’intégrer une validation humaine à un moment donné d’un processus complexe pour considérer qu’un agent IA est sécurisé. Certains processus ne nécessitent aucune intervention, tandis que d’autres exigent des contrôles beaucoup plus stricts. Corriger une faute de frappe et supprimer des milliers de fichiers ne présentent évidemment pas le même niveau de risque, le degré de supervision ne devrait donc pas être le même non plus.
Un détail m’a particulièrement interpellé dans le cas de Claude, il avait été demandé à l’agent de ne pas toucher aux fichiers de travail d’origine. C’est précisément là que se situe le cœur du problème. Une IA génère ses propres résultats et ne suit pas un script prédéfini. Une instruction formulée dans un prompt agit davantage comme une consigne forte que comme un véritable mécanisme de contrôle. S’il existe une action qu’un agent ne doit absolument jamais effectuer, lui demander de ne pas le faire ne suffit pas. L’environnement dans lequel il évolue doit rendre cette action impossible ou à défaut, réversible.
Il s’agit donc autant d’un problème d’infrastructure que d’un problème lié à l’IA. Nous devons devenir beaucoup plus efficaces pour identifier les moments où le jugement humain est réellement nécessaire, notamment lorsqu’une action peut avoir des conséquences importantes ou être difficile à annuler. Et lorsque les agents commettent des erreurs, leur environnement doit permettre d’en limiter l’impact. Il faut leur accorder davantage d’autonomie à mesure qu’ils démontrent leur capacité à la gérer, tout en imposant des limites techniques strictes aux actions susceptibles d’avoir des conséquences importantes. »