Sécurité de l’IA : offensive et défensive

1. Panorama des menaces IA

• Nouvelle surface d'attaque : Ce que les LLM et les agents changent pour la sécurité.
• Référentiels : OWASP Top 10 for LLM Applications, travaux OWASP sur la sécurité des systèmes agentiques, MITRE ATLAS.
• Modélisation des menaces : Cartographier les risques d'une application IA.
• Cadre : Positionnement par rapport à la sécurité applicative classique.

2. Attaques sur les LLM (offensive)

• Prompt injection : Injection directe et indirecte, contournement des consignes.
• Jailbreaks : Techniques de détournement du modèle.
• Exfiltration de données : Fuite via le contexte, les logs ou les réponses ; canaux de sortie détournés (requête d'image, lien, appel d'outil).
• Attaques sur le modèle : Empoisonnement de données, extraction et inversion de modèle.
• Consommation non bornée : Épuisement de quota, explosion de facture, déni de service économique.
• TP : Exploiter des vulnérabilités dans une application LLM de laboratoire.

3. Attaques sur les systèmes RAG et agentiques

• Injection via les documents : Empoisonnement d'une base de connaissances RAG, et cas réel de l'injection indirecte par document partagé dans une suite bureautique connectée.
• Détournement d'outils : Amener un agent à réaliser des actions non désirées.
• Chaînes d'agents : Propagation d'une compromission entre agents.
• Chaîne d'outils des agents : Serveurs d'outils malveillants ou compromis, skills et agents partagés non revus.
• TP : Compromettre un agent outillé et sa base documentaire.

4. Défenses et garde-fous (défensive)

• Validation des entrées/sorties : Filtrage, canonicalisation, détection d'injection.
• Garde-fous : Guardrails, politiques de contenu, modèles de modération.
• Périmètre d'action : Moindre privilège, sandboxing des outils, validation humaine.
• La passerelle IA comme point de contrôle : Centraliser garde-fous, filtrage des données personnelles, plafonds de dépense et journalisation.
• Maîtriser ce qui est installable : Registres et passerelles de serveurs d'outils, revue des skills et agents partagés.
• TP : Durcir l'application et l'agent attaqués précédemment.

5. Sécurité des données et de la chaîne

• Confidentialité : Protection des données sensibles (PII), anonymisation.
• Secrets et accès : Gestion des clés, cloisonnement, journalisation.
• Supply chain IA : Provenance des modèles, des données, des dépendances, des serveurs d'outils et des skills.
• Souveraineté : Enjeux d'hébergement et d'auto-hébergement.

6. Audit et gouvernance des systèmes d'IA

• Démarche d'audit : Méthodologie d'évaluation de sécurité d'un système IA.
• Red teaming continu : Tests d'attaque réguliers et automatisés.
• Normes : ISO/IEC 42001, articulation avec le RGPD et l'AI Act.
• TP : Conduire un mini-audit et produire un rapport de recommandations.

7. Conclusion

• Bonnes pratiques : Intégrer la sécurité dès la conception des systèmes IA.
• Articulation : Liens avec le LLMOps, la passerelle IA et l'ingénierie agentique.
• Aller plus loin : Veille menaces, outillage et montée en maturité.

En amont de la formation, les stagiaires reçoivent un questionnaire permettant de mesurer leurs attentes, leurs compétences et leur niveau à l'entrée de la formation. Ce questionnaire est conçu pour recueillir des informations précieuses sur le parcours professionnel des participants, leurs motivations personnelles ainsi que les compétences spécifiques qu'ils souhaitent développer. Cela permet aux formateurs d'adapter le contenu de la formation en fonction des besoins identifiés.

Tout au long de la formation, la progression et l'atteinte des objectifs pédagogiques des stagiaires sont évaluées, au travers de :

• travaux pratiques, qui incluent des exercices concrets permettant d'appliquer les connaissances théoriques acquises dans un contexte réel.
• échanges entre pairs, favorisant une dynamique collaborative où les stagiaires peuvent partager leurs expériences et apprendre les uns des autres.
• mises en situation concrètes, simulant des scénarios professionnels afin d'évaluer la capacité des stagiaires à réagir et à s'adapter face à diverses situations.

Durant la dernière heure de la formation, un questionnaire d'évaluation ainsi qu'un questionnaire à chaud de fin de formation seront soumis à chaque stagiaire pour s'assurer de la bonne acquisition des compétences tout au long de la formation et de l'adéquation de ces acquis avec les attentes des stagiaires (émis en amont de la formation). Ce processus d'évaluation permet également aux formateurs d'obtenir un retour constructif sur le déroulement du programme et d'identifier les points à améliorer pour les prochaines sessions.

Dans le cas d'une formation officielle éditeur, n'hésitez pas à nous consulter afin que nous vous fassions part des modalités d'évaluation des acquis. Nous sommes également disponibles pour discuter des certifications possibles qui pourraient être délivrées à l'issue de cette formation, garantissant ainsi une reconnaissance officielle des compétences acquises par les participants.

Contact assistance technique et pédagogique : en cas de problème, n'hésitez pas à nous contacter à l'adresse mail : [email protected] (3 personnes sont derrière cette adresse mail et vous répondront dans les plus brefs délais)

Les ressources pédagogiques proviennent de productions des équipes Zenika, qui mettent à profit leur expertise et leur expérience dans le domaine de la formation professionnelle.

Ces ressources sont soigneusement élaborées pour répondre aux besoins spécifiques des apprenants et garantir une compréhension approfondie des sujets abordés.

Dans le cas d'une formation "Officielle", la documentation utilisée est issue directement des éditeurs, ce qui assure une conformité avec les standards et les meilleures pratiques du secteur.

Les documents sont disponibles en français ou en anglais, permettant ainsi une accessibilité maximale pour un public diversifié.

De plus, ces ressources incluent souvent des études de cas, des exercices pratiques et des supports visuels afin d'enrichir l'expérience d'apprentissage et de favoriser l'engagement des participants.

Besoin d'un coup de pouce pour adapter votre formation ? On s'en charge !

Chaque apprenant est unique. Que vous ayez besoin d'ajuster le rythme, le contenu, ou même les modalités d'apprentissage, nos équipes expertes sont là pour vous écouter et co-construire une solution sur-mesure.

 
Nous nous engageons à offrir à chacun une expérience de formation enrichissante, accessible et parfaitement adaptée à vos besoins. Besoin d'un aménagement spécifique ? Un petit tweak pédagogique ou technique ? Pas de souci, nous sommes prêts à relever ce genre de défis avec vous.

Contactez-nous, et ensemble, nous trouverons la meilleure solution pour répondre à vos attentes.