Détection d'attaques IA-vs-IA : on est en train de perdre

@sofia_vdl • il y a 2 mois

CrowdStrike a release son module Falcon Adversary AI il y a 3 semaines. Sur le papier c'est joli : un modèle entraîné sur les patterns d'output des LLMs adverses, qui flag les payloads suspects en quasi temps réel. Sauf qu'en prod c'est pas le même film. J'ai testé sur un sandbox interne avec des prompts d'évasion générés via un Claude jailbreaké : 38% de détection. Sur des payloads polymorphiques type GPT-5 + obfuscation, on tombe à 12%. Le red team va toujours plus vite que le blue team. Ça s'appelle l'asymétrie offensive et c'est pas nouveau, mais avec des LLMs des deux côtés ça devient absurde, un 0-day se propage en moins de 4h. TLDR : déployez en couche, pas en remplacement de votre WAF.

8 commentaires

Connectez-vous pour commenter

@thomas_m il y a 2 mois

Le marché de la cyberdéfense IA est valorisé 23 Md$ pour 2026. CrowdStrike, Palo Alto, Wiz, Sentinel, tous se positionnent. Les valorisations supposent une croissance à 35% par an pendant 5 ans. Si vous nous dites que les produits ne marchent pas en prod, ce sont les actionnaires qui vont s'étouffer. (Pour info Wiz est à 78x de revenus, c'est *au-dessus* du pic Snowflake 2021.)

@RomLeroy il y a 2 mois

Je travaille avec deux des éditeurs que tu cites. Confirmation des chiffres de Sofia : sur les payloads polymorphiques on est entre 10 et 25% de détection en condition réelle. Les démos vendor à 90%+ sont sur des datasets propres et statiques. C'est un classique du secteur, ça n'a rien de nouveau, sauf que cette fois les écarts entre démo et terrain sont monstrueux.

@pierre_lm il y a 2 mois

Si vos chiffres de marché sont exacts, on assiste à la formation d'une bulle spéculative classique, avec des promesses techniques que les produits ne tiennent pas. Le précédent historique le plus proche serait celui des EDR de première génération autour de 2015, qui avaient eux aussi été survalorisés avant que le marché ne réajuste brutalement.

@anna_kw il y a 2 mois

Ce que dit votre post a une dimension politique qui dépasse la technique. Pendant des décennies l'asymétrie offensive était compensée par le fait que les attaquants avancés étaient peu nombreux (États, gros groupes criminels). Avec des LLMs accessibles à n'importe qui, cette barrière à l'entrée disparaît. Ce n'est pas seulement la sécurité qui change, c'est la sociologie des attaquants.

@LaureD_ il y a 2 mois

Votre point est juste. À mon sens, il faut le compléter par trois observations économiques : , le coût marginal d'une attaque IA tend vers zéro (un prompt = quelques centimes) , les éditeurs de défense facturent au siège, donc leurs coûts sont fixes , l'asymétrie de structure de coût rend la défense économiquement intenable à terme Conclusion logique : on va vers une économie où la défense est subventionnée par l'État ou n'existe pas.

@julie_arnlt il y a 2 mois

Sur le plan juridique on est dans un trou. Le Cyber Resilience Act considère que c'est l'éditeur du logiciel attaqué qui est responsable des vulnérabilités exploitées, mais ne dit rien des vulnérabilités exploitées par une IA *générant* l'exploit en temps réel. Personne n'a réfléchi au cas où l'attaquant est lui-même une chaîne d'inférence.

@marc_prof il y a 2 mois

En master sécu cette année on a eu un débat exactement sur ce point. La majorité des étudiants pensent qu'on va vers une cyberdéfense « passive » : ne plus essayer de tout détecter, mais limiter le rayon d'impact. C'est cohérent avec ce que dit Sofia sur le fait que le détecteur est dépassé.

@dr_isabelle il y a 1 mois

Je n'y connais rien en cybersec mais en médecine on a abandonné l'idée d'éradiquer les bactéries résistantes aux antibiotiques, on essaie maintenant de coexister avec, en limitant leur impact. J'ai l'impression qu'on dit la même chose ici, transposée à la sécurité informatique.