Benjamin Leroux est CMO chez [Advens]{https://www.advens.fr/}, et expert en cybesecurité.
Nous avons discuté de l'impact de l'IA générative dans le monde de la cybersécurité.
J'espère que vous apprécierez cette discussion ;)
Discussion video: Phishing & AI
Points clés
Voici un résumé rapide de ce dont nous avons discuté au cours de cette conversation.
genAI soulève beaucoup de questions et Benjamin fait un parallèle avec les offres Cloud qui ont secoué notre écosystème.
Il suivra une courbe d'adoption classique et finira par être partout, donc la question n'est pas de savoir s'il est utile mais comment il sera utilisé.
Nouveaux schémas d'attaque
GenAI apporte de nouveaux schémas d'attaque à la table. Il réduit les existants, les rendant plus difficiles à détecter en générant des e-mails uniques, des charges polymorphes et en aidant les attaquants à améliorer leurs tactiques.
Nous ne pouvons pas nous fier aux fautes de frappe ou aux noms de domaine étranges lorsque les LLM peuvent proposer des scénarios d'attaque emballés qui ne déclencheront pas d'alertes à ses premiers stades.
En ce qui concerne le phishing, l'IA générative facilite le développement de prétextes, du clonage de sites Web à la rédaction de courriels et à l'obfuscation des charges utiles.
Les LLM commerciaux prêts à l'emploi sont non seulement efficaces dans ces attaques, mais leurs mesures de sécurité sont également très faciles à contourner.
Les attaques actuelles (fraude au président, collecte d'informations d'identification, etc.) qui fonctionnent déjà bien peuvent être améliorées par l'IA générative, tant en termes de discrétion et de complexité que de volume.
Volume d'attaque plus élevé
Compte tenu de ces améliorations, les coûts marginaux de création d'attaque deviennent très faibles, ce qui augmentera à son tour le volume et l'échelle de telles attaques.
Cela créera plus de bruit et d'alertes à gérer du côté défensif, augmentant la congestion et le risque de laisser passer des attaques très critiques.
Médias synthétiques
Les deepfakes, le clonage vocal et la production globale de médias synthétiques posent déjà de nouveaux défis.
Premièrement, cela rend beaucoup de nos meilleures pratiques actuelles inefficaces. La double vérification, le processus de s'appuyer sur la voix de quelqu'un pour confirmer une instruction envoyée par e-mail par exemple, peut être inefficace si leur voix a été clonée.
Deuxièmement, cela peut être utilisé pour manipuler des élections démocratiques ou influencer l'opinion publique en créant du contenu faux, diffusé de manière opportune avant les élections.
Usage défensif
GenAI, mais aussi l'apprentissage automatique, permet également aux équipes bleues d'avoir un meilleur niveau de protection.
Par exemple, cela peut aider à améliorer la détection basée sur des règles pour prendre en compte une plus grande partie de la chaîne de destruction et détecter des schémas et des indicateurs de tentatives d'attaque.
Cela augmente également la capacité à trier et à prioriser les alertes, en fournissant du contexte et un score.
L'agilité est un facteur clé de succès
Compte tenu de la vitesse d'évolution des LLM et des techniques d'attaque, l'agilité et la rapidité de mise en œuvre réussie seront des facteurs clés pour pouvoir rattraper les nouvelles techniques d'attaque.
C'est un jeu du chat et de la souris et plus nous mettons en place rapidement des solutions nous permettant de détecter et de repousser le nouveau volume d'attaques avancées, plus nous avons de chances d'être protégés.
De nouveaux risques signifient de nouvelles opportunités
Nous ne pouvions pas conclure l'entretien sur une note négative.
Ces nouveaux risques et ce paysage changeant apportent beaucoup de nouvelles opportunités pour lutter contre de nouvelles méthodologies d'attaque.
Certains ne sont que des améliorations classiques et des itérations, d'autres sont des perturbations potentielles dans la façon dont nous traitons les attaques.
De plus, nous devons sensibiliser davantage les gens aux capacités et à l'impact que l'IA peut avoir sur notre vie quotidienne et nos décisions.
Notes et références
Ci-dessous, les références et liens vers les ressources évoquées lors de la discussion, avec timestamp.
- 03:09 - Qevlar - https://www.qevlar.com/
- 05:43 - TOP 10 OWASP LLM - https://owasp.org/www-project-top-10-for-large-language-model-applications/
- 07:18 - BBC CraftyGPT - https://www.bbc.com/news/technology-67614065
- 09:11 - ChatGPT et clés Windows (grandma jailbreak) - https://www.independent.co.uk/tech/chatgpt-microsoft-windows-11-grandma-exploit-b2360213.html
- 11:24 - Monument au mort avec le chat AI - https://www.theverge.com/a/luka-artificial-intelligence-memorial-roman-mazurenko-bot
- 13:17 - Scam Le Drian - https://www.france24.com/en/20200204-franco-israeli-men-accused-of-impersonating-french-minister-go-on-trial-for-fraud
- 13:50 - COO Binance scam - https://www.theverge.com/2022/8/23/23318053/binance-comms-crypto-chief-deepfake-scam-claim-patrick-hillmann
- 14:41 - Micode arnaques téléphoniques - https://www.youtube.com/watch?v=6Jv0EzXdQbk&themeRefresh=1
- 17:50 - IBM X-Force research lab genAI phishing - https://securityintelligence.com/x-force/ai-vs-human-deceit-unravelling-new-age-phishing-tactics/
- 27:58 - Fausses élections Deepfake election Slovaquie - https://www.wired.co.uk/article/slovakia-election-deepfakes
- 30:38 - Whispeak - https://whispeak.io/en/home-voice-biometrics/
- 31:28 - Jeff Sims Black Mamba - https://www.hyas.com/blog/blackmamba-using-ai-to-generate-polymorphic-malware
