Six façons de créer des chatbots IA et de grands modèles linguistiques pour améliorer la cybersécurité

Les chatbots d'IA générative et les grands modèles de langage peuvent être une arme à double tranchant du point de vue des risques, mais s'ils sont utilisés correctement, ils peuvent également améliorer la cybersécurité de manière clé.

L'essor fulgurant de ChatGPT, développé par OpenAI, est l'une des plus grandes actualités de l'année, avec l'impact potentiel des chatbots génératifs d'IA et des grands modèles de langage sur la cybersécurité fait l'objet de discussions sur des domaines clés. Il y a beaucoup de discussions sur les risques de sécurité que ces nouvelles technologies peuvent poser, depuis les préoccupations liées au partage d'informations commerciales sensibles avec des algorithmes avancés d'auto-apprentissage jusqu'aux acteurs malveillants qui les utilisent pour renforcer considérablement les attaques.

Certains pays, États et entreprises ont interdit l'utilisation de technologies d'intelligence artificielle générative telles que ChatGPT pour des raisons de sécurité, de protection et de confidentialité des données. De toute évidence, les risques de sécurité posés par les chatbots génératifs d’IA et les grands modèles de langage sont considérables. Cependant, les chatbots à IA générative peuvent améliorer la cybersécurité d’une entreprise de nombreuses manières, donnant ainsi aux équipes de sécurité un coup de pouce indispensable dans la lutte contre la cybercriminalité.

Voici 6 façons dont les chatbots génératifs d'IA et les grands modèles de langage peuvent améliorer la sécurité.

Analyse et filtrage des vulnérabilités

Selon un article de la Cloud Security Alliance (CSA) explorant un grand modèle de langage Réseaux Rapports sur l'impact de la sécurité, les modèles d'IA génératifs peuvent être utilisés pour améliorer considérablement l'analyse et le filtrage des vulnérabilités de sécurité. Dans le document, la Cloud Security Alliance (CSA) a démontré que CodexAPI d'OpenAI est un scanner de vulnérabilités efficace pour les langages de programmation tels que C, C#, Java et JavaScript. "Nous pouvons prévoir que les grands modèles de langage, comme ceux de la famille Codex, deviendront à l'avenir un élément standard des scanners de vulnérabilité", peut-on lire dans le document. Par exemple, des scanners pourraient être développés pour détecter et signaler les modèles de code dangereux dans différents langages, aidant ainsi les développeurs à traiter les vulnérabilités potentielles avant qu'elles ne deviennent des risques de sécurité critiques.

En ce qui concerne le filtrage, les modèles d'IA génératifs peuvent interpréter et ajouter des scénarios précieux aux identifiants de menaces qui pourraient autrement être manqués par le personnel de sécurité humain. Par exemple, l'identifiant technique TT1059.001 dans le cadre MITRATT&CK peut être signalé mais être peu familier à certains professionnels de la cybersécurité et nécessiter donc une brève explication. ChatGPT peut identifier avec précision le code en tant qu'identifiant MITRATT&CK et fournir des explications sur les problèmes spécifiques qui y sont liés, qui impliquent l'utilisation de scripts PowerShell malveillants. Il détaille également la nature de PowerShell et son utilisation potentielle dans les attaques de cybersécurité, et fournit des exemples pertinents.

En mai de cette année, OXSecurity a annoncé le lancement d'OX-gpt, une intégration ChatGPT conçue pour aider les développeurs à fournir des recommandations personnalisées de correction de code et à copier-coller du code. correctifs, y compris la manière dont le code pourrait être exploité par des pirates informatiques, l'impact possible de l'attaque et les dommages potentiels pour l'organisation.

Inverser le module complémentaire et analyser l'API des fichiers PE

DeepInstinct Network Intelligence Engineering Manager Matt Fulmer a déclaré : « Basée sur des cadres d'ingénierie inverse tels que IDA et Ghidra, la technologie générative d'IA/grand langage (LLM) peut être utilisée pour aider à créer des règles et à inverser les modules complémentaires populaires. "Si vous clarifiez vos besoins et les comparez aux attaques et stratégies d'attaque de MITRE, vous pouvez mettre les résultats hors ligne et mieux les utiliser comme défense." communiquer via des applications, en analysant les API des exécutables portables (PE) et en vous indiquant à quoi ils servent, a-t-il ajouté. "Cela peut réduire le temps que les chercheurs en sécurité passent à examiner les fichiers PE et à analyser les communications API qu'ils contiennent." 🎜🎜#

Selon le CSA, les défenseurs de la sécurité peuvent augmenter l'efficacité et accélérer les temps de réponse en tirant parti de ChatGPT et d'autres LLM pour créer requêtes de recherche de menaces. En générant des requêtes pour les outils de recherche et de détection de logiciels malveillants tels que YARA, ChatGPT aide à identifier et à atténuer rapidement les menaces potentielles, permettant ainsi aux défenseurs de se concentrer sur les aspects critiques de leurs efforts de cybersécurité. Cette capacité s’est avérée inestimable pour maintenir une posture de sécurité robuste dans un environnement de menace en constante évolution. Les règles peuvent être personnalisées en fonction des besoins spécifiques et des menaces qu'une organisation souhaite détecter ou surveiller dans son environnement.

L'intelligence artificielle peut améliorer la sécurité de la chaîne d'approvisionnement et remédier aux vulnérabilités potentielles des fournisseurs afin de faire face aux risques de sécurité de la chaîne d'approvisionnement. En avril de cette année, SecurityScorecard a annoncé le lancement d'une nouvelle plateforme d'évaluation de sécurité qui atteint cet objectif en s'intégrant au système GPT-4 d'OpenAI et à la recherche globale en langage naturel. Selon l'entreprise, les clients peuvent poser des questions ouvertes sur leur écosystème commercial, y compris les détails des fournisseurs, et recevoir rapidement des réponses pour prendre des décisions en matière de gestion des risques. Par exemple, « Trouver mes 10 fournisseurs les moins bien notés » ou « Montrer lesquels de mes fournisseurs clés ont été compromis au cours de l'année écoulée » – SecurityScorecard affirme que ces questions produiront des résultats qui permettront aux équipes de prendre rapidement des décisions en matière de gestion des risques.

Texte IA généré lors d'une attaque de détection

Selon CSA, les grands modèles linguistiques génèrent non seulement du texte, mais fonctionnent également sur la détection et le filigrane du texte généré par l'IA, ce qui pourrait devenir une fonctionnalité courante des logiciels de protection de messagerie. Le CSA a déclaré que l'identification du texte généré par l'IA dans les attaques peut aider à détecter les e-mails de phishing et le code polymorphe, et on peut supposer que LLM peut facilement détecter les expéditeurs d'adresses e-mail atypiques ou leurs domaines correspondants, tout en étant capable d'examiner les couches sous-jacentes du texte. . Si le lien mène à un site Web malveillant connu.

Génération et transmission de code sécurisé

llm comme ChatGPT peut être utilisé pour générer et transmettre du code sécurisé. Le CSA a cité l’exemple d’une campagne de phishing qui a réussi à cibler plusieurs employés de l’entreprise, exposant potentiellement leurs informations d’identification. Bien que l'on sache quels employés ont ouvert les e-mails de phishing, il n'est pas clair s'ils ont exécuté par inadvertance un code malveillant conçu pour voler leurs informations d'identification.

Pour enquêter sur ce problème, vous pouvez utiliser les requêtes de recherche avancées de Microsoft365Defender pour trouver les 10 derniers événements de connexion effectués par les destinataires d'e-mails dans les 30 minutes suivant la réception d'un e-mail malveillant connu. Cette requête permet d'identifier toute activité de connexion suspecte pouvant être liée à des informations d'identification compromises. "

Ici, ChatGPT peut fournir des requêtes de recherche Microsoft365Defender pour vérifier les tentatives de connexion pour les comptes de messagerie compromis, ce qui peut aider à empêcher les attaquants d'entrer dans le système et à clarifier si les utilisateurs doivent changer leurs mots de passe. C'est un bon exemple lors d'un cyber-incident. de réduire le temps d'action pendant la réponse.

Sur la base du même exemple, vous pouvez rencontrer le même problème et trouver la requête de recherche Microsoft365Defender, mais votre système n'utilise pas le style de langage de programmation KQL Convert au lieu de rechercher le bon exemple. dans la langue de votre choix.

Il a déclaré : « Cet exemple illustre que le modèle Codex sous-jacent de ChatGPT peut prendre un exemple de code source et le générer dans un autre langage de programmation. Il simplifie également le processus pour l'utilisateur final en ajoutant des détails clés dans les réponses qu'il fournit et la méthodologie derrière les nouvelles créations. »

Selon le CSA, les défenseurs de la sécurité peuvent accroître leur efficacité et accélérer les temps de réponse en tirant parti de ChatGPT et d'autres LLM pour créer des requêtes de recherche de menaces. En générant des requêtes pour des outils de recherche et de détection de logiciels malveillants tels que YARA, ChatGPT aide à identifier rapidement. et atténuer les menaces potentielles, permettant ainsi aux défenseurs de se concentrer sur les aspects critiques de leurs efforts de cybersécurité, une capacité qui s'avère inestimable pour maintenir une posture de sécurité solide dans un environnement de menaces en constante évolution. Adaptez les règles aux besoins et menaces spécifiques qu'une organisation souhaite détecter ou détecter. surveiller dans leur environnement

L'IA peut améliorer la sécurité de la chaîne d'approvisionnement

Les modèles d'IA génératifs peuvent résoudre ce problème en identifiant les vulnérabilités potentielles des risques de sécurité de la chaîne d'approvisionnement. En avril de cette année, SecurityScorecard a annoncé le lancement d'une nouvelle évaluation de sécurité. plate-forme qui atteint cet objectif en s'intégrant au système GPT-4 d'OpenAI et à la recherche mondiale en langage naturel, selon l'entreprise, les clients peuvent poser des questions ouvertes sur l'écosystème, y compris les détails des fournisseurs, et obtenir des réponses rapidement pour prendre des décisions en matière de gestion des risques. par exemple, « Trouvez mes 10 fournisseurs les moins bien notés » ou « Montrez-moi lesquels de mes fournisseurs clés ont été piratés au cours de l'année » – SecurityScorecard affirme que ces questions produiront des résultats qui permettront aux équipes de prendre des décisions rapides en matière de gestion des risques.

Détecter le texte généré par l'IA dans les attaques

Selon le CSA, les grands modèles de langage non seulement génèrent du texte, mais fonctionnent également sur la détection et le filigrane du texte généré par l'IA, ce qui peut devenir une fonctionnalité courante des logiciels de protection de courrier électronique. Le texte généré dans les attaques peut aider à détecter les e-mails de phishing et le code polymorphe, a déclaré le CSA. On peut supposer que llm peut facilement détecter les expéditeurs d'adresses e-mail atypiques ou leurs domaines correspondants, tout en étant capable de vérifier si les liens sous-jacents dans le texte pointent vers. Les sites Web malveillants connus

Génération et transmission de codes de sécurité

Les LLM comme ChatGPT peuvent être utilisés pour générer et transmettre des codes de sécurité. Le CSA a cité un exemple de campagne de phishing qui a ciblé avec succès plusieurs employés de l'entreprise, les exposant potentiellement. leurs informations d'identification même s'ils savent quels employés ont été activés pour les e-mails de phishing, mais il n'est pas clair s'ils ont exécuté par inadvertance un code malveillant conçu pour voler leurs informations d'identification.

Pour enquêter sur ce problème, vous pouvez utiliser les requêtes de recherche avancées de Microsoft 365 Defender pour trouver les destinataires d'e-mails qui. ont reçu des e-mails connus. Les 10 derniers événements de connexion effectués dans les 30 minutes suivant l'e-mail malveillant. Cette requête permet d'identifier toute activité de connexion suspecte pouvant être liée à des informations d'identification compromises. "

Ici, ChatGPT peut fournir une requête de recherche à Microsoft365Defender. Vérifiez les tentatives de connexion à partir de comptes de messagerie compromis, ce qui permet d'empêcher les attaquants d'accéder au système et de préciser si les utilisateurs doivent modifier leurs mots de passe. Il s’agit d’un excellent exemple de réduction du temps d’action lors de la réponse aux cyber-incidents.

Sur la base du même exemple, vous pouvez rencontrer le même problème et trouver la requête de recherche Microsoft365Defender, mais votre système n'utilise pas le langage de programmation KQL. Au lieu de rechercher le bon exemple dans le langage souhaité, vous pouvez modifier le style du langage de programmation.

« Cet exemple illustre comment le modèle Codex sous-jacent de ChatGPT peut prendre un exemple de code source et le générer dans un autre langage de programmation. Il simplifie également l'étape finale en ajoutant des détails clés dans les réponses qu'il fournit et les méthodes derrière les nouvelles créations. "Les dirigeants doivent garantir l'utilisation sûre des chatbots génératifs d'IA

Chaim Mazal, directeur de la stratégie chez Gigamon, a déclaré que du point de vue des risques, l'IA et les grands modèles de langage peuvent être une arme à double tranchant, donc les dirigeants doivent s'assurer que leurs équipes utilisent ces produits de manière sûre et fiable. « Les équipes de sécurité et juridiques devraient travailler ensemble pour trouver la meilleure voie à suivre pour que leurs organisations puissent exploiter les capacités de ces technologies sans compromettre la propriété intellectuelle ou la sécurité.

Fulmer a déclaré que l'IA générative est basée sur des données structurées obsolètes. être utilisé comme point de départ lors de l’évaluation de ses applications en matière de sécurité et de défense. Par exemple, s’il est utilisé pour l’un des avantages ci-dessus, son rendement doit être justifié. Mettez le résultat hors ligne et laissez les gens le rendre meilleur, plus précis et plus exploitable. "

Au fil du temps, les chatbots génératifs/grands modèles de langage finiront naturellement par améliorer les capacités de sécurité et de défense, mais exploiteront l'IA/les grands modèles de langage pour aider plutôt que nuire à la posture de cybersécurité. En fin de compte, tout se résumera à la communication interne et "L'IA générative/les modèles de langage étendus peuvent être un moyen de permettre aux parties prenantes de résoudre de manière globale les problèmes de sécurité, de manière plus rapide et plus efficace", a déclaré Mazal. Les dirigeants doivent expliquer comment les outils peuvent être exploités pour soutenir les objectifs de l'organisation tout en les informant sur les menaces potentielles. "

Joshua Kaiser, directeur de la technologie de l'intelligence artificielle et PDG de TovieAI, a déclaré que les chatbots d'intelligence artificielle doivent également être mis à jour régulièrement pour maintenir des défenses efficaces contre les menaces, tandis que la supervision humaine est cruciale pour garantir le fonctionnement normal des grands modèles de langage. Important : « En outre, les grands modèles de langage doivent comprendre le scénario pour fournir des réponses précises et détecter tout problème de sécurité, et doivent être testés et évalués régulièrement pour identifier les faiblesses ou vulnérabilités potentielles », a-t-il déclaré. »

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!