Gedanken zur KI-Netzwerksicherheit, hervorgerufen durch die Popularität von ChatGPT

1. Artificial Intelligence Development Track

Bevor das Konzept der künstlichen Intelligenz (Aritificial Intellige) erstmals 1956 auf dem Darmouth College Summer Academic Seminar vorgeschlagen wurde, hatten Menschen bei der schweren und repetitiven Arbeit bereits Menschen durch kontinuierliche Erforschung ersetzt auf der Straße.

Im Februar 1882 vollendete Nikola Tesla die Idee eines Wechselstromgenerators, die ihn fünf Jahre lang beschäftigt hatte, und rief begeistert aus: „Von nun an werden die Menschen nicht länger zu schwerer Handarbeit gezwungen sein, und meine Maschine wird uns befreien.“ , die ganze Welt wird so sein.“

Um die Existenz unentscheidbarer Sätze in der Mathematik zu beweisen, schlug Alan Turing 1948 die Idee einer „Turingmaschine“ vor. 1948 beschrieb er den größten Teil des Konnektionismus in der Arbeit „INTELLIGENT MACHINERY“. 1950 folgte die Veröffentlichung „COMPUTING MACHINERY AND INTELLIGENCE“ und der Vorschlag des berühmten „Turing-Tests“. Im selben Jahr bauten Marvin Minsky und sein Klassenkamerad Dunn Edmund den weltweit ersten neuronalen Netzwerkcomputer.

1955 nahm von Neumann die Einladung an, die Silliman-Vorlesung an der Yale University zu halten. Die Inhalte der Vorlesung wurden später in dem Buch „THE COMPUTER AND THE BRAIN“ zusammengefasst.

Künstliche Intelligenz hat seit ihrer Einführung im Jahr 1956 bis heute drei Entwicklungshöhepunkte erlebt.

Der erste Entwicklungshöhepunkt: Von 1956 bis 1980 nahm die durch Expertensysteme und klassisches maschinelles Lernen repräsentierte Symbolik (Symbolik) eine dominierende Stellung ein. Die Symbolik, auch als erste Generation der künstlichen Intelligenz bekannt, schlägt ein auf Wissen und Erfahrung basierendes Argumentationsmodell vor, um menschliches rationales, intelligentes Verhalten wie Denken, Planen, Entscheidungsfindung usw. zu simulieren. Daher werden in der Maschine eine Wissensbasis und ein Argumentationsmechanismus eingerichtet, um menschliches Argumentations- und Denkverhalten zu simulieren.

Die repräsentativste Errungenschaft der Symbolik ist der Sieg des IBM-Schachprogramms Deep Blue über den Weltmeister Kasparov im Mai 1997. Es gibt drei Faktoren für den Erfolg: Der erste Faktor ist das Wissen und die Erfahrung, die Deep Blue in der Vergangenheit gespielt hat Schachpartien und alle 5-6 Endspiele sind in den Schachregeln zusammengefasst.

Dann debuggen Sie durch das Spiel zwischen dem Master und der Maschine die Parameter in der Bewertungsfunktion und nehmen Sie die Erfahrung des Masters vollständig auf. Das zweite Element ist der Algorithmus Deep Blue verwendet den Alpha-Beta-Bereinigungsalgorithmus, der sehr schnell ist. Der dritte Faktor ist die Rechenleistung, die IBM damals verwendete, die Maschine RS/6000SP2, die 200 Millionen Schritte pro Sekunde analysieren und durchschnittlich 8-12 Schritte pro Sekunde vorhersagen konnte.

Der Vorteil der Symbolik besteht darin, dass sie den menschlichen Denk- und Denkprozess nachahmen kann, mit dem menschlichen Denkprozess übereinstimmt und Schlussfolgerungen aus einem Beispiel ziehen kann, sodass sie interpretierbar ist. Aber die Symbolik weist auch sehr gravierende Mängel auf. Erstens ist Expertenwissen sehr knapp und teuer. Zweitens muss Expertenwissen durch manuelle Programmierung eingegeben werden, was zeitaufwändig und arbeitsintensiv ist Wissen, das schwer auszudrücken ist, wie zum Beispiel Experten der traditionellen chinesischen Medizin, die Pulse messen. Solche Erfahrungen sind schwer auszudrücken, daher ist der Anwendungsbereich der Symbolik sehr begrenzt.

Der zweite Entwicklungshöhepunkt: 1980 ~ 1993, dargestellt durch Symbolik und Konnektionismus; Lernen simuliert die menschliche Wahrnehmung wie Sehen, Hören, Berühren usw. durch tiefe neuronale Netzwerkmodelle. Deep Learning hat zwei Vorteile: Der erste Vorteil besteht darin, dass kein Domänenexpertenwissen erforderlich ist und der technische Schwellenwert niedrig ist. Der zweite Vorteil besteht darin, dass die Daten, die verarbeitet werden können, umso größer sind.

Eines der typischsten Beispiele für Deep Learning ist das Go-Programm. Vor Oktober 2015 konnten Go-Programme, die mithilfe von Symbolik, also wissensbasierten Methoden, erstellt wurden, die höchste Stufe des Amateur-5-Dan erreichen. Im Oktober 2015 besiegte das Go-Programm den Europameister und im März 2016 den Weltmeister. Bis Oktober 2017 besiegte AlphaGo AlphaGo, um einen dreifachen Sprung im Level des Go-Programms zu erreichen, vom Profi-Level zum Weltmeister und vom Weltmeister zum Weltmeister Champion.

AlphaGo hat in zwei Jahren einen Dreifachsprung geschafft. Sein Erfolg beruht hauptsächlich auf drei Aspekten: Big Data, Algorithmus und Rechenleistung. AlphaGo lernte 30 Millionen bestehende Schachpartien und spielte weitere 30 Millionen Partien mit sich selbst, also insgesamt 60 Millionen Schachpartien. Es verwendete Monte-Carlo-Baumsuche, Reinforcement Learning, Deep Learning und andere Algorithmen und nutzte insgesamt 1202 CPUs und 280 Zu berechnende GPU.

Deep Learning weist auch große Einschränkungen auf, z. B. ist es nicht interpretierbar, unsicher, nicht leicht zu verallgemeinern und erfordert eine große Anzahl von Beispielen. Beispielsweise kann ein Bild eines menschlichen Gesichts nach einigen Modifikationen als Hund erkannt werden. Warum dies geschieht, ist für den Menschen unerklärlich.

Im Jahr 2016 erlangte der durch Reinforcement Learning repräsentierte Behaviorismus (Aktionismus) nach der Entstehung von AlphaZero große Aufmerksamkeit und wurde als einziger Weg zur allgemeinen künstlichen Intelligenz gefeiert.

Symbolismus, dargestellt durch logisches Denken, treibt Intelligenz durch Wissen voran, und Konnektionismus, dargestellt durch tiefes Lernen, treibt Intelligenz durch Daten voran. Beide haben große Mängel und einen begrenzten Anwendungsbereich.

Behaviorismus, dargestellt durch Verstärkungslernen, nutzt umfassend die vier Elemente Wissen, Daten, Algorithmen und Rechenleistung, um Mechanismen wie Feedback, seitliche Verbindungen, spärliche Entladung, Aufmerksamkeitsmechanismus, Multimodalität und Gedächtnis des menschlichen Gehirns einzuführen Es wird erwartet, dass es die Mängel der ersten beiden Generationen der künstlichen Intelligenz überwindet und eine breitere Anwendung findet.

2. Mehrere Mechanismen der menschlichen Gehirnarbeit

[Vorhersage- und Feedbackmechanismus]

Das Gehirn beobachtet die Welt und baut im Laufe des Lebens Gedächtnismodelle auf. Im täglichen Leben vergleicht das Gehirn automatisch die vorherigen Gedächtnismodelle und sagt voraus, was wird als nächstes passieren. Wenn es eine Situation erkennt, die nicht mit der Vorhersage übereinstimmt, löst es eine Rückmeldung vom Gehirn aus.

Gehirnzellen sind in der Lage, Informationen zu übertragen, weil sie magische Tentakel, Dendriten und Axone haben. Mit ihren kurzen Dendriten können Gehirnzellen Informationen von anderen Gehirnzellen empfangen, und mit ihren langen Axonen können Gehirnzellen Informationen an andere Gehirnzellen übermitteln (wie in der Abbildung unten dargestellt).

Informationen werden kontinuierlich zwischen Gehirnzellen übertragen und formen menschliche Gefühle und Gedanken. Das gesamte Gehirn ist ein großes Netzwerk miteinander verbundener Gehirnzellen, wie in der folgenden Abbildung dargestellt:

Um im Bereich des maschinellen Lernens zunächst ein solches künstliches neuronales Netzwerk zu erhalten, Ein neuronales Netzwerk muss definiert werden. Die Struktur des Netzwerks, wie viele Neuronen es im Netzwerk gibt und wie die Neuronen verbunden sind. Als nächstes müssen Sie eine Fehlerfunktion definieren. Die Fehlerfunktion wird verwendet, um zu bewerten, wie gut das Netzwerk derzeit funktioniert und wie die Neuronenverbindungen darin angepasst werden sollten, um Fehler zu reduzieren. Die synaptische Stärke bestimmt die neuronale Aktivität, die neuronale Aktivität bestimmt die Netzwerkausgabe und die Netzwerkausgabe bestimmt den Netzwerkfehler.

Derzeit ist „Backpropagation“ der am häufigsten verwendete und erfolgreichste Trainingsalgorithmus für tiefe neuronale Netze im Bereich des maschinellen Lernens. Mit Backpropagation trainierte Netzwerke nehmen in der jüngsten Welle des maschinellen Lernens eine tragende Stellung ein und erzielen gute Ergebnisse bei der Sprach- und Bilderkennung, Sprachübersetzung usw.

Es fördert auch den Fortschritt des unbeaufsichtigten Lernens, das für die Bild- und Spracherzeugung, die Sprachmodellierung und einige Vorhersageaufgaben höherer Ordnung unverzichtbar ist. In Zusammenarbeit mit Reinforcement Learning kann Backpropagation viele Kontrollprobleme (Kontrollprobleme) lösen, wie z. B. das Beherrschen von Atari-Spielen und das Besiegen der besten menschlichen Spieler in Go und Poker.

Der Backpropagation-Algorithmus sendet Fehlersignale in Rückkopplungsverbindungen, um dem neuronalen Netzwerk bei der Anpassung der synaptischen Stärke zu helfen. Er wird sehr häufig im Bereich des überwachten Lernens verwendet. Aber Rückkopplungsverbindungen im Gehirn scheinen unterschiedliche Funktionen zu haben, und ein Großteil des Lernens des Gehirns erfolgt unbeaufsichtigt. Kann der Backpropagation-Algorithmus daher den Feedback-Mechanismus des Gehirns erklären? Eine definitive Antwort gibt es derzeit nicht.

【Intrahirn-Verbindungen】

Die spezielle Verbindungsmethode zwischen Neuronen im menschlichen Gehirn ist eine wichtige Richtung bei der Erforschung der Einzigartigkeit des menschlichen Gehirns. Die Magnetresonanztomographie ist ein Schlüsselinstrument dieser Forschung. Mit dieser Technik können die langen Fasern sichtbar gemacht werden, die von Neuronen ausgehen und verschiedene Gehirnbereiche verbinden, ohne den Schädel zu öffnen. Diese Verbindungen wirken wie Drähte, die elektrische Signale zwischen Neuronen übertragen. Zusammen werden diese Verbindungen als Konnektom bezeichnet und liefern Hinweise darauf, wie das Gehirn Informationen verarbeitet.

Angenommen, dass jede Nervenzelle mit allen anderen Nervenzellen verbunden ist, ist diese Eins-zu-Viele-Verbindungsgruppe am effizientesten. Da dieses Modell jedoch viel Platz und Energie benötigt, um alle Anschlüsse unterzubringen und ihren normalen Betrieb aufrechtzuerhalten, ist dies definitiv nicht realisierbar. Ein anderer Modus ist eine Eins-zu-eins-Verbindung, bei der jedes Neuron nur mit einem einzigen anderen Neuron verbunden ist. Diese Art der Verbindung ist weniger schwierig, aber auch weniger effizient: Informationen müssen wie Trittsteine ​​eine große Anzahl von Nervenzellen passieren, um von Punkt A nach Punkt B zu gelangen.

„Das wirkliche Leben liegt irgendwo dazwischen“, sagt Yaniv Assaf von der Universität Tel Aviv, der in Nature Neuroscience eine Untersuchung der Konnektome von 123 Säugetierarten veröffentlicht hat. Das Team fand heraus, dass die Anzahl der Trittsteine, die benötigt werden, um Informationen von einem Ort zum anderen zu transportieren, in den Gehirnen verschiedener Arten ungefähr gleich ist und dass die verwendeten Verbindungen ähnlich sind. Es gibt jedoch Unterschiede in der Art und Weise, wie die Anordnung der Verbindungen im Gehirn zwischen verschiedenen Arten realisiert wird. Bei Arten mit wenigen Fernverbindungen zwischen den beiden Hemisphären gibt es tendenziell mehr kürzere Verbindungen in jeder Hemisphäre, und benachbarte Gehirnregionen innerhalb der Hemisphäre kommunizieren häufig.

【Gedächtnis】

Im menschlichen Gehirn gibt es Milliarden von Nervenzellen. Sie interagieren über Synapsen miteinander und bilden äußerst komplexe Verbindungen. Beim Gedächtnis handelt es sich um die gegenseitigen Anrufe zwischen Gehirnnervenzellen. Einige der gegenseitigen Anrufe sind von kurzer Dauer, andere von langer Dauer und andere liegen irgendwo dazwischen.

Es gibt vier grundlegende Formen der Interaktion zwischen Gehirnneuronen:

• Einfache Erregung: Wenn ein Neuron erregt wird, erregt es ein anderes verbundenes Neuron.
• Einfache Hemmung: Die Erregung eines Neurons erhöht die sensorische Schwelle eines anderen verbundenen Neurons.
• Positives Feedback: Die Erregung eines Neurons stimuliert die Erregung eines anderen verbundenen Neurons, was wiederum direkt oder indirekt die Erregungsschwelle des ersteren senkt oder ein Signal an die sensorische Synapse des ersteren zurückmeldet .
• Negatives Feedback: Die Erregung eines Neurons stimuliert die Erregung eines anderen verbundenen Neurons, was wiederum direkt oder indirekt die Erregungsschwelle des ersteren erhöht, wodurch die Erregbarkeit des ersteren abnimmt.

Es gibt viele Arten von Neuronenzellen mit unterschiedlichen Aktivitäten im menschlichen Gehirn, die jeweils für das Kurzzeit-, Mittelfrist- und Langzeitgedächtnis verantwortlich sind.

Aktive Neuronenzellen sind für das Kurzzeitgedächtnis verantwortlich. Die Anzahl ist gering und bestimmt die kurzfristige Reaktionsfähigkeit einer Person. Wenn dieser Zelltyp durch ein Nervensignal stimuliert wird, sinkt seine Wahrnehmungsschwelle vorübergehend, aber seine Synapsen vermehren sich im Allgemeinen nicht, und die Abnahme der Wahrnehmungsschwelle kann nur einige Sekunden bis Minuten anhalten und kehrt dann auf normale Werte zurück.

Neutrale Neuronenzellen sind mit einer mittleren Anzahl für das mittelfristige Gedächtnis verantwortlich und bestimmen die Lernanpassungsfähigkeit einer Person. Wenn diese Art von Zelle durch eine angemessene Menge an Nervensignalen stimuliert wird, kommt es zu einer synaptischen Proliferation. Diese ist jedoch langsam und erfordert mehrere Stimulationen, um signifikante Veränderungen zu bewirken, und der Proliferationszustand kann nur Tage bis Wochen andauern wahrscheinlicher auftreten.

Lazy Neuronenzellen sind für das Langzeitgedächtnis verantwortlich. Ihre größere Anzahl bestimmt die Fähigkeit eines Menschen, Wissen anzusammeln. Dieser Zelltyp unterliegt nur dann einer synaptischen Proliferation, wenn er durch eine große Anzahl wiederholter Nervensignale stimuliert wird. Diese synaptische Proliferation ist äußerst langsam und erfordert viele wiederholte Stimulationen, um signifikante Veränderungen herbeizuführen. Der Proliferationszustand kann jedoch über Monate bis Jahrzehnte aufrechterhalten werden. , nicht leicht abzubauen.

Wenn eine Gehirnneuronenzelle stimuliert und erregt wird, vermehren sich ihre Synapsen oder die Induktionsschwelle sinkt. Bei Gehirnneuronenzellen, die häufig stimuliert und wiederholt erregt werden, werden ihre Synapsen stärker signalisiert Signalempfangsfähigkeiten als andere Gehirnneuronenzellen, die weniger stimuliert und erregt werden.

Wenn zwei neuronale Zellen mit benachbarten synaptischen Verbindungen gleichzeitig stimuliert und gleichzeitig erregt werden, vermehren sich die Synapsen der beiden neuronalen Zellen gleichzeitig, sodass die Die Interaktion benachbarter synaptischer Paare zwischen ihnen wird verstärkt. Wenn diese synchrone Stimulation viele Male wiederholt wird und die Interaktion benachbarter synaptischer Paare zweier Neuronenzellen eine bestimmte Intensität erreicht (einen bestimmten Schwellenwert erreicht oder überschreitet), besteht eine Beziehung zwischen ihnen Es kommt zu einer Erregungsausbreitung, das heißt, wenn eine Neuronenzelle zur Erregung angeregt wird, wird eine andere Neuronenzelle erregt, wodurch eine gegenseitige Echoverbindung zwischen Neuronenzellen entsteht, die eine Gedächtnisverbindung darstellt.

Daher bezieht sich Gedächtnis auf Erinnerung, die durch die Glätte der Verbindung zwischen Neuronenzellen bestimmt wird, dh die Stärke der Verbindung zwischen Neuronenzellen ist größer als die Induktionsschwelle und bildet eine dominante Beziehung Verbindung zwischen Neuronenzellen, das ist die Natur des Gehirngedächtnisses.

【Aufmerksamkeitsmechanismus】

Wenn das menschliche Gehirn liest, handelt es sich nicht um einen strengen Dekodierungsprozess, sondern um einen Mustererkennungsprozess. Das Gehirn ignoriert automatisch Informationen mit geringer Wahrscheinlichkeit und geringem Wert und korrigiert den Leseinhalt basierend auf Kontextinformationen automatisch auf „die Version, die das Gehirn für richtig hält“.

„Aufmerksamkeitsmechanismus“ ist eine Datenverarbeitungsmethode, die die Aufmerksamkeit des menschlichen Gehirns beim maschinellen Lernen simuliert. Sie wird häufig bei verschiedenen Arten der Verarbeitung natürlicher Sprache, der Bilderkennung und der Spracherkennung bei maschinellen Lernaufgaben verwendet. Beispielsweise wird bei der maschinellen Übersetzung häufig das Modell „LSTM+Aufmerksamkeit“ verwendet. LSTM (Long Short Term Memory) ist eine Anwendung von RNN (Recurrent Neural Network). Es kann einfach verstanden werden, dass jedes Neuron ein Eingangstor, ein Ausgangstor und ein Vergessenstor hat. Das Eingabe-Gate und das Ausgabe-Gate verbinden die LSTM-Neuronen Ende an Ende, während das Vergessen-Gate den bedeutungslosen Inhalt schwächt oder vergisst. Der „Aufmerksamkeitsmechanismus“ wird auf das Vergessenstor von LSTM angewendet, wodurch maschinelles Lesen den menschlichen Lesegewohnheiten näher kommt und die Übersetzungsergebnisse auch kontextuell relevant werden.

【Multimodale Neuronen】

Vor fünfzehn Jahren entdeckten Quiroga und andere, dass es im menschlichen Gehirn multimodale Neuronen gibt. Diese Neuronen reagieren auf abstrakte Konzepte rund um ein übergeordnetes Thema und nicht auf bestimmte visuelle Merkmale. Unter ihnen ist das Neuron „Halle Berry“ das bekannteste, das nur auf Fotos, Skizzen und Texte der amerikanischen Schauspielerin „Halle Berry“ reagiert. Dieses Beispiel wurde in „Scientific American“ und „The New York Times“ verwendet " [ 11].

Von OpenAI veröffentlichtes CLIP verwendet multimodale Neuronen, um ein allgemeines Bildverarbeitungssystem zu erreichen, das in der Leistung mit ResNet-50 vergleichbar ist. Bei einigen anspruchsvollen Datensätzen übertrifft die Leistung von CLIP die Leistung des vorhandenen Bildverarbeitungssystems.

Maschinelles Lernen führt multimodale Neuronen ein, was sich auf das tiefe mehrdimensionale semantische Verständnis multimodaler Daten und Informationen wie Text, Ton, Bilder, Videos usw. bezieht, einschließlich der Datensemantik. Wissenssemantik, verschiedene semantische Verständnistechnologien wie visuelle Semantik, Sprachsemantikintegration und Semantik natürlicher Sprache. Beispielsweise kann die visuelle Semantik es Maschinen ermöglichen, vom klaren Sehen zum Verstehen von Videos überzugehen und strukturiertes semantisches Wissen zu extrahieren.

3. Der grundlegende Aufbau eines intelligenten Systems

Das autonome Fahrsystem ist ein typisches intelligentes System. Der US-amerikanische SAE-Klassifizierungsstandard für autonomes Fahren unterteilt autonome Fahrsysteme in fünf Stufen Automatisierung: #🎜 🎜#

Der Fahrer kann mit Hilfe des automatisierten Fahrsystems des Fahrzeugs weiterhin alle Beschleunigungs- und Bremsvorgänge sowie die Überwachung der Umgebung bewältigen. Teilautomatisiert Bedingte Automatisierung#🎜 🎜 ##🎜 🎜 #Autonome Fahrsysteme steuern alle kritischen Aufgaben, überwachen die Umgebung und erkennen einzigartige Fahrbedingungen wie Staus, ohne dass die Aufmerksamkeit des Fahrers erforderlich ist.

Aus der Klassifizierung autonomer Fahrzeugfahrsysteme können wir ersehen, dass die L0-Ebene des intelligenten Systems vollständig menschliche Entscheidungen trifft, während die L1-L2-Ebene die Ebene ist, auf der Maschinen Daten auf der Grundlage vollständiger Daten sammeln und analysieren, und Menschen Schlussfolgerungen, Urteile und Entscheidungen treffen, was das sogenannte datengesteuerte Modell ist. L3~L4 ist eine Maschine, die Datensortierung, Analyse, logisches Denken, Urteilen und Entscheidungsfindung auf der Grundlage aller Daten durchführt, jedoch menschliches Eingreifen erfordert Zu gegebener Zeit ist L5 eine völlig intelligente Maschine ohne menschliches Eingreifen, das sogenannte intelligente Antriebsmodell.

Damit eine Maschine intelligent ist, das heißt, damit eine Maschine ein intelligentes System wird, muss sie mindestens über die in der folgenden Abbildung gezeigten Komponenten verfügen: Wahrnehmung, Kognition, Verständnis, Entscheidungsfindung, und Aktion.

Die Rolle der Sensorkomponente besteht darin, Daten aus der Umgebung zu überwachen und zu sammeln, und die Ausgabe sind Daten. Das Wesentliche besteht darin, den physischen Raum zu digitalisieren und den physischen Raum vollständig dem Datenraum zuzuordnen.

Die Rolle der kognitiven Komponente besteht darin, Daten zu organisieren und zusammenzufassen und nützliche Informationen zu extrahieren.

Die Funktion der Verständniskomponente besteht darin, die extrahierten Informationen weiter zu verfeinern und zusammenzufassen, um Wissen zu erlangen. Von Menschen verstandenes Wissen wird in natürlicher Sprache ausgedrückt, und für Maschinen wird es in „Modellen“ ausgedrückt, die auf Datensätzen trainiert werden, die den Problemraum darstellen.

Die Rolle der Entscheidungskomponente besteht darin, auf Wissen basierendes Denken und Urteilen durchzuführen. Für die Maschine besteht es darin, das trainierte Modell zu verwenden, um im neuen Datenraum Überlegungen und Beurteilungen vorzunehmen und Strategien für die Zielaufgaben zu generieren.

Die Rolle der Aktionskomponente besteht darin, strategiebasiert mit der Umwelt zu interagieren und Einfluss auf die Umwelt zu nehmen.

Die Funktion der Feedback-Komponente besteht darin, Feedback zu bilden, nachdem die Aktion auf die Umgebung einwirkt. Das Feedback fördert das Wahrnehmungssystem, mehr Daten wahrzunehmen und dadurch kontinuierlich mehr Wissen zu erlangen und bessere Entscheidungen über Zielaufgaben zu treffen. und Bildung einer kontinuierlichen iterativen Evolution mit geschlossenem Regelkreis.

4. Intelligente Sicherheit

Die Kombination von künstlicher Intelligenz und Netzwerksicherheit hat immer zwei Dimensionen, vier Quadranten[9]: vertikal besteht ein Ende darin, der Intelligenz Sicherheit zu bieten, Ein Ziel besteht darin, Informationen horizontal in die Sicherheit zu bringen, ein Ende aus der Angriffsperspektive und das andere Ende aus der Verteidigungsperspektive. Wie in der folgenden Abbildung dargestellt, stellen die vier Quadranten die vier Funktionen der Kombination der beiden dar:

Intelligent Selbstsicherheit umfasst die intelligente Technologie selbst, die Schwachstellen mit sich bringt, die ausgenutzt werden können, und Sicherheitsprobleme, die durch die Schwachstellen der intelligenten Technologie selbst entstehen. Dazu gehören hauptsächlich Geschäftssicherheit, Algorithmenmodellsicherheit, Datensicherheit, Plattformsicherheit usw. unter Verwendung künstlicher Intelligenz.

Zu den Sicherheitsproblemen von Algorithmusmodellen gehören hauptsächlich Bedrohungen der Modelltrainingsintegrität, Testintegritätsbedrohungen, mangelnde Modellrobustheit, Modellverzerrungsbedrohungen usw., wie etwa Bypass-Angriffe (Manipulation von Modellentscheidungen durch gegnerische Proben und Ergebnisse). ), Poisoning-Angriffe (Einschleusen bösartiger Daten, um die Modellzuverlässigkeit und -genauigkeit zu verringern), Inferenzangriffe (Ableiten, ob bestimmte Daten für das Modelltraining verwendet wurden), Modellextraktionsangriffe (Offenlegen von Algorithmusdetails durch böswillige Abfragebefehle), Modellumkehrangriffe (Ableiten von Eingabedaten). durch Ausgabedaten), Reprogrammierungsangriffe (Änderung von KI-Modellen für illegale Zwecke), Attributionsinferenzangriffe, Trojaner-Angriffe, Backdoor-Angriffe usw. Die Datensicherheit umfasst hauptsächlich Datenlecks basierend auf der Modellausgabe und Datenlecks basierend auf Gradientenaktualisierungen. Die Sicherheit der Plattform umfasst Hardware-Gerätesicherheitsprobleme sowie System- und Softwaresicherheitsprobleme.

Zu den Verteidigungstechnologien für diese Unsicherheitsprobleme der künstlichen Intelligenz gehören hauptsächlich die Verbesserung der Selbstsicherheit von Algorithmusmodellen, die Abwehr von KI-Datensicherheit und Datenschutzlecks sowie die Abwehr von KI-Systemsicherheit. Zu den Technologien zur Verbesserung der Selbstsicherheit von Algorithmusmodellen gehören das Training datenorientierter Abwehrmaßnahmen (z. B. kontradiktorisches Training, Gradientenverstecken, blockierende Übertragbarkeit, Datenkomprimierung, Datenrandomisierung usw.), modellorientierte Abwehrmaßnahmen (z. B. Regularisierung, defensive Destillation, Feature-Crowding usw.). usw.) Komprimierung, tief schrumpfendes Netzwerk, versteckte Verteidigung usw.), spezifische Verteidigung, Robustheitsverbesserung, Verbesserung der Interpretierbarkeit usw.; KI-Datensicherheits- und Datenschutzleckschutztechnologien umfassen hauptsächlich Modellstrukturverteidigung, Informationsverwirrungsverteidigung, Abfragekontrollverteidigung, usw.

Wenn man den Geheimdiensten Sicherheit gibt, bezieht man sich auf die neuen Schwachstellen, die die Geheimdiensttechnologie selbst mit sich bringt, die von Angreifern ausgenutzt werden können und möglicherweise neue Sicherheitsrisiken für Verteidiger mit sich bringen.

Geben Sie Sicherheitsinformationen, was bedeutet, dass Angreifer intelligente Technologie zur Durchführung von Angriffen nutzen können und Verteidiger intelligente Technologie zur Verbesserung der Sicherheitsschutzfunktionen nutzen können. Dies spiegelt sich hauptsächlich in der Automatisierung von Sicherheitsreaktionen und der Autonomie bei der Entscheidungsfindung im Sicherheitsbereich wider. Derzeit gibt es zwei gängige Methoden zur Verbesserung der Automatisierung von Sicherheitsreaktionen:

• SOAR, Security Orchestration, Automation and Response, Sicherheitsorchestrierung, Automatisierung und Reaktion; Observe-Orient-Decide-Act, Observe-Adjust-Decide-Act, IACD (Integrated Adaptive Network Defense Framework) basiert auf OODA als Framework.
• Die folgende Abbildung ist ein schematisches Diagramm eines SOAR-zentrierten automatischen Antwortworkflows:

1994 schrieb der Kognitionswissenschaftler Steven Pinker in „The Language Instinct“, dass „für künstliche Intelligenz schwierige Probleme leicht zu lösen sind und einfache Probleme schwer zu lösen sind.“ „Einfaches komplexes Problem“ bedeutet, dass der Problemraum geschlossen ist, das Problem selbst jedoch eine hohe Komplexität aufweist. Das Spielen von Go ist beispielsweise ein einfaches komplexes Problem. „Komplexes einfaches Problem“ bedeutet, dass der Problemraum unendlich offen ist, das Problem selbst jedoch nicht sehr komplex ist.

Netzwerksicherheitsprobleme sind beispielsweise komplexe und einfache Probleme. Da sich die Technologie und Methoden von Sicherheitsangriffen ständig ändern, ist es jedoch unmöglich, erschöpfend auf einen bestimmten Netzwerkangriff einzugehen folgen.

Die heutige intelligente Technologie ist im Bereich „einfacher komplexer Probleme“ oft stärker als der Mensch, aber bei „komplexen einfachen Problemen“ versagt künstliche Intelligenz oft aufgrund einer durch Generalisierungsgrenzen verursachten Raumexplosion.

Leider sind Cybersicherheitsprobleme komplexe, einfache Probleme, und die Anwendung künstlicher Intelligenz im Bereich der Cybersicherheitsprobleme steht vor Herausforderungen. Insbesondere das Moravec-Paradoxon (ein von Wissenschaftlern der künstlichen Intelligenz und der Robotik entdecktes Phänomen, das dem gesunden Menschenverstand widerspricht.

Im Gegensatz zu traditionellen Annahmen erfordern die für den Menschen einzigartigen hochrangigen Intelligenzfähigkeiten nur sehr wenig Rechenleistung, wie z. B. logisches Denken, aber unbewusste Fähigkeiten und Intuition erfordern viel Rechenleistung) wird im Bereich der Cybersicherheit noch deutlicher.

Die Anwendung der Technologie der künstlichen Intelligenz auf die Netzwerksicherheit bringt die folgenden Herausforderungen mit sich: Der Problemraum ist nicht geschlossen, der Probenraum ist asymmetrisch, die Inferenzergebnisse sind entweder ungenau oder nicht interpretierbar, die Fähigkeit zur Modellverallgemeinerung lässt nach und es gibt Herausforderungen bei der Integration domänenübergreifenden Denkens.

1. Der Problemraum ist nicht geschlossen

Wie in der Abbildung oben gezeigt, umfasst der Problemraum der Netzwerksicherheit Bekanntes und Unbekanntes. Das Bekannte umfasst bekannte Bekannte, wie z. B. eine bekannte Sicherheitslücke, und das Unbekannte, Bekannte, wie z. B. eine bekannte und offengelegte Sicherheitslücke, die noch nicht entdeckt wurde, umfasst bekannte Unbekannte, wie z. B. Softwaresysteme, bei denen eine bestimmte Sicherheitslücke vorliegt. unbekannt unbekannt, wie zum Beispiel einfach nicht zu wissen, welche Risiken oder Bedrohungen bestehen werden.

2. Asymmetrie des Probenraums

Das Unbekannte Unbekannte ist ein unvermeidbares Dilemma in der Netzwerksicherheit, das dazu führt, dass der Netzwerksicherheitsproblemraum nicht geschlossen wird, was zu einem schwerwiegenden Mangel an negativen Daten (wie Angriffsdaten, Risikodaten usw.) führt. ), was zu einer Asymmetrie des Merkmalsraums führt, was dazu führt, dass der Merkmalsraum den Problemraum nicht wirklich darstellen kann. Ein Modell ist eine Hypothese über die Welt in einem vorhandenen Datenraum und wird verwendet, um Schlussfolgerungen in einem neuen Datenraum zu ziehen. Die heutige Technologie der künstlichen Intelligenz kann die nichtlineare komplexe Beziehung zwischen Eingabe und Ausgabe gut lösen, ist jedoch für den Problemraum, in dem der Probenraum relativ offen ist, ernsthaft asymmetrisch.

3. Uninterpretierbarkeit von Argumentationsergebnissen

Anwendungen der künstlichen Intelligenz zielen darauf ab, Entscheidungsurteile zu erzeugen. Erklärbarkeit bezieht sich auf das Ausmaß, in dem Menschen die Gründe für Entscheidungen verstehen können. Je erklärbarer ein KI-Modell ist, desto einfacher ist es für Menschen zu verstehen, warum bestimmte Entscheidungen oder Vorhersagen getroffen wurden. Unter Modellinterpretierbarkeit versteht man das Verständnis der internen Mechanismen des Modells und das Verständnis der Modellergebnisse. In der Modellierungsphase unterstützt es Entwickler beim Verständnis des Modells, vergleicht und wählt Modelle aus und optimiert und passt das Modell bei Bedarf an. In der Betriebsphase erklärt es dem Entscheidungsträger die internen Mechanismen des Modells und erklärt die Modellergebnisse .

In der Modellierungsphase weist die Technologie der künstlichen Intelligenz einen Widerspruch zwischen Entscheidungsgenauigkeit und Entscheidungsinterpretierbarkeit auf, und Entscheidungsbäume weisen eine hohe Interpretierbarkeit, aber geringe Genauigkeit auf. Natürlich gibt es bereits Möglichkeiten, beides zu kombinieren, um ein gewisses Maß an Balance zwischen beiden zu erreichen.

Erklären Sie dem Entscheidungsträger in der Betriebsphase den internen Mechanismus des Modells und die Interpretation der Entscheidungsergebnisse, einschließlich ethischer Dilemmata in Bezug auf Datenschutz, Modellsicherheit usw.

4. Rückgang der Generalisierungsfähigkeit

In den 1960er Jahren wies das Bell-LaPadula-Sicherheitsmodell darauf hin, dass „das System nur sicher ist, wenn es in einem sicheren Zustand startet und nie in einen unsicheren Zustand fällt.“

Künstliche Intelligenztechnologie verwendet Modelle zur Darstellung von Problemräumen, aber da das Wesen der Sicherheit die Konfrontation zwischen Ressourcen und Intelligenz ist, ist der Sicherheitsproblemraum niemals geschlossen. Ein Modell, das auf dem Trainingssatz gut funktioniert, kann in großem Maßstab verwendet werden Sobald es online geht, kommt es zu ständiger Konfrontation, und dann gerät es weiter in einen Zustand des Scheiterns und die Generalisierungsfähigkeit des Modells nimmt ab.

5. Intelligentes Sicherheitsautonomiemodell

Wissen und Argumentation sind die Grundlage der menschlichen Intelligenz. Um Argumentation und Entscheidungsfindung zu realisieren, müssen Computer drei Probleme lösen: Wissensdarstellung und Argumentationsform, Unsicherheit, Wissensdarstellung und Argumentation sowie gesunden Menschenverstand Darstellung und Begründung.

Kartenspielen ist ein unvollständiges Informationsspiel. Für einen Computer ist es viel schwieriger, Karten zu spielen als Schach. Im Jahr 2017 besiegte künstliche Intelligenz den Menschen beim No-Limit-Poker Texas Hold'em für 6 Spieler. Kartenspiele sind probabilistische und deterministische Probleme, und die reale Umgebung ist völlig unsicher und sogar konfrontativ. Daher ist die autonome Entscheidungsfindung in komplexen Umgebungen eine große Herausforderung.

Die Herausforderungen der autonomen Entscheidungsfindung in kontradiktorischen Szenarien ergeben sich hauptsächlich aus zwei Aspekten: der Dynamik der Umgebung und der Komplexität der Aufgabe. Die Dynamik der Umgebung umfasst unsichere Bedingungen, unvollständige Informationen, dynamische Änderungen in Situationen und die Komplexität der Aufgaben umfasst Informationssammlung, Angriff, Verteidigung, Aufklärung, Belästigung usw.

Autonome Entscheidungsfindung in Konfrontationsszenarien nutzt in der Regel gesunden Menschenverstand und logische Schlussfolgerungen, um unvollständige Informationen auszugleichen, und generiert dann Pläne, indem es menschliches Fachwissen und Ergebnisse des verstärkenden Lernens integriert, um bei der Entscheidungsfindung zu helfen.

Autonome Entscheidungsfindung in komplexen Umgebungen muss auch das Problem lösen, wie man sich an Umweltveränderungen anpassen und entsprechende Änderungen bei der Entscheidungsfindung vornehmen kann. Beim autonomen Fahren wird beispielsweise nach der Identifizierung von Objekten ein Modell erstellt und auf dieser Grundlage eine Fahrplanung in Echtzeit durchgeführt, die Bewältigung von Notfällen ist jedoch schwierig. Daher erfordert autonomes Fahren auch Fahrwissen und Erfahrung, und dieses Erfahrungswissen muss im Prozess der kontinuierlichen Interaktion mit der Umwelt, also des verstärkenden Lernens, erlernt werden.

Daher ist die autonome Entscheidungsfähigkeit der Bedrohungserkennung und des Schutzes eines intelligent ausgestatteten Sicherheitssystems einer der Schlüsselindikatoren zur Messung seiner Intelligenz. Unter Bezugnahme auf die Klassifizierung autonomer Fahrsysteme kann ein intelligentes Sicherheitsautonomiemodell erstellt werden.

level#🎜 🎜 ##🎜 🎜 # Name	Definition	#🎜 🎜 ##🎜🎜 #L0
Keine Automatisierung	Der Fahrer übernimmt alle betrieblichen Aufgaben wie Lenken, Bremsen, Beschleunigen oder Abbremsen usw.	L1
Fahrerassistent #🎜 🎜 #		L2
#🎜 🎜 # Automatisierte Autofahrsysteme können bei Lenk- oder Beschleunigungsfunktionen unterstützen und es ermöglichen, den Fahrer von einigen seiner Aufgaben zu entlasten. Der Fahrer muss jederzeit bereit sein, die Kontrolle über das Fahrzeug zu übernehmen und für die meisten sicherheitskritischen Funktionen sowie die gesamte Umgebungsüberwachung verantwortlich zu bleiben.		L3
Das automatisierte Fahrsystem des Fahrzeugs selbst steuert die gesamte Überwachung der Umgebung. Die Aufmerksamkeit des Fahrers ist auf dieser Ebene immer noch wichtig, kann aber von „sicherheitskritischen“ Funktionen wie dem Bremsen entkoppelt werden.
L4	Hochautomatisiert	Das autonome Fahrsystem des Fahrzeugs benachrichtigt den Fahrer zunächst, wenn die Bedingungen sicher sind, und dann schaltet der Fahrer das Fahrzeug in diesen Modus. Es kann nicht zwischen dynamischeren Fahrsituationen wie Stau oder Einfahrt auf die Autobahn unterscheiden. Autonome Fahrzeugsysteme sind in der Lage zu lenken, zu bremsen, zu beschleunigen, das Fahrzeug und die Straße zu überwachen, auf Ereignisse zu reagieren und zu bestimmen, wann Spurwechsel, Abbiegen und die Verwendung von Signalen erforderlich sind.
L5	vollautomatisch #🎜 🎜 #

... Sicherheitsexperten müssen dies manuell tun.

Level	Name	Definition
L0	Keine Autonomie	Abwehrmaßnahmen beruhen vollständig auf manuellen Bemühungen von Sicherheitsexperten.
	L2	Teilautonom	Das Schutzsystem erkennt und schützt bekannte Angriffe und Bedrohungen und kann auch unbekannte Bedrohungen erkennen. Andere Aufgaben wie die Optimierung der Genauigkeitsrate, der Falsch-Negativ-Rate und der Falsch-Positiv-Rate, Bedrohungsanalyse und Rückverfolgbarkeit erfordern jedoch manuelle Arbeit von Sicherheitsexperten.
L3	Conditional Autonomous	Das Schutzsystem erkennt und schützt vor bekannten und unbekannten Angriffen und Bedrohungen und kann außerdem die Genauigkeitsrate, Falsch-Negativ-Rate und Falsch-Positiv-Rate zur Bekämpfung kontinuierlich optimieren Autonomie Lernen und Aktualisieren, aber Bedrohungsanalyse, Quellenverfolgung, Reaktion und andere Aufgaben erfordern manuelle Arbeit durch Sicherheitsexperten.
L4	Hochautonom	Das Schutzsystem vervollständigt die Erkennung, Entscheidungsfindung, den Schutz, die Forschung und Beurteilung, die Rückverfolgbarkeit usw. aller Angriffe und Bedrohungen mit einem geringen Eingriffsaufwand und Reaktion von Sicherheitsexperten im Prozess.
L5	Völlig autonom	Das Schutzsystem führt unabhängig die gesamte Angriffs- und Bedrohungserkennung, Entscheidungsfindung, Schutz, Forschung und Beurteilung, Rückverfolgbarkeit usw. durch, ohne dass die Sicherheit eingreifen und reagieren muss Experten während des gesamten Prozesses.

Das obige ist der detaillierte Inhalt vonGedanken zur KI-Netzwerksicherheit, hervorgerufen durch die Popularität von ChatGPT. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!