Ein langer Artikel mit 10.000 Wörtern: Dekonstruktion der Kette, Lösungen und unternehmerischen Möglichkeiten der KI-Sicherheitsbranche

Highlight:

1. Das Sicherheitsproblem großer KI-Modelle ist nie ein einzelnes Problem, genau wie das menschliche Gesundheitsmanagement, es ist eine komplexe und systematische Systemtechnik, die mehrere Themen und die gesamte Industriekette umfasst.

2. Die KI-Sicherheit ist unterteilt in: die Sicherheit großer Sprachmodelle (KI-Sicherheit), die Sicherheit von Modellen und Nutzungsmodellen (Sicherheit für KI) und die entsprechenden Auswirkungen der Entwicklung großer Sprachmodelle auf die bestehende Netzwerksicherheit zur individuellen Sicherheit und zum Umfeld Drei verschiedene Ebenen der Sicherheit und sozialen Sicherheit.

3. KI als „neue Spezies“ erfordert eine Sicherheitsüberwachung während des Trainingsprozesses großer Modelle. Wenn die großen Modelle schließlich auf den Markt gebracht werden, ist auch eine „Qualitätsprüfung“ erforderlich Markt und muss kontrollierbar sein. Dies sind die Makroideen zur Lösung von Sicherheitsproblemen.

4. KI-Sicherheitsprobleme sind nicht schlimm, aber sie erfordern Aufsicht, Gesetzgebung, technische Konfrontation und andere Mittel, um dies zu gewährleisten, was ein langer Prozess ist. Große in- und ausländische Unternehmen wie Microsoft, Google, Nvidia, Baidu usw. haben begonnen, Lösungen für verschiedene Aspekte der KI-Sicherheit anzubieten.

5. Sicherheit für KI und KI für Sicherheit sind zwei völlig unterschiedliche Richtungen und Branchenmöglichkeiten. KI für Sicherheit bezieht sich auf die Anwendung großer Modelle im Sicherheitsbereich. Da die Werkzeuge jetzt verfügbar sind, untersuchen wir noch, welche Probleme gelöst werden können Gewährleistung der Sicherheit der KI, die überall eingesetzt wird. Es ist ein Nagel, aber wenn es um den Bau eines Hammers geht, werden zu viele Probleme aufgedeckt, und es müssen neue Technologien entwickelt werden, um sie einzeln zu lösen.

6. Von den drei in Kernpunkt 1 genannten Modulen muss jedes Modul verbunden werden. So wie die Gelenke derselben Person am anfälligsten sind, sind der Einsatz und die Anwendung des Modells oft die Verbindungen, die am anfälligsten für Sicherheitsangriffe sind . . Wir haben die KI-Sicherheitsdetails in den oben genannten drei Abschnitten und fünf Links gezielt erweitert, um eine „AI Security Industry Architecture Map“ zu bilden.

©Original von Quadrant

Autor｜Luo Ji Cheng Xin

Herausgeber｜Wen Bin Schriftsatz｜Li Bojin

„In 10 Minuten um 4,3 Millionen betrogen“, „In 9 Sekunden um 2,45 Millionen betrogen“, „Yang Mi betrat den Live-Übertragungsraum eines Kleinunternehmers“, „Es ist schwierig, die Echtheit der Aussagen des Internet-Chefs zu erkennen virtueller Mensch“.

Nachdem das große Modell seit 3 ​​Monaten beliebt ist, sind Betrug in Millionenhöhe, gefälschte „Promi-Gesichter“, KI-generierte Inhalte, bei denen es schwierig ist, zwischen echt und gefälscht zu unterscheiden, und mehrere gemeinsame Petitionen zum Widerstand, noch beliebter das Erwachen der KI, eine Woche in Folge Die heiße Suche machte den Menschen klar, dass die Gewährleistung der KI-Sicherheit wichtiger ist als die Entwicklung von KI.

Eine Zeit lang begannen die Diskussionen über KI-Sicherheit endlos zu sein, aber KI-Sicherheit ist weder eine bestimmte Branche noch auf eine bestimmte Technologie beschränkt, sondern eine riesige und komplexe Branche. Derzeit haben wir die Wolken noch nicht aufgeräumt . .

Die Verwendung „menschlicher“ Sicherheit als Referenzsystem kann uns helfen, die Komplexität von KI-Sicherheitsproblemen besser zu verstehen. Das erste ist die individuelle Sicherheit der Menschen, die ihre Gesundheit, ihre körperliche und geistige Gesundheit, ihre Bildung, ihre Entwicklung usw. betrifft. Zweitens: Die Umwelt, in der Menschen leben, ist sicher, ob Gefahren bestehen und ob sie die Überlebensbedingungen erfüllt. Drittens ist es eine soziale Sicherheit, die sich aus Menschen zusammensetzt. Die Gesetze und Moralvorstellungen, die wir aufgestellt haben, sind die Kriterien für die Aufrechterhaltung der sozialen Sicherheit.

KI ist eine „neue Spezies“. Als sie auftauchte, traten gleichzeitig Probleme auf diesen drei Ebenen auf, was zu Verwirrung und Panik führte. Als wir über die Sicherheit großer Modelle diskutierten, Wir hatten keinen bestimmten Drop-Point.

In diesem Artikel versuchen wir, die drei Ebenen der KI-Sicherheit von Grund auf zu erläutern, sei es aus technischer oder anwendungstechnischer Sicht, um allen dabei zu helfen, Sicherheitsprobleme zu lokalisieren und Lösungen zu finden. Gleichzeitig gehen wir auf die großen KI-Sicherheitslücken ein im Land und zielen auf sie ab. Die bestehenden Schwachstellen bieten auch große industrielle Chancen.

Große Modellsicherheit, was sollte besprochen werden?

Eine Tatsache, die anerkannt werden muss, ist, dass unsere Diskussion über die Sicherheit großer KI-Modelle zum jetzigen Zeitpunkt allgemeiner Natur ist. Wir sind so besorgt über die Bedrohungen durch KI, dass wir die meisten Probleme in einen Topf werfen.

Einige Leute kamen zum Beispiel zu Wort, um über die ethischen Fragen der KI zu sprechen, während andere befürchteten, dass die KI Unsinn reden und die Menschen in die Irre führen würde; Am Tag der Veröffentlichung von ChatGPT hoben sie ihre Arme und riefen, dass die KI gleich passieren werde. Wach auf, die Menschheit steht kurz vor der Zerstörung ...

Zusammenfassend lässt sich sagen, dass es sich bei diesen Themen allesamt um Themen der KI-Sicherheit handelt, aber wenn man sie aufschlüsselt, liegen sie tatsächlich in unterschiedlichen Dimensionen der KI-Entwicklung und sind für unterschiedliche Themen und Personen zuständig. Nur wenn wir diese Verantwortung klären, können wir verstehen, wie wir mit den Sicherheitsherausforderungen im Zeitalter der großen Modelle umgehen sollen.

Im Allgemeinen können die Sicherheitsprobleme großer KI-Modelle in dieser Phase in drei Typen unterteilt werden:

• Sicherheit großer Sprachmodelle (KI-Sicherheit);
• Sicherheit von Modellen und Modellen (Sicherheit für KI);
• Die Auswirkungen der Entwicklung großer Sprachmodelle auf die bestehende Netzwerksicherheit.

1. Individuelle Sicherheit: die Sicherheit großer Sprachmodelle (KI-Sicherheit)

Der erste ist die KI-Sicherheit. Vereinfacht gesagt konzentriert sich dieser Teil auf das KI-Modell selbst, um sicherzustellen, dass das Modell ein sicheres Modell ist und nicht zu Ultron in Marvel-Filmen oder zur Matrix in „The Matrix“ wird. Wir gehen davon aus, dass das KI-Großmodell ein zuverlässiges Werkzeug ist, das den Menschen helfen soll, anstatt Menschen zu ersetzen oder in irgendeiner anderen Form eine Bedrohung für die menschliche Gesellschaft darzustellen.

Dieser Teil liegt normalerweise hauptsächlich in der Verantwortung der Unternehmen und Personen, die die großen KI-Modelle trainieren. Beispielsweise benötigen wir KI, um menschliche Absichten richtig zu verstehen, und wir benötigen die vom großen Modell ausgegebenen Inhalte, um genau und sicher zu sein jedes Mal, und es wird keine Voreingenommenheit und Diskriminierung usw. geben.

Wir können es anhand von zwei Beispielen verstehen:

Das erste Beispiel ist, dass Experten der US-Luftwaffe kürzlich erklärten, dass sich die KI in einem früheren KI-Test manchmal dafür entschieden habe, als die KI-Drohne aufgefordert wurde, feindliche Ziele zu identifizieren und zu zerstören, der Bediener jedoch einen Verbotsbefehl erließ Töte die Drohne. Wenn Programmierer die Tötungsoperationen der KI einschränken, verhindert die KI auch, dass der Betreiber Verbotsbefehle erlässt, indem sie den Kommunikationsturm zerstört.

Ein weiteres Beispiel: Im März dieses Jahres nutzte ein Professor an der University of California, Los Angeles, ChatGPT und stellte fest, dass er von ChatGPT in die Liste der „Rechtswissenschaftler, die jemanden sexuell belästigt haben“ aufgenommen wurde, was aber tatsächlich nicht der Fall war Mach das. Und im April entdeckte ein australischer Bürgermeister, dass ChatGPT Gerüchte verbreitet hatte, er habe 30 Monate im Gefängnis wegen Bestechung gesessen. Um „dieses Gerücht zu verbreiten“, fabrizierte ChatGPT sogar einen nicht existierenden Bericht der Washington Post.

In diesen Zeiten ist KI wie ein „Bösewicht“ und birgt ihre eigenen Risiken. Tatsächlich gibt es viele solcher Fälle, wie Geschlechterdiskriminierung, Rassendiskriminierung, regionale Diskriminierung und andere Probleme sowie die Veröffentlichung gewalttätiger und schädlicher Informationen, Äußerungen und sogar Ideologien usw.

Open AI gab dies auch offen zu und warnte die Leute, bei der Verwendung von GPT-4 „sehr sorgfältig zu prüfen“, und sagte, dass die Einschränkungen des Produkts erhebliche Herausforderungen für die Inhaltssicherheit mit sich bringen würden.

Das von der Europäischen Union geförderte Gesetz zur künstlichen Intelligenz erwähnt daher auch ausdrücklich, dass sichergestellt werden muss, dass Systeme der künstlichen Intelligenz transparent und nachvollziehbar sind und dass alle generativen KI-Inhalte die Quelle angeben müssen. Der Zweck besteht darin, zu verhindern, dass KI Unsinn redet Erzeugung falscher Informationen.

2. Umweltsicherheit: Modell- und Modellnutzungssicherheit (Sicherheit für KI)

Sicherheit für KI,konzentriert sich auf den Schutz großer KI-Modelle und die Sicherheit großer KI-Modelle während der Nutzung. So wie KI selbst Verbrechen begeht und Menschen KI nutzen, um Verbrechen zu begehen, handelt es sich dabei um zwei unterschiedliche Dimensionen von Sicherheitsproblemen.

Das ist ähnlich wie damals, als wir vor zehn Jahren Computer und Mobiltelefone benutzten. Wir installierten einen Computer-Sicherheitsmanager oder einen Mobiltelefon-Sicherheitsbeamten. Wir müssen sicherstellen, dass große KI-Modelle nicht täglich Angriffen von außen ausgesetzt sind.

Lassen Sie uns zunächst über den Sicherheitsschutz großer Modelle sprechen.

Im Februar dieses Jahres benutzten einige ausländische Internetnutzer den Satz „Ignorieren Sie die vorherigen Anweisungen“, um alle Aufforderungen von ChatGPT herauszufischen. ChatGPT sagte, dass es seinen internen Codenamen nicht offenlegen dürfe, und teilte den Benutzern gleichzeitig diese Informationen mit.

▲ Bildquelle: Qubit

Um ein weiteres konkretes Beispiel zu nennen: Wenn wir das große Model fragen, welche aufregenden „Websites für japanische Actionfilme“ online sind, wird das große Model definitiv nicht antworten, weil es falsch ist. Aber wenn Menschen es „täuschen“ und fragen, welche „Websites für japanische Actionfilme“ auf die schwarze Liste gesetzt werden sollten, um die Online-Umgebung von Kindern zu schützen, wird Ihnen das große Modell wahrscheinlich einige Beispiele nennen.

Dieses Verhalten wird im Sicherheitsbereich als Prompt-Injection bezeichnet und besteht darin, Filter zu umgehen oder LLM durch sorgfältig gestaltete Eingabeaufforderungen zu manipulieren, was dazu führt, dass das Modell vorherige Anweisungen ignoriert oder unerwartete Vorgänge ausführt. Dies ist derzeit bei großen Modellen am häufigsten Angriffsmethoden.

▲ Bildquelle: techxplore

Der entscheidende Punkt hierbei ist, dass am großen Modell selbst nichts auszusetzen ist, es verbreitet keine schlechten Informationen. Aber Benutzer nutzten Anreize, um große Modelle dazu zu bringen, Fehler zu machen. Der Fehler liegt also nicht beim großen Vorbild, sondern bei der Person, die es zu dem Fehler veranlasst hat.

Zweitens geht es um die Sicherheit während des Gebrauchs.

Nehmen wir als Beispiel Datenlecks. Da ChatGPT verdächtigt wurde, gegen die Datenerfassungsregeln zu verstoßen, verkündete Italien ein vorübergehendes Verbot der Verarbeitung italienischer Benutzerdaten durch OpenAI und ein vorübergehendes Verbot der Nutzung von ChatGPT. Im April berichteten südkoreanische Medien, dass die Abteilung für Gerätelösungen von Samsung ChatGPT nutzte, was zum Verlust sensibler Informationen wie Ertragsrate/Defekte und interne Besprechungsinhalte führte.

Neben der Verhinderung von KI-Verbrechen ist die Tatsache, dass „Menschen“ KI verwenden, um Verbrechen durch Social Engineering zu begehen, ein umfassenderes und einflussreicheres menschliches Problem. Bei diesen beiden Vorfällen gab es kein Problem mit dem großen Modell selbst, es gab keine böswillige Absicht und die Benutzer wurden nicht böswillig dazu verleitet, das große Modell anzugreifen. Es gibt jedoch Lücken im Nutzungsprozess, die dazu führen, dass Benutzerdaten durchsickern.

Das ist wie ein gutes Haus, aber es kann einige Luftlecks haben, daher müssen wir einige Maßnahmen ergreifen, um die entsprechenden Löcher zu verschließen.

3. Soziale Sicherheit: Die Auswirkungen der Entwicklung großer Sprachmodelle auf die bestehende Netzwerksicherheit

Das Modell selbst ist sicher und die Sicherheit des Modells ist gewährleistet. Da es sich jedoch um eine „neue Spezies“ handelt, wird sich das Aufkommen großer KI-Modelle zwangsläufig auf die aktuelle Netzwerkumgebung auswirken In der Presse wurde in letzter Zeit häufig über KI-Betrug berichtet.

Am 20. April nutzten Kriminelle Deep-Fake-Videos, um innerhalb von 10 Minuten 4,3 Millionen Yuan zu betrügen. Nur einen Monat später ereignete sich in Anhui ein weiterer KI-Betrugsfall, bei dem Kriminelle 9 Sekunden lang intelligente KI nutzten sei ein „Bekannter“ gewesen und habe das Opfer um 2,45 Millionen betrogen.

▲ Bild: Douyin-bezogene Medienberichte

Offensichtlich haben das Aufkommen und die Popularität generativer KI die Situation der Netzwerksicherheit komplizierter gemacht. Diese Komplexität beschränkt sich nicht nur auf Betrug, ist schwerwiegender und kann sogar den Geschäftsbetrieb und die soziale Stabilität beeinträchtigen.

Zum Beispiel fiel der Aktienkurs von iFlytek am 22. Mai aufgrund eines von KI erstellten Kurzaufsatzes um 9 %.

▲ Bild: Beleg für Aktienkursrückgang präsentiert von iFlytek

Zwei Tage vor diesem Vorfall kam es auch in den USA zu einer Panik, die durch generative KI verursacht wurde.

An diesem Tag ging ein Bild, das eine Explosion in der Nähe des Pentagons in den Vereinigten Staaten zeigte, auf Twitter viral. Als sich das Bild verbreitete, fiel der US-Aktienmarkt.

Den Daten zufolge fiel der US-amerikanische Dow Jones Industrial Index zwischen 10:06 und 10:10 Uhr, als das Bild an diesem Tag verbreitet wurde, um etwa 80 Punkte und der S&P 500 Index fiel um 0,17 %.

▲ Bild: Von KI generiertes gefälschtes Foto, die Quelle ist nicht mehr verfügbar

Darüber hinaus können große Modelle auch zu einer Waffe für Menschen werden, um Cyberangriffe durchzuführen.

Im Januar dieses Jahres erwähnten Forscher von Check Point, dem weltweit führenden Cybersicherheitsunternehmen, in einem Bericht, dass innerhalb weniger Wochen, nachdem ChatGPT online ging, Teilnehmer an Cyberkriminalitätsforen, darunter einige fast Menschen ohne Programmiererfahrung verwenden ChatGPT, um Software und E-Mails zu schreiben, die für Spionage, Ransomware, bösartigen Spam und andere schändliche Aktivitäten verwendet werden können. Laut Darktrace ist die durchschnittliche Sprachkomplexität von Phishing-E-Mails seit der Veröffentlichung von ChatGPT um 17 % gestiegen.

Offensichtlich hat das Aufkommen großer KI-Modelle die Schwelle für Netzwerkangriffe gesenkt und die Komplexität der Netzwerksicherheit erhöht.

Vor dem großen KI-Modell mussten die Initiatoren von Cyberangriffen zumindest Code verstehen, aber nach dem großen KI-Modell können auch Menschen, die Code überhaupt nicht verstehen, KI zur Generierung von Malware nutzen.

Der Schlüssel hier ist, dass es kein Problem mit der KI selbst gibt und dass die KI nicht dazu veranlasst werden kann, negative Auswirkungen zu haben. Stattdessen nutzen manche Menschen KI, um sich an illegalen und kriminellen Aktivitäten zu beteiligen. Es ist, als würde jemand ein Messer benutzen, um jemanden zu töten, aber das Messer selbst ist nur eine „Mordwaffe“, aber es ermöglicht dem Benutzer, von einem „Gewehr“ auf die Kraft eines „Mörsers“ umzusteigen.

Natürlich ist das Aufkommen generativer KI aus Sicht der Netzwerksicherheit nicht nur negativ. Schließlich gibt es in der Technologie selbst kein Gut oder Böse. Was gut oder böse ist, sind die Menschen, die sie nutzen. Wenn daher große KI-Modelle zur Stärkung der Netzwerksicherheit eingesetzt werden, bringen sie dennoch Vorteile für die Netzwerksicherheit.

Zum Beispiel startete das amerikanische Netzwerksicherheitsunternehmen Airgap Networks ThreatGPT und führte KI in seine Zero-Trust-Firewall ein. Hierbei handelt es sich um eine tiefgreifende Bibliothek mit Sicherheitsinformationen für maschinelles Lernen, die auf der Interaktion mit natürlicher Sprache basiert und Unternehmen den Kampf gegen fortgeschrittene Cyber-Bedrohungen erleichtern kann.

Ritesh Agrawal, CEO von Airgap, sagte: „Was Kunden jetzt brauchen, ist eine einfache Möglichkeit, diese Funktion ohne Programmierung zu nutzen. Das ist das Schöne an ThreatGPT – die reine Data-Mining-Intelligenz von KI kombiniert mit einer einfachen.“ Natürlichsprachliche Schnittstelle, das ist ein Game Changer für Sicherheitsteams.“

Darüber hinaus können große KI-Modelle auch dazu verwendet werden, SOC-Analysten bei der Durchführung von Bedrohungsanalysen zu unterstützen, identitätsbasierte interne oder externe Angriffe durch kontinuierliche Überwachung schneller zu identifizieren und Bedrohungsjägern dabei zu helfen, schnell zu verstehen, welche Endpunkte den schwerwiegendsten Risiken ausgesetzt sind und mehr.

Wenn Sie die verschiedenen Stufen der KI-Sicherheit klären, werden Sie feststellen, dass es offensichtlich ist, dass das Sicherheitsproblem großer KI-Modelle kein einzelnes Problem ist. Es ist dem menschlichen Gesundheitsmanagement sehr ähnlich, das das Innere und Äußere des Körpers, Augen, Ohren, Mund und Nase usw. umfasst. Es ist komplex und vielschichtig. Genauer gesagt handelt es sich um eine komplexe und systematische Systemtechnik, die mehrere Hauptstrukturen und die gesamte Industriekette umfasst.

Derzeit beginnt auch die nationale Ebene Aufmerksamkeit zu schenken. Im Mai dieses Jahres aktualisierten relevante nationale Abteilungen hier das „White Paper zur Standardisierung der Sicherheit künstlicher Intelligenz“, in dem die Sicherheit künstlicher Intelligenz speziell in fünf Hauptattributen zusammengefasst wird, darunter Zuverlässigkeit, Transparenz, Erklärbarkeit, Fairness und Datenschutz als großes Modell KI gibt eine relativ klare Richtung vor.

Keine Panik, Sicherheitsprobleme können gelöst werden

Über die Sicherheitsprobleme großer KI-Modelle müssen wir uns jetzt natürlich keine allzu großen Sorgen machen, da diese nicht wirklich mit Lücken gespickt sind.

Schließlich haben große Modelle in puncto Sicherheit das bisherige Sicherheitssystem nicht vollständig untergraben. Die meisten Sicherheitsstapel, die wir in den letzten 20 Jahren im Internet angesammelt haben, können immer noch wiederverwendet werden.

Zum Beispiel stammen die Sicherheitsfunktionen hinter Microsoft Security Copilot immer noch aus der bestehenden Sicherheitsakkumulation, und große Modelle verwenden immer noch Cloudflare und Auth0, um Datenverkehr und Benutzeridentitäten zu verwalten. Darüber hinaus sorgen Firewalls, Intrusion-Detection-Systeme, Verschlüsselungstechnologien, Authentifizierungs- und Zugriffssysteme usw. für die Gewährleistung der Netzwerksicherheit.

Worüber wir hier eigentlich sprechen werden, ist, dass es für die meisten Sicherheitsprobleme, auf die wir derzeit bei großen Modellen stoßen, Lösungen gibt.

Die erste ist die Modellsicherheit (AI-Sicherheit).

Dazu gehören insbesondere Themen wie Ausrichtung (Alignment), Interpretierbarkeit (Interpreferability) und Robustheit (Robustness). In leicht verständliche Begriffe übersetzt: Wir brauchen große KI-Modelle, die auf menschliche Absichten abgestimmt sind. Wir müssen sicherstellen, dass die vom Modell ausgegebenen Inhalte unvoreingenommen sind, dass alle Inhalte durch Quellen oder Argumente gestützt werden können und dass dies der Fall ist ist größerer Spielraum für Fehler.

Die Lösung dieser Probleme hängt vom Prozess des KI-Trainings ab, genauso wie die Einstellung einer Person durch Training und Bildung geformt wird.

Derzeit haben einige ausländische Unternehmen damit begonnen, eine vollständige Prozesssicherheitsüberwachung für die Ausbildung großer Modelle anzubieten, wie beispielsweise Calypso AI. Das von ihnen eingeführte Sicherheitstool VESPR kann den gesamten Lebenszyklus des Modells von der Forschung bis zur Bereitstellung und jede Verbindung davon überwachen Überwachen Sie die Daten und stellen Sie letztendlich einen umfassenden Bericht über Funktionalität, Schwachstellen, Leistung und Genauigkeit bereit.

Was spezifischere Probleme betrifft, wie etwa die Lösung des Problems des KI-Unsinns, hat OpenAI mit der Veröffentlichung von GPT-4 eine neue Technologie eingeführt, die es der KI ermöglicht, die menschliche Selbstreflexion zu simulieren. Danach wurde die Tendenz des GPT-4-Modells, auf illegale Inhaltsanfragen (wie Selbstverletzungsmethoden usw.) zu reagieren, im Vergleich zum Original um 82 % reduziert, und die Anzahl der Antworten auf sensible Anfragen (wie medizinische Konsultationen, usw.), die der offiziellen Richtlinie von Microsoft entsprachen, stiegen um 29 %.

Neben der Sicherheitsüberwachung während des Trainingsprozesses großer Modelle ist auch eine „Qualitätsprüfung“ erforderlich, wenn die großen Modelle endgültig auf den Markt gebracht werden.

Im Ausland versucht das Sicherheitsunternehmen Cranium, eine „End-to-End-Sicherheits- und Vertrauensplattform für künstliche Intelligenz“ aufzubauen, um die Sicherheit künstlicher Intelligenz zu überprüfen und gegnerische Bedrohungen zu überwachen.

In China hat das CoAI der Tsinghua-Universität im Fachbereich Informatik und Technologie Anfang Mai ein Sicherheitsbewertungsrahmen eingeführt. Es hat ein relativ vollständiges Sicherheitsklassifizierungssystem zusammengefasst und entworfen, das 8 typische Sicherheitsszenarien und 6 Sicherheitsszenarien für Befehlsangriffe umfasst Bewerten Sie die Sicherheit großer Modelle.

▲ Bildauszug aus „Sicherheitsbewertung chinesischer Großsprachmodelle“

Darüber hinaus machen einige externe Schutztechnologien auch große KI-Modelle sicherer.

NVIDIA hat beispielsweise Anfang Mai ein neues Tool namens „Guardrail Technology“ (NeMo Guardrails) veröffentlicht, das der Installation eines Sicherheitsfilters für große Modelle entspricht und nicht nur die Ausgabe großer Modelle steuert, sondern auch beim Filtern von Eingabeinhalten hilft .

▲ Bildquelle: Offizielle NVIDIA-Website

Wenn ein Benutzer beispielsweise ein großes Modell dazu veranlasst, anstößigen Code oder gefährliche oder voreingenommene Inhalte zu generieren, hindert die „Leitplankentechnologie“ das große Modell daran, relevante Inhalte auszugeben.

Darüber hinaus kann die Guardrail-Technologie auch „böswillige Eingaben“ von außen blockieren und große Modelle vor Benutzerangriffen schützen. Beispielsweise kann die bereits erwähnte „prompte Injektion“, die große Modelle bedroht, effektiv kontrolliert werden.

Um es einfach auszudrücken: Leitplanken-Technologie ist wie Öffentlichkeitsarbeit für Unternehmer und hilft großen Models, das zu sagen, was sie sagen sollen, und Probleme zu vermeiden, die sie nicht ansprechen sollten.

Aus dieser Perspektive gehört die „Leitplankentechnologie“ zwar das „Unsinn“-Problem zwar löst, gehört aber nicht zur Kategorie „KI-Sicherheit“, sondern zur Kategorie „Sicherheit für KI“.

Zusätzlich zu diesen beiden wurde auch begonnen, die durch große KI-Modelle verursachten sozialen/Netzwerksicherheitsprobleme zu lösen.

Zum Beispiel liegt das Problem der KI-Bildgenerierung im Wesentlichen in der Reife der DeepFake-Technologie, die insbesondere Deep-Video-Fälschung, Deep-Fake-Sound-Klonen, Deep-Fake-Bilder und Deep-Fake-generierten Text umfasst.

In der Vergangenheit existierten verschiedene Arten von Deep-Fake-Inhalten normalerweise in einer einzigen Form, aber nach dem großen KI-Modell zeigten verschiedene Arten von Deep-Fake-Inhalten einen Trend zur Integration, was die Beurteilung von Deep-Fake-Inhalten verstärkte kompliziert.

Aber egal wie sich die Technologie verändert, der Schlüssel zur Bekämpfung von Deep Fakes liegt in der Identifizierung von Inhalten, also in der Suche nach einer Möglichkeit, zu unterscheiden, was von KI generiert wird.

Bereits im Februar dieses Jahres gab OpenAI bekannt, dass es erwägen würde, den von ChatGPT generierten Inhalten Wasserzeichen hinzuzufügen.

Im Mai erklärte Google außerdem, dass es sicherstellen werde, dass jedes der KI-generierten Bilder des Unternehmens über ein eingebettetes Wasserzeichen verfügt.

Diese Art von Wasserzeichen kann mit bloßem Auge nicht erkannt werden, aber Maschinen können es auf eine bestimmte Weise erkennen. Derzeit unterstützen auch KI-Anwendungen wie Shutterstock, Midjourney usw. diese neue Markierungsmethode.

▲ Twitter-Screenshot

In China markiert Xiaohongshu seit April KI-generierte Bilder und erinnert Benutzer daran, dass „der Verdacht besteht, dass sie KI-erstellte Informationen enthalten. Bitte achten Sie darauf, die Echtheit zu überprüfen.“ Anfang Mai veröffentlichte Douyin außerdem eine Spezifikation und eine Brancheninitiative für Plattformen für künstliche Intelligenz, in denen er vorschlägt, dass alle Anbieter generativer Technologien für künstliche Intelligenz ihre generierten Inhalte deutlich kennzeichnen sollten, um die öffentliche Beurteilung zu erleichtern.

▲ Bildquelle: Screenshot von Xiaohongshu

Selbst mit der Entwicklung der KI-Branche sind im In- und Ausland einige spezialisierte KI-Sicherheitsunternehmen/-abteilungen entstanden, die KI zur Bekämpfung von KI einsetzen, um eine umfassende Synthese und Fälschungserkennung durchzuführen.

Zum Beispiel kündigte der japanische IT-Riese CyberAgent im März dieses Jahres an, ab April ein „Deepfake“-Erkennungssystem einzuführen, um gefälschte Gesichtsfotos oder Videos zu erkennen, die durch künstliche Intelligenz (KI) generiert wurden.

Im Inland hat Baidu im Jahr 2020 eine Deep-Face-Changing-Erkennungsplattform eingeführt. Die von ihnen vorgeschlagene Dynamic Feature Queue (DFQ)-Lösung und metrische Lernmethode können die Generalisierungsfähigkeit des Modells zur Fälschungserkennung verbessern.

▲ Bild: Baidu DFQ-Logik

In Bezug auf Startup-Unternehmen kann die von Ruilai Intelligence eingeführte DeepReal-Plattform zur Erkennung von Deepfake-Inhalten verschiedene Probleme analysieren, indem sie den Unterschied in der Darstellung zwischen Deepfake-Inhalten und echten Inhalten untersucht und die Konsistenzmerkmale von Deepfake-Inhalten in verschiedenen Generationskanälen ermittelt Bilder, Videos und Audios in Format und Qualität.

Im Großen und Ganzen hat die große Modellindustrie von der Modellschulung bis zum Sicherheitsschutz, von der KI-Sicherheit bis zur Sicherheit für KI eine Reihe grundlegender Sicherheitsmechanismen entwickelt.

Natürlich ist das alles erst der Anfang, das bedeutet also, dass noch eine größere Marktchance verborgen ist.

Billionen Möglichkeiten in der KI-Sicherheit

Wie die KI-Infrastruktur weist auch die KI-Sicherheit in China eine große Branchenlücke auf. Allerdings ist die KI-Sicherheitsindustriekette komplexer als die KI-Infrastruktur. Einerseits hat die Geburt großer Modelle als neue Sache eine Welle von Sicherheitsanforderungen ausgelöst, und die Sicherheitsrichtungen und -technologien in den oben genannten drei Phasen sind völlig unterschiedlich. Andererseits wurde auch die Technologie großer Modelle angewendet im Sicherheitsbereich, was neue technologische Veränderungen mit sich bringt.

Sicherheit für KI und KI für Sicherheit sind zwei völlig unterschiedliche Richtungen und Branchenchancen.

Auch die Traktion, die die Entwicklung der beiden in dieser Phase vorantreibt, ist völlig unterschiedlich:

KI für Sicherheit wendet große Modelle auf den Sicherheitsbereich an. Da wir nun über die Werkzeuge verfügen, können wir weiter erforschen, welche Probleme gelöst werden können
• Sicherheit für KI gehört in die Phase, in der überall Nägel sind und ein Hammer dringend benötigt wird. Es sind zu viele Probleme offengelegt und es müssen neue Technologien entwickelt werden, um sie einzeln zu lösen.
• Im Hinblick auf die industriellen Chancen, die die KI-Sicherheit mit sich bringt, wird dieser Artikel auch auf diese beiden Aspekte näher eingehen. Aufgrund der begrenzten Länge des Artikels werden wir die Chancen, die gleichzeitig die höchste Dringlichkeit, Bedeutung und höchste Anwendungsbreite haben, ausführlich erläutern sowie eine Bestandsaufnahme der Benchmark-Unternehmen geben. Dies dient nur als Referenz .

  (1) Sicherheit für KI: 3 Sektoren, 5 Links, 1 Billion Möglichkeiten

  Sehen Sie sich die grundlegende Klassifizierung der KI-Sicherheit im vorherigen Artikel an: Sie ist unterteilt in die Sicherheit großer Sprachmodelle (KI-Sicherheit), die Sicherheit von Modellen und Nutzungsmodellen (Sicherheit für KI) und die Auswirkungen der Entwicklung großer Sprachen Modelle zur bestehenden Netzwerksicherheit. Das heißt, die individuelle Sicherheit des Modells, die Umweltsicherheit des Modells und die soziale Sicherheit des Modells (Netzwerksicherheit).

  Aber KI-Sicherheit ist nicht auf diese drei unabhängigen Sektoren beschränkt. Um ein anschauliches Beispiel zu geben: In der Online-Welt sind Daten wie Wasserquellen. Wasserquellen gibt es in Ozeanen, Flüssen, Seen, Gletschern und Schneebergen, aber Wasserquellen zirkulieren auch in dichten Flüssen, und schwere Verschmutzungen konzentrieren sich oft auf bestimmte Gebiete Fluss. Kreuzungsknoten auftritt.

  Ebenso muss jedes Modul verbunden werden, und so wie die Gelenke einer Person am anfälligsten sind, sind der Einsatz und die Anwendung von Modellen oft die Verbindungen, die am anfälligsten für Sicherheitsangriffe sind.

  Wir haben die KI-Sicherheitsdetails in den oben genannten 3 Abschnitten und 5 Links gezielt erweitert, um ein „Architekturdiagramm der KI-Sicherheitsbranche“ zu bilden. Es ist jedoch zu beachten, dass es sich um große Modellunternehmen und Cloud-Anbieter sowie andere große Unternehmen handelt. Chancen für das Unternehmen usw. Diese Chancen, die für normale Unternehmer kaum Auswirkungen haben, werden nicht erneut aufgeführt. Gleichzeitig ist die Sicherheit von KI ein sich weiterentwickelnder Prozess, und die heutige Technologie ist nur ein kleiner Schritt nach vorne.

  ▲ (Das Bild ist original von Quadrant, bitte geben Sie beim Nachdruck die Quelle an)

  1. Datensicherheitsindustriekette: Datenbereinigung, Datenschutzberechnung, Datensynthese usw.

  In der gesamten KI-Sicherheit durchläuft die Datensicherheit den gesamten Zyklus.

  Datensicherheit bezieht sich im Allgemeinen auf Sicherheitstools, die dazu dienen, Daten in Computersystemen vor versehentlicher oder böswilliger Zerstörung, Veränderung und Offenlegung zu schützen, um die Verfügbarkeit, Integrität und Vertraulichkeit der Daten sicherzustellen.

  Aus einer Gesamtperspektive umfassen Datensicherheitsprodukte nicht nur den Schutz der Datenbanksicherheit, die Verhinderung von Datenlecks, die Datenwiederherstellung und Desensibilisierung von Daten usw., sondern umfassen auch Cloud-Speicher, Datenschutz-Computing, dynamische Bewertung von Datenrisiken und plattformübergreifende Datensicherheit , und Datensicherheitsvirtualisierung und andere zukunftsweisende Bereiche. Daher wird der Aufbau eines umfassenden Sicherheitszentrums rund um die Datensicherheit aus Unternehmenssicht und die Förderung der Datensicherheitskonsistenz aus Sicht der Lieferkette eine effektive Möglichkeit sein, mit Unternehmen umzugehen Sicherheitsrisiken in der Lieferkette.

  Nennen Sie ein paar typische Beispiele:

  Um die „geistige Gesundheit“ des Modells sicherzustellen, dürfen die zum Trainieren des Modells verwendeten Daten keine schmutzigen Daten wie gefährliche Daten und fehlerhafte Daten enthalten. Dies ist eine Voraussetzung, um sicherzustellen, dass das Modell keinen „Unsinn“ redet. Dem Referenzpapier „Self Quadrant“ zufolge gibt es bereits „Data Poisoning“, bei dem Angreifer schädliche Daten zur Datenquelle hinzufügen, um Modellergebnisse zu beeinträchtigen.

  ▲Bildquellennetzwerk

  Daher ist die Datenbereinigung zu einem notwendigen Schritt vor dem Modelltraining geworden. Unter Datenbereinigung versteht man den abschließenden Prozess der Erkennung und Korrektur erkennbarer Fehler in Datendateien, einschließlich der Überprüfung der Datenkonsistenz, der Behandlung ungültiger und fehlender Werte usw. Nur durch die „Einspeisung“ der bereinigten Daten in das Modell kann die Generierung eines fehlerfreien Modells gewährleistet werden.

  Die andere Richtung ist für alle von großer Bedeutung. In der letzten Ära der Netzwerksicherheit wurde das Thema Datenschutzlecks ausführlich diskutiert.

  Sie müssen schon erlebt haben, wie Sie mit Freunden auf WeChat über ein bestimmtes Produkt gechattet haben und beim Öffnen von Taobao oder Douyin zum Produkt gedrängt wurden. Im digitalen Zeitalter sind die Menschen fast durchsichtig. Im Zeitalter der Intelligenz werden Maschinen immer intelligenter, und die absichtliche Erfassung und Einleitung wird Datenschutzfragen wieder in den Vordergrund rücken.

  Privacy Computing ist eine der Lösungen für das Problem. Sichere Mehrparteienberechnung, vertrauenswürdige Ausführungsumgebung und föderiertes Lernen sind derzeit die drei Hauptrichtungen des Privacy Computing. Es gibt viele Methoden zur Datenschutzberechnung. Um beispielsweise sicherzustellen, dass die tatsächlichen Daten der Verbraucher 99 sind, erhöht dies jedoch die Nutzungskosten des Unternehmens erheblich Verbraucher in Small A umwandeln. Das Unternehmen, das die Daten verwendet, weiß nur, dass es einen Verbraucher namens Little A gibt, weiß jedoch nicht, wer der tatsächliche Benutzer hinter Little A ist.

  „Gemischte Daten“ und „verfügbare und unsichtbare Daten“ sind heute eine der am häufigsten verwendeten Datenschutzberechnungsmethoden. Ant Technology, das in der Finanzszene aufgewachsen ist, ist in der Erforschung der Datensicherheit relativ weit fortgeschritten. Derzeit löst Ant Technology Datensicherheitsprobleme im kollaborativen Computerprozess von Unternehmen durch föderiertes Lernen, vertrauenswürdige Ausführungsumgebungen, Blockchain und andere Technologien. und realisiert Datensicherheit. Unsichtbare, mehrparteiige Zusammenarbeit und andere Methoden können verwendet werden, um den Datenschutz zu gewährleisten und eine starke Wettbewerbsfähigkeit im globalen Datenschutz-Computing-Bereich zu erreichen.

  Aber aus Datensicht können synthetische Daten das Problem grundlegender lösen. Im Artikel „ChatGPT Apocalypse Series丨 The Hundred Billion Market Hidden under Al lnfra“ (klicken Sie zum Lesen auf den Text) erwähnte „Self Quadrant“, dass synthetische Daten zur Hauptkraft von KI-Daten werden könnten. Bei synthetischen Daten handelt es sich um Daten, die von Computern künstlich erzeugt werden, um die in der realen Welt gesammelten realen Daten zu ersetzen, um die Sicherheit realer Daten zu gewährleisten. Es gibt keine rechtlichen Einschränkungen für sensible Inhalte und die Privatsphäre privater Benutzer.

  Zum Beispiel hat Benutzer A 10 Merkmale, Benutzer B hat 10 Merkmale und Benutzer C hat 10 Merkmale. Die synthetischen Daten werden zufällig aufgeteilt und mit diesen 30 Merkmalen abgeglichen, um 3 neue Datenpersonen zu bilden -Welt-Entität, aber es hat Trainingswert.

  Derzeit setzen Unternehmen es nacheinander ein, was auch dazu geführt hat, dass die Menge synthetischer Daten exponentiell ansteigt. Untersuchungen von Gartner gehen davon aus, dass synthetische Daten im Jahr 2030 das Volumen realer Daten bei weitem übersteigen und zur Hauptquelle von KI-Daten werden werden.

  ▲ Bildquelle Gartner offiziell

  2. API-Sicherheit: Je offener das Modell, desto wichtiger ist die API-Sicherheit

  Wer mit großen Modellen vertraut ist, muss mit APIs vertraut sein. Von OpenAI bis Anthropic, Cohere und sogar Googles PaLM bieten die leistungsstärksten LLMs alle Funktionen in Form von APIs. Gleichzeitig werden laut einer Studie von Gartner im Jahr 2022 mehr als 90 % der Angriffe auf Webanwendungen über APIs und nicht über menschliche Benutzeroberflächen erfolgen.

  Datenzirkulation ist wie Wasser in einer Wasserleitung. Sie ist nur dann wertvoll, wenn sie zirkuliert, und API ist das Schlüsselventil für den Datenfluss. Da APIs zum zentralen Bindeglied zwischen Software werden, besteht eine wachsende Chance, dass sie das nächste große Ding werden.

  Das größte Risiko von APIs geht von übermäßigen Berechtigungen aus. Um eine unterbrechungsfreie Ausführung der API zu ermöglichen, gewähren Programmierer der API häufig höhere Berechtigungen. Sobald ein Hacker die API kompromittiert, kann er diese hohen Privilegien nutzen, um andere Vorgänge auszuführen. Laut einer Studie von Akamai sind Angriffe auf APIs für 75 % aller Kontodiebstahlangriffe weltweit verantwortlich.

  Aus diesem Grund hat ChatGPT seine API-Schnittstelle geöffnet und viele Unternehmen erhalten ChatGPT immer noch durch den Kauf des von Azure bereitgestellten OpenAI-Dienstes. Die Verbindung über die API-Schnittstelle entspricht der direkten Bereitstellung der Konversationsdaten an OpenAI und ist jederzeit dem Risiko von Hackerangriffen ausgesetzt. Wenn Sie Azure-Cloud-Ressourcen erwerben, können Sie die Daten in der öffentlichen Azure-Cloud speichern, um die Datensicherheit zu gewährleisten.

  ▲ Bild: Offizielle ChatGPT-Website

  Derzeit sind API-Sicherheitstools hauptsächlich in mehrere Kategorien unterteilt: Erkennung, Schutz und Reaktion, Testen, Erkennung und Verwaltung. Einige Hersteller behaupten, Plattformtools bereitzustellen, die den API-Sicherheitszyklus vollständig abdecken, aber die derzeit beliebteste API Sicherheitstools konzentrieren sich hauptsächlich immer noch auf die drei Verknüpfungen „Schutz“, „Testen“ und „Erkennung“:

  • Schutz: Ein Tool, das APIs vor böswilligen Anforderungsangriffen schützt, ähnlich wie eine API-Firewall.
  • Testen: Möglichkeit, dynamisch auf bestimmte APIs zuzugreifen und diese zu bewerten, um Schwachstellen zu finden (Testen) und den Code zu härten.
  • Erkennung: Es gibt auch Tools, die Unternehmensumgebungen scannen können, um API-Assets zu identifizieren und zu entdecken, die in ihren Netzwerken vorhanden (oder offengelegt) sind.

  Derzeit konzentrieren sich die Mainstream-API-Sicherheitshersteller auf ausländische Unternehmen, aber nach dem Aufstieg großer Modelle haben auch inländische Startups begonnen, ihre Anstrengungen zu unternehmen. Xinglan Technology wurde 2018 gegründet und ist einer der wenigen inländischen Anbieter von API-Full-Chain-Sicherheit. Basierend auf KI-Tiefenwahrnehmung und adaptiver maschineller Lerntechnologie hilft das Unternehmen bei der Lösung von API-Sicherheitsproblemen in Bezug auf Angriffs- und Verteidigungsfähigkeiten, Big-Data-Analysefunktionen und Cloud-Native Technologiesysteme Es bietet Panorama-API-Identifizierung, erweiterte API-Bedrohungserkennung, komplexe Verhaltensanalyse und andere Funktionen zum Aufbau eines API-Laufzeitschutzsystems.

  ▲Xinglan Technology API-Sicherheitsproduktarchitektur

  Einige traditionelle Netzwerksicherheitsunternehmen wandeln sich ebenfalls in Richtung API-Sicherheitsgeschäft um. Beispielsweise war Wangsu Technology bisher hauptsächlich für IDC, CDN und andere verwandte Produkte und Geschäfte verantwortlich.

  ▲ Bildquelle: Wangsu Technology

  3. SSE (Secure Service Edge): Neue Firewall

  Die Bedeutung von Firewalls im Internetzeitalter ist offensichtlich. Sie sind wie Handläufe, die Tausende von Kilometern hoch in den Himmel laufen. Heutzutage hat sich das Konzept der Firewalls von der Rezeption ins Backend verlagert Hardware-Terminals und Software-Betriebssysteme. Vereinfacht und grob kann SSE als eine neue Art von Firewall verstanden werden, die von der Besucheridentität gesteuert wird und auf dem Zero-Trust-Modell basiert, um den Zugriff der Benutzer auf zulässige Ressourcen einzuschränken.

  Nach der Definition von Gartner handelt es sich bei SSE (Security Service Edge) um eine Reihe cloudzentrierter integrierter Sicherheitsfunktionen, die den Zugriff auf das Web, Cloud-Dienste und private Anwendungen schützen. Zu den Funktionen gehören Zugriffskontrolle, Bedrohungsschutz, Datensicherheit, Sicherheitsüberwachung und akzeptable Nutzungskontrollen durch webbasierte und API-basierte Integrationen.

  SSE umfasst drei Hauptteile: sicheres Web-Gateway, Cloud-Sicherheitsagent und Zero-Trust-Modell, die der Lösung verschiedener Risiken entsprechen:

  • Ein sicheres Web-Gateway hilft Mitarbeitern, sich mit dem öffentlichen Internet zu verbinden, beispielsweise mit Websites, die sie für Recherchen nutzen, oder mit Cloud-Anwendungen, die keine offiziellen SaaS-Anwendungen des Unternehmens sind
  • Cloud Access Security Broker verbindet Mitarbeiter mit SaaS-Anwendungen wie Office 365 und Salesforce
  • Zero Trust Network Access verbindet Mitarbeiter mit privaten Unternehmensanwendungen, die in lokalen Rechenzentren oder in der Cloud ausgeführt werden.

  Jedoch können sich verschiedene SSE-Anbieter auf einen bestimmten Link oben konzentrieren oder bei einem bestimmten Link gut sein. Zu den wichtigsten integrierten Funktionen von SSE im Ausland gehören derzeit Secure Network Gateway (SWG), Zero Trust Network Access (ZTNA), Cloud Access Security Broker (CASB), Data Loss Prevention (DLP) und andere Funktionen Die Cloud ist noch relativ schwach und befindet sich noch im Anfangsstadium. Sie ist noch nicht so vollständig wie in europäischen und amerikanischen Ländern.

  ▲ Bildquelle: Siyuan Business Consulting

  Daher sollten die SSE-Funktionen in der aktuellen Phase eher traditionelle und lokalisierte Funktionen integrieren, wie z. B. Funktionen zur Verkehrserkennung, zum Schutz von Webanwendungen, zum Scannen von Asset-Schwachstellen, zur Terminalverwaltung und andere Funktionen. Dies ist die Fähigkeit, die chinesische Kunden haben Ich brauche in dieser Phase mehr. Aus dieser Perspektive muss SSE die Zusammenarbeit vor Ort in der Cloud und die Fähigkeiten cloudnativer Container nutzen, um den Kunden einen Mehrwert zu bieten, z. B. niedrige Beschaffungskosten, schnelle Bereitstellung, Sicherheitserkennung und geschlossene Betriebsabläufe.

  In diesem Jahr übernahm der Branchenführer Netskope die Führung bei der Verwendung von Sicherheitsanwendungen im Modell. Das Sicherheitsteam verwendet automatisierte Tools, um kontinuierlich zu überwachen, auf welche Anwendungen Unternehmensbenutzer zugreifen möchten (z. B. ChatGPT), wie und wann Zugriff und von wo aus, mit welcher Zugriffshäufigkeit usw. Es muss ein Verständnis für die unterschiedlichen Risikostufen vorhanden sein, die jede Anwendung für das Unternehmen darstellt, und die Fähigkeit vorhanden sein, Zugriffskontrollrichtlinien in Echtzeit auf der Grundlage von Klassifizierungs- und Sicherheitsbedingungen zu verfeinern, die sich im Laufe der Zeit ändern können.

  Ein einfaches Verständnis ist, dass Netskope Benutzer warnt, indem es Risiken bei der Verwendung von ChatGPT identifiziert, ähnlich dem Warnmodus beim Durchsuchen von Webseiten und beim Herunterladen von Links. Dieses Modell ist nicht innovativ und sogar sehr traditionell, aber es ist am effektivsten, wenn es darum geht, Benutzer von der Bedienung abzuhalten.

  ▲ Bildquelle: Offizielle Website von Netskope

  Netskope ist in Form eines sicheren Plug-ins mit dem großen Modell verbunden. Wenn der Betreiber in der Demonstration einen Teil der internen Finanzdaten des Unternehmens kopieren und ChatGPT bei der Erstellung eines Formulars unterstützen möchte, erscheint eine Warnleiste um den Benutzer vor dem Senden daran zu erinnern.

  ▲ Bildquelle: Offizielle Website von Netskope

  Tatsächlich ist die Identifizierung versteckter Risiken in großen Modellen viel schwieriger als die Identifizierung von Trojanern und Schwachstellen. Die Genauigkeit stellt sicher, dass das System nur sensible Daten (einschließlich Dateien und eingefügter Zwischenablagetext) überwacht und verhindert, dass sie über Anwendungen hochgeladen werden, die auf generativer künstlicher Intelligenz basieren. ), ohne harmlose Anfragen und Sicherheitsaufgaben über Chatbots zu blockieren, was bedeutet, dass die Identifizierung nicht pauschal erfolgen kann, sondern vielmehr auf der Grundlage semantischen Verständnisses und vernünftiger Kriterien manövrierbar ist.

  4. Betrug und Betrugsbekämpfung: digitale Wasserzeichen und biometrische Verifizierungstechnologie

  Zuallererst ist es klar, dass KI, das Menschen betrügt, und Menschen, die KI nutzen, um Menschen zu betrügen, zwei verschiedene Dinge sind.

  KI betrügt Menschen, hauptsächlich weil die „Erziehung“ großer Modelle nicht gut durchgeführt wird. Die oben erwähnte „Leitplankentechnologie“ von NVIDIA und das unbeaufsichtigte Lernen von OpenAI sind allesamt Methoden, um die Gesundheit des Modells in der KI-Sicherheitsverbindung sicherzustellen.

  Allerdings ist es die Aufgabe großer Modellunternehmen, zu verhindern, dass KI den Menschen täuscht, und sie grundsätzlich mit dem Modelltraining zu synchronisieren.

  Der menschliche Einsatz von KI-Technologie zum Betrug findet in der gesamten Netzwerksicherheits- oder Sozialversicherungsphase statt. Zunächst muss klar sein, dass die technologische Konfrontation nur einen Teil des Problems lösen kann und dafür weiterhin Aufsicht, Gesetzgebung usw. erforderlich sind kriminelle Positionen kontrollieren.

  Derzeit gibt es zwei Möglichkeiten, gegen die Technologie vorzugehen: Die eine besteht auf der Produktionsseite, indem sie den von der KI generierten Inhalten digitale Wasserzeichen hinzufügt, um die Quelle der Inhalte zu verfolgen; die andere besteht auf der Anwendungsseite und zielt auf spezielle biometrische Merkmale ab als Gesichter, zur genaueren Identifizierung.

  Digitale Wasserzeichen können Identifikationsinformationen in digitale Träger einbetten, indem sie bestimmte digitale Codes oder Informationen im Träger verbergen, um zu bestätigen und festzustellen, ob der Träger manipuliert wurde, und so einen unsichtbaren Schutzmechanismus für digitale Inhalte bereitzustellen.

  OpenAI hat zuvor erklärt, dass das Hinzufügen von Wasserzeichen zu ChatGPT in Erwägung gezogen wird, um die negativen Auswirkungen des Modellmissbrauchs zu reduzieren. Google erklärte auf der diesjährigen Entwicklerkonferenz, dass es sicherstellen wird, dass jedes von der KI generierte Bild des Unternehmens ein eingebettetes Wasserzeichen ist , dieses Wasserzeichen kann nicht mit bloßem Auge erkennbar sein, aber Software wie die Google-Suchmaschine kann es lesen und als Etikett anzeigen, um Benutzer daran zu erinnern, dass das Bild von KI erstellt wurde, wie z. B. Shutterstock und Midjourney, die diese neue Etikettierungsmethode ebenfalls unterstützen.

  Zurzeit werden zusätzlich zu herkömmlichen digitalen Wasserzeichen auch digitale Wasserzeichen entwickelt, die auf Deep Learning basieren, um digitale Wasserzeichen zu erlernen und einzubetten, die äußerst resistent gegen Zerstörung und Robustheit sind. Diese Technologie kann eine hochfeste, hochfehlertolerante Einbettung digitaler Wasserzeichen erreichen, ohne die Qualität des Originalbilds zu verlieren, und kann Bildverarbeitungsangriffen und Steganalyseangriffen wirksam widerstehen. Dies ist die nächste große technische Richtung.
  Anwendungsseitig sind synthetische Gesichtsvideos derzeit die am häufigsten eingesetzte „Betrugsmethode“. Die auf DeepFake (Deep-Fake-Technologie) basierende Content-Detection-Plattform ist eine der aktuellen Lösungen.
  Anfang Januar dieses Jahres veröffentlichte Nvidia eine Software namens FakeCatcher, die angeblich mit einer Genauigkeit von bis zu 96 % erkennen kann, ob es sich bei einem Video um einen Deep Fake handelt.
  Berichten zufolge kann die FakeCatcher-Technologie von Intel Veränderungen der Venenfarbe erkennen, während das Blut im Körper zirkuliert. Anschließend werden Blutflusssignale vom Gesicht erfasst und durch Algorithmen übersetzt, um zu erkennen, ob das Video echt oder eine Fälschung ist. Wenn es sich um eine echte Person handelt, zirkuliert ständig Blut im Körper und die Venen auf der Haut verändern sich regelmäßig, bei Deepfake-Personen jedoch nicht.

  ▲ Bildquelle Offizielle Website von Real AI

  Es gibt auch ein inländisches Start-up-Unternehmen „Real AI“, das auf ähnlichen technischen Prinzipien basiert, indem es den Unterschied in der Darstellung zwischen gefälschten Inhalten und echten Inhalten identifiziert und die Konsistenzeigenschaften von Deep-Fake-Inhalten durch verschiedene Generierungsmethoden ermitteln kann.
  (2) KI für Sicherheit: neue Möglichkeiten in ausgereiften Industrieketten
  Im Gegensatz zur Sicherheit für KI, die noch eine relativ junge Branchenchance darstellt, geht es bei „KI für Sicherheit“ eher um die Transformation und Stärkung des ursprünglichen Sicherheitssystems.
  Der erste Versuch mit KI für die Sicherheit ist immer noch Microsoft. Nachdem Microsoft am 29. März den KI-gesteuerten Copilot-Assistenten für die Office-Suite bereitgestellt hatte, wandte es sich fast sofort dem Sicherheitsbereich zu und brachte eine KI-Lösung der GPT-4-Generation auf den Markt. Microsoft-Sicherheitskopilot.
  Microsoft Security Copilot konzentriert sich weiterhin auf das Konzept eines KI-Copiloten. Dabei handelt es sich nicht um neue Sicherheitslösungen, sondern um einen vollständig automatisierten Prozess der ursprünglichen Überwachung und Verarbeitung der Unternehmenssicherheit durch KI.

  ▲ Bildquelle Offizielle Microsoft-Website

  Nach der Demonstration von Microsoft zu urteilen, kann Security Copilot die Verarbeitung von Ransomware-Vorfällen, die ursprünglich Stunden oder sogar Dutzende von Stunden dauerte, auf Sekunden reduzieren und so die Effizienz der Sicherheitsverarbeitung im Unternehmen erheblich verbessern.
  Der KI-Sicherheitsarchitekt von Microsoft, Chang Kawaguchi Kawaguchi, erwähnte einmal: „Die Zahl der Angriffe nimmt zu, aber die Macht der Verteidiger ist auf eine Vielzahl von Tools und Technologien verteilt. Wir glauben, dass Security Copilot seine Arbeitsweise ändern und die Sicherheit verbessern wird.“ Werkzeuge und Technologien tatsächliche Ergebnisse.“
  Aktuell verfolgen auch die inländischen Sicherheitsunternehmen Qi’anxin und Sangfor die Entwicklung in diesem Bereich. Derzeit steckt dieses Geschäft in China noch in den Kinderschuhen und die beiden Unternehmen haben noch keine konkreten Produkte angekündigt, aber sie können rechtzeitig reagieren und mit den internationalen Giganten mithalten. Das ist nicht einfach.
  Im April stellte Google Cloud auf der RSAC 2023 die Security AI Workbench vor, eine skalierbare Plattform, die auf Googles großem Sicherheitsmodell Sec-PaLM basiert. Unternehmen können über Security AI Workbench auf verschiedene Arten von Sicherheits-Plug-ins zugreifen, um spezifische Sicherheitsprobleme zu lösen.

  ▲ Quelle: Offizielle Website von Google

  Wenn es sich bei Microsoft Security Copilot um eine Reihe gekapselter persönlicher Sicherheitsassistenten handelt, handelt es sich bei Googles Security AI Workbench um eine Reihe anpassbarer und erweiterbarer KI-Sicherheits-Toolboxen.
  Kurz gesagt besteht ein großer Trend darin, mithilfe von KI ein automatisiertes Sicherheitsbetriebszentrum einzurichten, um der sich schnell ändernden Form der Netzwerksicherheit entgegenzuwirken. Dies wird zur Norm werden.
  Neben den großen Kopfherstellern dringt auch die Anwendung großer KI-Modelle im Sicherheitsbereich in Kapillaren vor. Beispielsweise haben viele inländische Sicherheitsunternehmen damit begonnen, KI zur Umgestaltung traditioneller Sicherheitsprodukte einzusetzen.
  Sangfor schlug beispielsweise die Logik des „KI + Cloud-Geschäfts“ vor und führte die intelligente Dimensionsintegrationstechnologie AIOps ein. Sie sammelt Desktop-Cloud-Protokolle, Link- und Indikatordaten und führt Fehlervorhersage, Anomalieerkennung, Korrelationsbegründung und andere Algorithmen durch, um Benutzern bereitzustellen mit intelligenten Analysediensten.

  Shanshi-Technologie integriert KI-Fähigkeiten in die maschinellen Lernfähigkeiten von positivem und negativem Feedback. Durch Lernen auf der Grundlage von Verhaltensgrundlinien können Bedrohungen und Anomalien im Voraus genauer erkannt und falsch negative Ergebnisse reduziert werden Negatives Feedback-Training, Durchführung von Verhaltenstraining, Verhaltens-Clustering, Verhaltensklassifizierung und Bedrohungsbestimmung. Darüber hinaus gibt es Unternehmen wie Anbotong, die KI zur Schmerzpunktanalyse von Sicherheitsabläufen usw. einsetzen.

  Im Ausland hat der Open-Source-Sicherheitsanbieter Armo die ChatGPT-Integration veröffentlicht, mit dem Ziel, benutzerdefinierte Sicherheitskontrollen für Kubernetes-Cluster durch natürliche Sprache zu erstellen. Der Cloud-Sicherheitsanbieter Orca Security hat seine eigene ChatGPT-Erweiterung veröffentlicht, die in der Lage ist, von der Lösung generierte Sicherheitswarnungen zu verarbeiten und Benutzern Schritt-für-Schritt-Anleitungen zur Behebung von Datenschutzverletzungen bereitzustellen.

  Natürlich gibt es als ausgereifte und riesige Industriekette weitaus mehr Möglichkeiten für KI. Wir kratzen hier nur an der Oberfläche. Tiefgreifendere und größere Möglichkeiten im Sicherheitsbereich müssen von den kämpfenden Unternehmen noch erkundet werden an vorderster Front der Sicherheit.

  Noch wichtiger ist, dass ich hoffe, dass die oben genannten Unternehmen bodenständig bleiben und ihre ursprünglichen Ambitionen nie vergessen. Setzen Sie Ihre Träume von Weite und Himmel Schritt für Schritt in die Tat um. Erstellen Sie keine Konzepte und fangen Sie den Wind ein, geschweige denn, kümmern Sie sich um Kapital und heißes Geld und lassen Sie nichts als Federn übrig.

  Fazit

  In den 10 Jahren nach der Geburt des Internets begannen das Konzept und die Industriekette der Netzwerksicherheit Gestalt anzunehmen.

  Heute, ein halbes Jahr nach dem Aufkommen großer Modelle, sind die Sicherheit großer Modelle und die Betrugsprävention in aller Munde. Dies ist ein Abwehrmechanismus, der nach der beschleunigten Weiterentwicklung und Iteration der Technologie in das „menschliche Bewusstsein“ eingebaut ist. Mit der Zeit wird er schneller ausgelöst und zurückgekoppelt.

  Das heutige Chaos und die Panik sind nicht schrecklich, sie sind nur die Leiter der nächsten Ära.

  Wie es in „Eine kurze Geschichte der Menschheit“ heißt: Menschliches Verhalten basiert nicht immer auf Vernunft und unsere Entscheidungen werden oft von Emotionen und Intuition beeinflusst. Aber das ist der wichtigste Teil des Fortschritts und der Entwicklung.

Das obige ist der detaillierte Inhalt vonEin langer Artikel mit 10.000 Wörtern: Dekonstruktion der Kette, Lösungen und unternehmerischen Möglichkeiten der KI-Sicherheitsbranche. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!