51CTO Technology Stack (WeChat ID: blog51cto) denn je. Unternehmen möchten sicherstellen, dass groß angelegte Sprachmodelle (LLMs), die für den internen und externen Gebrauch entwickelt werden, qualitativ hochwertige Ergebnisse liefern, ohne Neuland zu betreten.
Um diesem Bedarf gerecht zu werden, müssen mehrere Schlüsselaspekte berücksichtigt werden. Erstens sollte die Interpretierbarkeit des LLM-Modells verbessert werden, damit es die Quelle und den logischen Argumentationsprozess seiner generierten Ergebnisse transparent darstellen kann. Dies wird Benutzern helfen, die Qualität der Ausgabe zu verstehen und ihre Vertrauenswürdigkeit einzuschätzen.
Zweitens müssen mehr Tools und Techniken bereitgestellt werden, um die Genauigkeit und Korrektheit der LLM-Ausgabe zu überprüfen und zu erkennen. Diese Tools können Benutzern dabei helfen, diese Bedenken bei der Verwendung zu erkennen.
Microsoft hat diese Bedenken erkannt. Lange Zeit kann das Modell von Microsoft, das OpenAI verwendet, nur APIs aufrufen und hat keine Kontrolle über die Geheimnisse in der Black Box. Microsoft hat kürzlich die Einführung neuer Azure-KI-Tools angekündigt, die zur Lösung des Halluzinationsproblems großer Modelle beitragen und auch Sicherheitslücken wie Prompt-Input-Angriffe schließen können, bei denen Modelle angegriffen werden, um datenschutzverletzende oder andere schädliche Inhalte zu generieren – genau wie Microsoft Own Der KI-Bildersteller generiert auch Deepfake-Bilder von Taylor Swift.
Es wird berichtet, dass das Sicherheitstool in den nächsten Monaten flächendeckend eingeführt wird, der konkrete Zeitplan wurde jedoch noch nicht bekannt gegeben.
1.Was leistet Azure AI für die Sicherheit großer Modelle?
Mit der Popularität von LLM ist das Problem von Prompt-Injection-Attacken besonders deutlich geworden. Im Wesentlichen kann ein Angreifer die Eingabeaufforderungen eines Modells so ändern, dass der normale Betrieb des Modells, einschließlich Sicherheitskontrollen, umgangen wird, und es so manipulieren, dass persönliche oder schädliche Inhalte angezeigt werden, was die Sicherheit oder den Datenschutz gefährdet. Diese Angriffe können auf zwei Arten durchgeführt werden: direkte Angriffe, bei denen der Angreifer direkt mit LLM interagiert, oder indirekte Angriffe, bei denen Datenquellen Dritter wie bösartige Webseiten genutzt werden.
Um beide Formen der Prompt-Injection anzugehen, fügt Microsoft Azure AI Prompt Shields hinzu. Hierbei handelt es sich um eine umfassende Funktion, die fortschrittliche Algorithmen des maschinellen Lernens (ML) und die Verarbeitung natürlicher Sprache nutzt, um Eingabeaufforderungen und Daten von Drittanbietern automatisch auf böswillige Absichten zu analysieren und zu verhindern, dass sie das Modell erreichen.
Es wird in drei verwandte Produkte von Microsoft integriert: Azure OpenAI-Dienst (Anmerkung des Herausgebers: Azure OpenAI ist ein von Microsoft eingeführtes cloudbasiertes Dienstprodukt, das Zugriff auf das leistungsstarke Sprachmodell von OpenAI bietet. Azure Der Hauptvorteil von OpenAI besteht darin, dass es die fortschrittliche Technologie von OpenAI mit der Sicherheit und dem Engagement auf Unternehmensebene von Microsoft Azure, Azure AI Content Security und Azure AI Studio kombiniert.
Zusätzlich zu seinen Bemühungen, Prompt-Injection-Angriffe zu stoppen, die die Sicherheit gefährden, führt Microsoft auch Tools ein, die sich auf die Zuverlässigkeit generativer KI-Anwendungen konzentrieren. Dazu gehören vorgefertigte Systemnachrichtenvorlagen von Security Center und eine neue Funktion namens Groundedness Detection.
Wie Microsoft erklärt, ermöglichen Security Center-Systemnachrichtenvorlagen Entwicklern die Erstellung von Systemnachrichten, die das Verhalten des Modells in Richtung einer sicheren, verantwortungsvollen und datenbasierten Ausgabe steuern. Die Basiserkennung verwendet ein fein abgestimmtes benutzerdefiniertes Sprachmodell, um Artefakte oder ungenaues Material in der vom Modell erzeugten Textausgabe zu erkennen. Beide werden in den Produkten Azure AI Studio und Azure OpenAI verfügbar sein.
Es ist erwähnenswert, dass die Erkennung grundlegender Indikatoren auch von automatisierten Bewertungen begleitet wird, um die Risiken und die Sicherheit generativer KI-Anwendungen einem Stresstest zu unterziehen. Diese Metriken messen die Wahrscheinlichkeit, dass eine Anwendung einen Jailbreak aufweist und unangemessene Inhalte produziert. Die Bewertung umfasst auch Erklärungen in natürlicher Sprache, um Entwicklern dabei zu helfen, geeignete Abhilfemaßnahmen zur Lösung von Problemen zu entwickeln.
„Heutzutage fehlen vielen Unternehmen die Ressourcen, um ihre generativen KI-Anwendungen einem Stresstest zu unterziehen, damit sie sicher von Prototypen zur Markteinführung übergehen können. Zunächst muss ein qualitativ hochwertiger Testdatensatz erstellt werden, der den Umfang neu auftretender Risiken widerspiegelt.“ „Die mit anspruchsvollen Angriffen wie Jailbreaking-Angriffen erreichbaren Risiken können selbst bei qualitativ hochwertigen Daten ein komplexer und manueller Prozess sein, und Entwicklungsteams finden es möglicherweise schwierig, die Ergebnisse zu interpretieren, um wirksame Gegenmaßnahmen zu treffen“, sagte Sarah, Chief Product Officer für Sicherheit KI bei Microsoft. Bird bemerkte in einem Blogbeitrag.
2. Azure AI wird große Modelle in Echtzeit „überwachen“
Während der tatsächlichen Nutzung von Azure AI wird Microsoft eine Echtzeitüberwachung bereitstellen, um Entwicklern dabei zu helfen, genau auf die Ein- und Ausgänge zu achten, die Sicherheitsfunktionen auslösen (z als Prompt Shield). Diese Funktion, die in den Azure OpenAI-Dienst und die AI Studio-Produkte integriert ist, generiert detaillierte Visualisierungen, die die Anzahl und den Anteil der blockierten Benutzereingaben/Modellausgaben sowie eine Aufschlüsselung nach Schweregrad/Kategorie hervorheben.
Mit dieser visuellen Echtzeitüberwachung können Entwickler schädliche Anforderungstrends im Laufe der Zeit verstehen und ihre Inhaltsfilterkonfigurationen, Kontrollen und das allgemeine Anwendungsdesign anpassen, um die Sicherheit zu erhöhen.
Microsoft arbeitet seit langem an der Verbesserung seiner KI-Produkte. Zuvor betonte Microsoft-CEO Satya Nadella in einem Interview, dass Microsoft nicht vollständig von OpenAI abhängig sei, sondern auch eigene KI-Projekte entwickle und OpenAI beim Aufbau seiner Produkte helfe: „Ich mache mir große Sorgen über unsere aktuelle Situation. Ich bin sehr zufrieden damit.“ Ich denke auch, dass dies uns hilft, das Schicksal unserer jeweiligen Unternehmen zu kontrollieren. „
hat die Landschaft von „All in OpenAI“ verändert, und Microsoft verwendet auch große Modelle, einschließlich Mistral. Vor kurzem hat Microsofts neu gegründetes Team Microsoft AI häufige Veränderungen vorgenommen und sogar Mustafa Suleyman und sein Team von Inflection AI eingestellt. Dies scheint eine Möglichkeit zu sein, die Abhängigkeit von Sam Altman und OpenAI zu verringern.
Die Hinzufügung dieser neuen Sicherheits- und Zuverlässigkeitstools baut nun auf der Arbeit auf, die das Unternehmen bereits geleistet hat, und bietet Entwicklern eine bessere und sicherere Möglichkeit, generative Modelle auf der Grundlage der von ihm bereitgestellten Modelle zu erstellen.
Referenzlink: https://venturebeat.com/ai/microsoft-launches-new-azure-ai-tools-to-cut-out-llm-safety-and-reliability-risks/
Das obige ist der detaillierte Inhalt vonBesser, sicherer und weniger abhängig von OpenAI: Microsofts neuer KI-Trend bringt das große Modell des Sicherheitstools Azure AI auf den Markt. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
