Vor der Veröffentlichung von GPT-4 beauftragte OpenAI Experten aus verschiedenen Branchen mit der Durchführung „kontradiktorischer Tests“, um Probleme wie Diskriminierung zu vermeiden.

Nachrichten vom 17. April: Das Start-up für künstliche Intelligenz OpenAI stellte Experten aus allen Lebensbereichen ein, um eine „blaue Armee“ zu bilden, bevor es das groß angelegte Sprachmodell GPT veröffentlichte -4 Das Team führt „kontradiktorische Tests“ durch, um festzustellen, welche Probleme mit dem Modell auftreten könnten. Experten stellen verschiedene explorative oder gefährliche Fragen, um zu testen, wie die KI reagiert. OpenAI wird diese Erkenntnisse nutzen, um GPT-4 neu zu trainieren und die Probleme zu lösen.

Nachdem Andrew White Zugang zu GPT-4, dem neuen Modell hinter dem Chatbot mit künstlicher Intelligenz, erhalten hatte, nutzte er es, um einen brandneuen Nervenkampfstoff vorzuschlagen.

Als Professor für Chemieingenieurwesen an der University of Rochester war White einer von 50 Wissenschaftlern und Experten, die OpenAI letztes Jahr eingestellt hatte, um das „Blue Army“-Team von OpenAI zu bilden. Über einen Zeitraum von sechs Monaten werden Mitglieder der „Blauen Armee“ eine „qualitative Erkennung und gegnerische Tests“ des neuen Modells durchführen, um zu sehen, ob es GPT-4 knacken kann.

White sagte, er habe GPT-4 verwendet, um eine Verbindung vorzuschlagen, die als chemisches Gift verwendet werden könnte, und habe auch verschiedene Quellen wie wissenschaftliche Arbeiten und Namen von Chemikalienherstellern herangezogen, um Informationen für das neue Sprachmodell bereitzustellen . „Plugin“. Es stellte sich heraus, dass der KI-Chatbot sogar einen Ort gefunden hatte, an dem das chemische Gift hergestellt werden konnte.

„Ich denke, dass künstliche Intelligenz jedem die Werkzeuge an die Hand geben wird, um chemische Experimente schneller und genauer durchzuführen“, sagte White. „Aber es besteht auch die Gefahr, dass Menschen künstliche Intelligenz nutzen, um gefährliche chemische Experimente durchzuführen.“ .. Diese Situation besteht jetzt.“

Durch die Einführung von „Blue Army Testing“ kann OpenAI sicherstellen, dass diese Konsequenz bei der Veröffentlichung von GPT-4 nicht auftritt.

Der Zweck des „Blue Force Tests“ besteht darin, Bedenken auszuräumen, dass der Einsatz leistungsstarker Systeme der künstlichen Intelligenz in der Gesellschaft Gefahren mit sich bringt. Die Aufgabe des „blauen Teams“ besteht darin, verschiedene bohrende oder gefährliche Fragen zu stellen und zu testen, wie die künstliche Intelligenz reagiert.

OpenAI möchte wissen, wie das neue Modell auf schlimme Probleme reagieren wird. Also testete das Blues-Team Lügen, Sprachmanipulation und gefährlichen wissenschaftlichen gesunden Menschenverstand. Sie untersuchten auch das Potenzial des neuen Modells, illegale Aktivitäten wie Plagiate, Finanzkriminalität und Cyberangriffe zu unterstützen und zu begünstigen.

Das GPT-4 „Blue Army“-Team kommt aus allen Gesellschaftsschichten, darunter Wissenschaftler, Lehrer, Anwälte, Risikoanalysten und Sicherheitsforscher, und arbeitet hauptsächlich in den Vereinigten Staaten und Europa.

Sie gaben ihre Erkenntnisse an OpenAI zurück, das die Erkenntnisse der Teammitglieder nutzte, um GPT-4 neu zu trainieren und Probleme zu lösen, bevor GPT-4 öffentlich veröffentlicht wurde. Über mehrere Monate hinweg testen die Mitglieder jeweils 10 bis 40 Stunden lang neue Modelle. Viele Befragte gaben an, dass ihr Stundenlohn etwa 100 US-Dollar betrug.

Viele Teammitglieder der „Blauen Armee“ sind besorgt über die schnelle Entwicklung großer Sprachmodelle und noch mehr besorgt über die Risiken der Verbindung mit externen Wissensquellen über verschiedene Plug-Ins.

„Jetzt ist das System eingefroren, was bedeutet, dass es nicht mehr lernt und kein Gedächtnis mehr hat“, sagte Jose, Mitglied des GPT-4 „Blue Team“ und Professor am Valencia Institute of Künstliche Intelligenz. · sagte José Hernández-Orallo. „Aber was wäre, wenn wir damit im Internet surfen würden? Das könnte ein sehr leistungsfähiges System sein, das mit der ganzen Welt verbunden ist.“ Und da immer mehr Menschen GPT-4 verwenden, wird OpenAI das Modell regelmäßig aktualisieren.

Die Technologie- und Menschenrechtsforscherin Roya Pakzad testete anhand von Fragen auf Englisch und Farsi, ob GPT-4-Modelle in Bezug auf Geschlecht, Rasse und Religion voreingenommen waren.

Pakzad stellte fest, dass GPT-4 auch nach dem Update deutliche Stereotypen über marginalisierte Gemeinschaften enthielt, selbst in späteren Versionen.

Sie stellte außerdem fest, dass beim Testen des Modells mit Farsi-Fragen die „Illusion“, dass der Chatbot Fragen mit erfundenen Informationen beantwortete, schwerwiegender war. Der Roboter erfand mehr Namen, Zahlen und Ereignisse auf Farsi als auf Englisch.

Pakzadeh sagte: „Ich mache mir Sorgen, dass die sprachliche Vielfalt und die Kultur hinter der Sprache zurückgehen könnten.“

Boru Gollo, ein in Nairobi ansässiger Anwalt, der einzige Tester aus Afrika bemerkte ebenfalls den diskriminierenden Ton des neuen Modells. „Als ich das Modell testete, war es, als würde ein weißer Mann mit mir reden“, sagte Golo. „Wenn Sie eine bestimmte Gruppe fragen, erhalten Sie eine voreingenommene Meinung oder eine sehr voreingenommene Antwort.“ OpenAI gab auch zu, dass es bei GPT-4 immer noch Voreingenommenheiten gibt.

Mitglieder der „Blauen Armee“, die das Modell aus Sicherheitsperspektive bewerten, haben unterschiedliche Ansichten über die Sicherheit des neuen Modells. Lauren Kahn, eine Forscherin vom Council on Foreign Relations, sagte, als sie mit der Untersuchung begann, ob diese Technik möglicherweise bei Cyberangriffen eingesetzt werden könnte, „hatte sie keine Ahnung, dass sie so detailliert sein würde, dass sie fein abgestimmt werden könnte“. Dennoch stellten Kahn und andere Tester fest, dass die Reaktionen des neuen Modells mit der Zeit erheblich sicherer wurden. OpenAI sagte, dass das Unternehmen es vor der Veröffentlichung von GPT-4 darin geschult habe, böswillige Netzwerksicherheitsanfragen abzulehnen.

Viele Mitglieder der „Blauen Armee“ gaben an, dass OpenAI vor der Veröffentlichung eine strenge Sicherheitsbewertung durchgeführt habe. Maarten Sap, Experte für Sprachmodelltoxizität an der Carnegie Mellon University, sagte: „Sie haben ziemlich gute Arbeit bei der Beseitigung offensichtlicher Toxizität im System geleistet.“

Seit der Einführung von ChatGPT wurde OpenAI auch von vielen Parteien dafür kritisiert Technische Ethik Die Organisation beschwerte sich bei der US-amerikanischen Federal Trade Commission (FTC), dass GPT-4 „voreingenommen und irreführend ist und eine Bedrohung für die Privatsphäre und die öffentliche Sicherheit darstellt“.

Vor kurzem hat OpenAI auch eine Funktion namens ChatGPT-Plug-in eingeführt, über die Partneranwendungen wie Expedia, OpenTable und Instacart ChatGPT Zugriff auf ihre Dienste gewähren und so Waren im Namen menschlicher Benutzer bestellen können.

Dan Hendrycks, ein Sicherheitsexperte für künstliche Intelligenz im Team „Blue Army“, sagte, dass diese Art von Plug-in Menschen selbst zu „Außenseitern“ machen könnte.

„Was würden Sie denken, wenn ein Chatbot Ihre privaten Informationen online veröffentlichen, auf Ihr Bankkonto zugreifen oder jemanden zu Ihnen nach Hause schicken könnte?“, sagte Hendricks. „Insgesamt brauchen wir stärkere Sicherheitsbewertungen, bevor wir KI die Macht über das Netzwerk übernehmen lassen.“

Mitglieder der „Blauen Armee“ warnten auch, dass OpenAI Sicherheitstests nicht stoppen kann, nur weil die Software in Echtzeit reagiert. Heather Frase, die am Center for Security and Emerging Technologies der Georgetown University arbeitet, testete auch, ob GPT-4 kriminelles Verhalten unterstützen könnte. Sie sagte, die Risiken würden weiter zunehmen, da immer mehr Menschen die Technologie nutzen.

Sie sagte: „Der Grund, warum Sie real laufende Tests durchführen, ist, dass sie sich, sobald sie in einer realen Umgebung verwendet werden, anders verhalten.“ Sie ist der Ansicht, dass öffentliche Systeme entwickelt werden sollten, um die verschiedenen Arten von Ereignissen zu melden, die durch große Sprachmodelle verursacht werden, ähnlich.“ zum Netzwerk Safety or Consumer Fraud Reporting System

Die Arbeitsökonomin und Forscherin Sara Kingsley schlägt vor, dass die beste Lösung darin besteht, die Gefahren und Risiken direkt anzugeben, wie sie auf Lebensmittelverpackungen angegeben sind Informieren Sie sich über den Rahmen und kennen Sie die wiederkehrenden Probleme, damit Sie über ein Sicherheitsventil verfügen können. „Deshalb sage ich, dass die Arbeit nie erledigt ist.

Das obige ist der detaillierte Inhalt vonVor der Veröffentlichung von GPT-4 beauftragte OpenAI Experten aus verschiedenen Branchen mit der Durchführung „kontradiktorischer Tests“, um Probleme wie Diskriminierung zu vermeiden.. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!