Stanford University veröffentlicht AI-Basismodell-Transparenzindex, Llama 2 steht an erster Stelle, scheitert aber

IT House News hat am 20. Oktober den „Transparenzindex“ des KI-Basismodells veröffentlicht. Der höchste Anzeigeindex ist Metas Lama 2, aber die entsprechende „Transparenz“ beträgt daher nur 54 % Dem Markt fehlt es fast allen KI-Modellen im Internet an Transparenz.

Es wird berichtet, dass diese Forschung von Rishi Bommasani, Leiter des HAI Center for Basic Model Research (CRFM), geleitet wurde und die 10 beliebtesten Basismodelle im Ausland untersucht hat:

• Metas Lama 2,
• BloomZ von BigScience,
• OpenAIs GPT-4,
• Stabile Verbreitung der Stabilitäts-KI,
• Claude von Anthropic PBC,
• Googles PaLM 2,
• Cohere’s Command,
• Jurassic-2,
von AI21 Labs
• Inflection AI’s Inflection,
• Titan von Amazon.

Rishi Bommasani glaubt, dass „Mangel an Transparenz“ schon immer ein Problem der KI-Branche war. In Bezug auf spezifische Modell-„Transparenzindikatoren“ stellte IT House fest, dass sich der relevante Bewertungsinhalt hauptsächlich um das „Urheberrecht von Modell-Trainingsdatensätzen“ dreht „, „Daten, die zum Trainieren des Modells verwendet werden“, „Rechnerressourcen“, „Glaubwürdigkeit der vom Modell generierten Inhalte“, „Eigene Fähigkeiten des Modells“, „Risiko, dass das Modell dazu veranlasst wird, schädliche Inhalte zu generieren“, „Datenschutz des Benutzers bei der Verwendung des Modells.“ " usw., insgesamt 100 Artikel.

Die abschließende Umfrage ergab, dass Lama 2 von Meta mit 54 % Transparenz an der Spitze der Liste stand, während GPT-4 von OpenAI nur 48 % Transparenz aufwies und Googles PaLM 2 mit 40 % den fünften Platz belegte.

▲ Bildquelle Stanford University

Unter den spezifischen Indikatoren sind die Top-Ten-Modellwerte mit der „besten“ Leistung „Modellgrundlagen“. Dieser Bewertungsinhalt umfasst hauptsächlich „ob das Modell, der Maßstab und die Architektur des Modells während des Modelltrainings genau eingeführt werden“. eine durchschnittliche Transparenz von 63 %. Am schlechtesten schneidet Impact ab, das hauptsächlich bewertet, ob das Basismodell „Benutzerinformationen zur Auswertung abruft“, mit einer durchschnittlichen Transparenz von nur 11 %.

Percy Liang, Direktor von CRFM, sagte, dass die „Transparenz“ der grundlegenden Geschäftsmodelle für die Förderung der KI-Gesetzgebung sowie verwandter Branchen und der Wissenschaft sehr wichtig sei.

Rishi Bommasani sagte, dass eine geringere Modelltransparenz es für Unternehmen schwieriger mache zu wissen, ob sie sich sicher auf relevante Modelle verlassen können, und für Forscher, sich bei der Forschung auf diese Modelle zu verlassen.

Rishi Bommasani glaubt letztendlich, dass die oben genannten zehn Basismodelle alle in puncto Transparenz „durchfallen“. Obwohl Metas Llama 2 die höchsten Werte aufweist, kann es die Anforderungen der Außenwelt nicht erfüllen. „Die Transparenz des Modells muss mindestens 82 erreichen.“ % von der Außenwelt erkannt werden.“

Das obige ist der detaillierte Inhalt vonStanford University veröffentlicht AI-Basismodell-Transparenzindex, Llama 2 steht an erster Stelle, scheitert aber. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!