Eine neue Apple-Studie zeigt, dass das KI-Denken kritische Mängel aufweist

Es ist keine Überraschung, dass KI nicht immer alles richtig macht. Gelegentlich kommt es sogar zu Halluzinationen. Eine aktuelle Studie von Apple-Forschern hat jedoch noch schwerwiegendere Mängel in den mathematischen Modellen aufgezeigt, die von KI für formale Schlussfolgerungen verwendet werden.

✕ Werbung entfernen

Im Rahmen der Studie forderten Apple-Wissenschaftler ein AI Large Language Model (LLM) stellten mehrmals und auf leicht unterschiedliche Weise eine Frage und waren erstaunt, als sie feststellten, dass das LLM unerwartete Variationen bei den Antworten bot. Diese Unterschiede traten am deutlichsten hervor, wenn es um Zahlen ging.

Apples Studie weist auf große Probleme mit der Zuverlässigkeit der KI hin

Die von arxiv.org veröffentlichte Studie kam zu dem Schluss, dass es „erhebliche Leistungsschwankungen zwischen den Unternehmen“ gab Verschiedene Instanziierungen derselben Frage stellen eine Herausforderung für die Zuverlässigkeit aktueller GSM8K-Ergebnisse dar, die auf Einzelpunktgenauigkeitsmetriken basieren.“ GSM8K ist ein Datensatz, der über 8000 verschiedene Mathematikfragen und -antworten für Grundschulkinder enthält.

✕ Werbung entfernen

Apple-Forscher haben festgestellt, dass die Abweichung bei dieser Leistung bis zu 10 % betragen könnte. Und selbst geringfügige Abweichungen bei den Eingabeaufforderungen können enorme Probleme mit der Zuverlässigkeit der LLM-Antworten verursachen.

Mit anderen Worten: Sie möchten Ihre Antworten möglicherweise jedes Mal auf Fakten überprüfen, wenn Sie etwas wie ChatGPT verwenden. Denn auch wenn es manchmal so aussieht, als würde KI Logik verwenden, um Ihnen Antworten auf Ihre Anfragen zu geben, wird doch nicht Logik verwendet.

KI verlässt sich stattdessen auf Mustererkennung, um Antworten auf Aufforderungen zu geben. Die Apple-Studie zeigt jedoch, wie die Änderung selbst einiger unwichtiger Wörter diese Mustererkennung verändern kann.

Ein Beispiel für die dargestellte kritische Varianz entstand durch ein Problem beim Sammeln von Kiwis über mehrere Tage hinweg. Apple-Forscher führten ein Kontrollexperiment durch und fügten dann einige unbedeutende Informationen zur Kiwigröße hinzu.

✕ Werbung entfernen

Sowohl Meta- als auch OpenAI-Modelle zeigten Probleme

Metas Llama und OpenAIs o1, änderten dann ihre Antworten auf das Problem gegenüber der Kontrolle, obwohl die Daten zur Kiwigröße keinen spürbaren Einfluss auf den Ausgang des Problems hatten. Auch der GPT-4o von OpenAI hatte Probleme mit seiner Leistung, als er winzige Variationen in den an das LLM übergebenen Daten einführte.

Da LLMs in unserer Kultur immer mehr an Bedeutung gewinnen, weckt diese Nachricht große Bedenken darüber, ob wir der KI vertrauen können um genaue Antworten auf unsere Anfragen zu geben. Besonders bei Themen wie Finanzberatung. Dies verstärkt auch die Notwendigkeit, die Informationen, die Sie erhalten, bei der Verwendung großer Sprachmodelle genau zu überprüfen.

Das bedeutet, dass Sie kritisch denken und sorgfältig prüfen sollten, anstatt sich blind auf KI zu verlassen. Wenn Sie jedoch jemand sind, der regelmäßig KI nutzt, wussten Sie das wahrscheinlich bereits.

✕ Entfernen Sie Werbung

Das obige ist der detaillierte Inhalt vonEine neue Apple-Studie zeigt, dass das KI-Denken kritische Mängel aufweist. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!