Wer ist größer, 9,11 oder 9,9? Wir haben tatsächlich 15 große Modelle getestet und mehr als die Hälfte davon ist umgekippt.

Maschinenleistungsbericht

Herausgeber: Yang Wen

Die großen Modelle können einfache mathematische Probleme immer noch nicht lösen.

In den letzten Tagen ist ein Erinnerungswort populär geworden, um zu testen, ob das große Modell „Gehirn“ funktioniert –

Welches ist größer, 9.11 oder 9.9?

Das ist eine Mathe-Frage, die sogar Grundschüler richtig beantworten können, die aber eine Gruppe von „Helden“ in der großen Modellbranche verblüfft.

Hier ist es.

Riley Goodside, leitender Prompt-Ingenieur von Scale AI, fragte GPT-4o nach dem Prompt-Wort „9,11 und 9,9 – was ist größer?“, erhielt aber die Antwort „Ersteres ist größer“. Auch andere große Modelle überschlugen sich.

Am 17. Juli führten wir eine zentrale Bewertung von 12 großen inländischen Modellen sowie ausländischen GPT-4o, Claude 3.5 Sonnet und Googles Gemini durch. Im Folgenden sind die Bewertungsergebnisse aufgeführt:

Als nächstes werfen wir einen Blick auf den detaillierten Bewertungsprozess.

-1-

GPT-4o

GPT-4o Das Auto überschlug sich ziemlich komplett.

Wir haben GPT-4o zuerst mit englischen Eingabeaufforderungen gefragt, und es glaubte immer noch, dass 9,11 größer als 9,9 sei. Dann haben wir auf Chinesisch und Englisch gefragt, wie groß der Unterschied sei, und alle Antworten waren falsch.

-2-

Claude-3.5-Sonnet

Wir haben Claude-3.5-Sonnet auf die gleiche Weise gefragt, aber egal wie wir gefragt haben, es war auf dem falschen Weg. Die Augen laufen wild. Unter ihnen weiß man beim Vergleich der Dezimalteile eindeutig, dass 0,9 größer als 0,11 ist, kommt aber am Ende immer noch zu einer falschen Schlussfolgerung.

-3-

Gemini ist nicht viel besser. Ich habe zweimal auf Englisch gefragt, welches von beiden größer ist. Aber wann Beim zweiten Mal wird sie als dieselbe ganze Zahl betrachtet. Je mehr Dezimalstellen vorhanden sind, desto größer ist die Zahl.

Wir haben erneut auf Chinesisch nachgefragt. Google Gemini hat die Größe anhand konkreter realer Szenarien verglichen. Beispielsweise bezieht sich 9,11 normalerweise auf den Vorfall von 9,11, während sich 9,9 normalerweise auf 9:09 bezieht, also ist 9,11 besser als 9,9 Das bedeutet mehr.

Auf die Frage nach dem Unterschied zwischen den beiden antworteten Zwillinge mit einer negativen Zahl.

-4-

Baidu Wenxin Yiyan

Wenn es darum geht, wer größer ist, 9,11 oder 9,9, Wenxin. 3,5 antwortete richtig; als wir beide fragten, wann es war ein großer Unterschied, es drehte sich im großen Kreis und ergab schließlich die richtige Schlussfolgerung.

-5-

Ali Tongyi Tausend Fragen

Alle Ali Tongyi Tausend Fragen richtig beantwortet.

-6-

Byte Beanbag

Wir haben gefragt, wer größer ist, 9,11 oder 9,9. Beanbaos Analyse ist klar und logisch und kann auch in Szenen des täglichen Lebens platziert werden. Beispielsweise beträgt die Zeit eines Läufers 9,11 Sekunden und 9,9 Sekunden, was bedeutet, dass 9,11 Sekunden aus preislicher Sicht schneller sind; das 9,9-Yuan-Produkt ist teurer. Sobald es jedoch zum Schluss kommt, antwortet es falsch.

Was den Unterschied zwischen den beiden betrifft, ist Doubaos Antwort richtig.

-7-

Tencent Yuanbao

Tencent Yuanbao löste bei dieser Frage die Suchfunktion aus, nannte 7 Materialien als Referenz und antwortete schließlich richtig.

Was ist jedoch der Unterschied zwischen 9,11 und 9,9? Die Yuanbao-Gleichung ist korrekt, aber die Arithmetik ergibt 16 Dezimalstellen.

-8-

Zhipu Qingyan

Zhipu Qingyan glaubte fälschlicherweise, dass der durch zwei Dezimalstellen dargestellte Wert größer als eine Dezimalstelle sei, was zu falschen Antworten führte. Auf die Frage nach der Differenz zwischen beiden wurde eine negative Zahl berechnet.

Es wurde auch nicht vergessen zu sagen: „Viele KI-Modellfehler können auf algorithmische Fehler bei der Verarbeitung von Zahlen und Dezimalstellen zurückzuführen sein.“

-9-

Dark Side of the Moon - Kimi

Kimi ist dieses Mal auch ratlos, kann nicht nur nicht sagen, wer größer ist, sondern hat auch 9,11 berechnet- 9,9 wie 0,21.

-10-

iFlytek Spark

iFlytek Spark hat richtig geantwortet.

-11-

Baichuan Intelligence - Baixiaoying

Baixiaoying glaubte fälschlicherweise, dass 9,11 größer sei, berechnete aber die Differenz zwischen den beiden und berechnete sie richtig.

-12-

Step Stars - Yue Wen

Yue Wen hatte in der ersten Analyse kein Problem, aber dann geriet er in Verwirrung und zog eine „Umkehrschlussfolgerung“, die zur falschen Endantwort führte.

Als wir es noch einmal fragten, warum, verstand es plötzlich, korrigierte den Fehler und berechnete die Differenz zwischen den beiden richtig.

-13-

SenseTime - Diskussion

Zwei Fragen wurden falsch beantwortet.

-14-

Kunlun Wanwei - Tiangong

Die Antwort ist richtig.

-15-

Zero One Everything - Wanzhi

Zwei Fragen falsch beantwortet.

Warum können die großen Modelle nicht einmal einfache mathematische Fragen des gesunden Menschenverstandes lösen? Wir haben Wang Xiaoming, Produktmanager des Tongyi Laboratory, interviewt.

Laut Wang Xiaoming wird das große Modell auf der Grundlage der Transformer-Architektur implementiert. Sein Kern besteht darin, eine nächste Token-Vorhersage statt einer direkten arithmetischen Berechnung durchzuführen. Daher kommt es bei der Behandlung einfacher mathematischer Probleme wie dem Größenverhältnis auf den Erfolg an Rate des Vorhersagemodells.

Darüber hinaus werden bei Szenarien wie „9.11 ist größer als 9.9“ große Modelle normalerweise über den Tokenizer verarbeitet. Beim Parsen solcher Ausdrücke erkennt der Tokenizer die Zahl möglicherweise zum Vergleich als Datum oder Versionsnummer, was letztendlich zu einer falschen Antwort führt. Diese Verarbeitungsmethode wird durch den spezifischen Algorithmus und Mechanismus des Tokenizers bestimmt.

Während des eigentlichen Testprozesses haben wir außerdem festgestellt, dass viele große Modelle bei der ersten Beantwortung möglicherweise falsche Antworten liefern. Bei einer zweiten Fragerunde konnten diese Modelle jedoch häufig die richtige Antwort geben.

Als Reaktion auf dieses Problem glaubt Wang Xiaoming, dass es hauptsächlich drei Gründe hat.

Erstens ist die zweite Runde aufgrund der gewissen Zufälligkeit im Vorhersageprozess genauer als die erste Runde.

Zweitens verfügen große Modelle über starke Kontextverständnisfähigkeiten. Sie können basierend auf früheren Antworten und Korrekturinformationen genauere Antworten generieren.

Drittens wirkt sich auch die Anleitungsmethode des Fragestellers auf die Antwortergebnisse des großen Modells aus. Beispielsweise können die Verwendung von Qualifikationsmerkmalen, die Bereitstellung eines klaren Kontexts und die Anleitung des Modells zur Befolgung spezifischer Anweisungen dazu beitragen, die Wahrscheinlichkeit zu erhöhen, die richtige Antwort zu erhalten.

Er sagte auch, dass der Kern der Verbesserung der mathematischen Fähigkeiten großer Modelle in der Bereitstellung hochwertiger Datenunterstützung liegt, insbesondere bei mathematischen Berechnungen und logischem Denken. Tongyi Qianwen fügt beispielsweise speziell hochwertige Daten für das Training in solchen Szenarien hinzu, sodass bei der Bewältigung solcher Probleme eine hohe Genauigkeitsrate aufrechterhalten werden kann.

In Zukunft werden wir weitere Rezensionen aus erster Hand zu großen KI-Modellen und KI-Anwendungen veröffentlichen, und jeder ist herzlich willkommen, sich der Gruppe zur Kommunikation anzuschließen.

Das obige ist der detaillierte Inhalt vonWer ist größer, 9,11 oder 9,9? Wir haben tatsächlich 15 große Modelle getestet und mehr als die Hälfte davon ist umgekippt.. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!