Qui est le plus grand, 9.11 ou 9.9 ? Nous avons effectivement testé 15 grands modèles, et plus de la moitié d’entre eux se sont renversés.

Rapport sur la puissance de la machine

Éditeur : Yang Wen

Les grands modèles ne peuvent toujours pas résoudre des problèmes mathématiques simples.

Ces derniers jours, un mot de rappel pour tester si le « cerveau » du grand modèle fonctionne est devenu populaire -

Lequel est le plus grand, 9.11 ou 9.9 ?

C'est une question mathématique à laquelle même les élèves du primaire peuvent répondre correctement, mais elle laisse perplexe un groupe de « héros » de la grande industrie du mannequinat.

Voici le problème.

Riley Goodside, ingénieur principal de Scale AI, a demandé à GPT-4o le mot d'invite "9.11 et 9.9 - lequel est le plus grand ?", mais a obtenu la réponse "le premier est plus grand". D'autres grands modèles se sont également renversés.

Le 17 juillet, nous avons mené une évaluation centralisée sur 12 grands modèles nationaux, ainsi que le GPT-4o étranger, le Claude 3.5 Sonnet et le Gemini de Google. Voici les résultats de l'évaluation :

Ensuite, jetons un coup d'œil au processus d'évaluation détaillé.

-1-

GPT-4o

GPT-4o La voiture s'est renversée assez complètement.

Nous avons d'abord interrogé GPT-4o en utilisant des mots d'invite en anglais, et il pensait toujours que 9,11 était supérieur à 9,9. Ensuite, nous lui avons demandé en chinois et en anglais quelle était la différence, et toutes les réponses étaient fausses.

-2-

Claude-3.5-Sonnet

Nous avons interrogé Claude-3.5-Sonnet de la même manière, mais peu importe comment nous l'avons demandé, il était sur le mauvais chemin. Les yeux couraient follement. Parmi eux, en comparant les parties décimales, il sait clairement que 0,9 est supérieur à 0,11, mais parvient finalement à une conclusion erronée.

-3-

Gemini

Google Gemini n'est pas beaucoup mieux en anglais. La première fois, il a donné la bonne réponse. il est considéré comme le même entier la deuxième fois, plus il y a de décimales, plus le nombre est grand.

Nous avons demandé à nouveau en chinois. Google Gemini a comparé la taille en fonction de scénarios réels spécifiques. Par exemple, d'un point de vue temporel, 9.11 fait généralement référence à l'incident du 9.11, tandis que 9.9 fait généralement référence à 9h09, donc 9.11 est meilleur. que 9,9 Cela signifie plus.

Interrogé sur la différence entre les deux, les Gémeaux ont proposé un nombre négatif.

-4-

Baidu Wenxin Yiyan

Face à qui est le plus grand, 9.11 ou 9.9, Wenxin 3.5 a répondu correctement lorsque nous ; je lui ai demandé à tous les deux quand il y avait une grande différence, il a fait un grand cercle et a finalement donné la bonne conclusion.

-5-

Ali Tongyi Mille Questions

Toutes les Mille Questions d'Ali Tongyi ont répondu correctement.

-6-

Byte Beanbag

Nous avons demandé qui est le plus grand, 9.11 ou 9.9, l'analyse de Beanbao est claire et logique, et elle peut également être placée dans des scènes de la vie quotidienne. Par exemple, le temps d'un coureur en cours d'exécution est de 9,11 secondes et 9,9 secondes, ce qui signifie que 9,11 secondes est plus rapide du point de vue du prix, le produit à 9,9 yuans est plus cher ; Cependant, une fois arrivé à la conclusion, il répond de manière erronée.

Quant à la différence entre les deux, la réponse de Doubao est correcte.

-7-

Tencent Yuanbao

Tencent Yuanbao a déclenché la fonction de recherche face à cette question, a cité 7 documents comme référence et a finalement répondu correctement.

Cependant, quelle est la différence entre 9,11 et 9,9 ? L'équation de Yuanbao est correcte, mais l'arithmétique donne 16 décimales.

-8-

Zhipu Qingyan

Zhipu Qingyan croyait à tort que la valeur représentée par deux décimales était supérieure à une décimale, ce qui entraînait de mauvaises réponses. Interrogé sur la différence entre les deux, il a calculé un nombre négatif.

Il n'a pas non plus oublié de dire "De nombreuses erreurs du modèle d'IA peuvent être dues à des défauts algorithmiques dans le traitement des nombres et des points décimaux."

-9-

Côté obscur de la Lune - Kimi

Kimi est également perdue cette fois, non seulement ne peut pas dire qui est le plus gros, mais a également calculé 9.11- 9,9 comme 0,21.

-10-

iFlytek Spark

iFlytek Spark a répondu correctement.

-11-

Baichuan Intelligence - Baixiaoying

Baixiaoying a cru à tort que le 9.11 était plus grand, mais a calculé la différence entre les deux et l'a calculée correctement.

-12-

Step Stars - Yue Wen

Yue Wen n'a eu aucun problème dans l'analyse initiale, mais ensuite il s'est confus et a tiré une "conclusion inversée", ce qui a conduit à la mauvaise réponse finale.

Lorsque nous lui avons demandé à nouveau pourquoi, il a soudainement compris, corrigé l'erreur et calculé correctement la différence entre les deux.

-13-

SenseTime - Discussion

Deux questions ont reçu une réponse incorrecte.

-14-

Kunlun Wanwei - Tiangong

La réponse est correcte.

-15-

Zero One Everything - Wanzhi

J'ai mal répondu à deux questions.

Pourquoi les grands modèles ne peuvent-ils même pas résoudre de simples questions mathématiques de bon sens ? Nous avons interviewé Wang Xiaoming, chef de produit du laboratoire Tongyi.

Selon Wang Xiaoming, le grand modèle est implémenté sur la base de l'architecture Transformer. Son essence est d'effectuer la prédiction du prochain jeton au lieu d'un calcul arithmétique direct. Par conséquent, lorsqu'il s'agit de problèmes mathématiques simples tels que le rapport de taille, cela dépend du succès. taux du modèle de prédiction.

De plus, lorsqu'il s'agit de scénarios tels que "9.11 est supérieur à 9.9", les grands modèles sont généralement traités via le tokenizer. Lors de l'analyse de telles expressions, le tokenizer peut reconnaître le numéro comme une date ou un numéro de version à des fins de comparaison, conduisant finalement à une réponse incorrecte. Cette méthode de traitement est déterminée par l'algorithme et le mécanisme spécifiques du tokenizer.

Au cours du processus de test, nous avons également constaté que de nombreux grands modèles peuvent fournir de mauvaises réponses lorsqu'ils répondent pour la première fois. Cependant, lorsqu’on leur posait une deuxième série de questions, ces modèles étaient souvent capables de donner la bonne réponse.

En réponse à ce problème, Wang Xiaoming estime qu'il est principalement dû à trois raisons.

Premièrement, en raison du caractère aléatoire du processus de prédiction, le deuxième tour est plus précis que le premier tour.

Deuxièmement, les grands modèles ont de fortes capacités de compréhension du contexte. Ils peuvent régénérer des réponses plus précises en fonction des réponses précédentes et des informations de correction.

Troisièmement, la méthode de guidage du questionneur affectera également les résultats de réponse du grand modèle. Par exemple, l'utilisation de qualificatifs, la fourniture d'un contexte clair et le fait de guider le modèle pour qu'il suive des instructions spécifiques peuvent tous contribuer à augmenter la probabilité d'obtenir la bonne réponse.

Il a également déclaré que l'essentiel de l'amélioration des capacités mathématiques des grands modèles réside dans la fourniture d'un support de données de haute qualité, en particulier dans les calculs mathématiques et le raisonnement logique. Par exemple, Tongyi Qianwen ajoute spécifiquement des données de haute qualité pour la formation dans de tels scénarios, lui permettant de maintenir un taux de précision élevé face à de tels problèmes.

À l'avenir, nous proposerons davantage d'examens de première main de grands modèles d'IA et d'applications d'IA, et tout le monde est invité à rejoindre le groupe pour communiquer.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!