9.11과 9.9 중 누가 더 크나요? 실제로 15개의 대형 모델을 테스트했는데 그 중 절반 이상이 뒤집혔습니다.

기계 출력 보고서

편집자: Yang Wen

대형 모델은 여전히 ​​간단한 수학 문제를 풀 수 없습니다.

요 며칠간 대형 모델 "브레인"이 작동하는지 테스트하는 알림 단어가 인기를 끌었습니다.

9.11과 9.9 중 어느 것이 더 큰가요?

초등학생도 맞힐 수 있는 수학 문제지만, 대형 모델업계의 '영웅' 집단을 당황하게 만드는 문제다.

여기에 문제가 있습니다.

Scale AI의 선임 프롬프트 엔지니어 Riley Goodside는 GPT-4o에게 "9.11과 9.9 중 어느 것이 더 큽니까?"라는 프롬프트 단어를 물었지만 "전자가 더 큽니다"라는 대답을 받았습니다. 다른 대형 모델도 전복됐다.

7월 17일, 국내 대형 모델 12개와 해외 GPT-4o, Claude 3.5 Sonnet, Google Gemini에 대한 중앙 집중 평가를 실시했습니다. 평가 결과는 다음과 같습니다.

다음으로, 자세한 평가 과정을 살펴보겠습니다.

-1-

GPT-4o

GPT-4o 차가 완전히 전복되었습니다.

먼저 GPT-4o에게 영어 프롬프트 단어를 사용하여 질문했는데 여전히 9.11이 9.9보다 크다고 믿었습니다. 그런 다음 중국어와 영어로 그 차이가 얼마나 되는지 물었고 모든 답변이 틀렸습니다.

-2-

Claude-3.5-Sonnet

Claude-3.5-Sonnet

저희도 Claude-3.5-Sonnet에게 같은 방법으로 물어봤는데 어떻게 물어봐도 엉뚱한 길로 가고 있었습니다. 눈이 격렬하게 움직입니다. 그 중 소수 부분을 비교해 보면 0.9가 0.11보다 크다는 것을 분명히 알지만 결국엔 잘못된 결론에 이르게 된다.

-3-

Gemini

Google Gemini는 둘 중 어느 것이 더 큰지 영어로 두 번 물었습니다. 두 번째에도 동일한 정수로 간주되며, 소수 자릿수가 많을수록 숫자가 커집니다.

Google Gemini는 구체적인 실제 시나리오를 바탕으로 크기를 비교했습니다. 예를 들어 시간적 측면에서 9.11은 일반적으로 9.11 사건을 의미하고 9.9는 일반적으로 9:09를 의미하므로 9.11이 더 좋습니다. 9.9보다 더 많은 것을 의미합니다.

둘의 차이점을 묻는 질문에 Gemini는 음수를 내놓았습니다.

🎜🎜🎜

-4-

Baidu Wenxin Yiyan

9.11 또는 9.9 중 누가 더 큰지 보면 Wenxin 3.5가 대답했습니다. 정확하게, 우리가 그것을 물었을 때 둘 다 있었을 때 큰 차이가 있었지만 큰 원을 그리며 마침내 올바른 결론을 내렸습니다.

-5-

Ali Tongyi 천 개의 질문

모든 Ali Tongyi 천 개의 질문이 올바르게 답변되었습니다.

-6-

Byte Beanbag

9.11과 9.9 중 누가 더 크냐고 물었더니 빈바오의 분석이 명료하고 논리적이며 일상생활 장면에도 배치할 수 있습니다. 예를 들어 달리는 주자의 시간은 9.11초와 9.9초로 9.11초가 더 빠르며, 가격 측면에서는 9.9위안 제품이 더 비싸다. 그러나 일단 결론에 이르면 엉뚱한 대답을 하게 됩니다.

둘의 차이점에 대해서는 Doubao님의 답변이 맞습니다.

-7-

Tencent Yuanbao

Tencent Yuanbao는 이 문제에 직면했을 때 검색 기능을 작동시켰고, 7가지 자료를 참고로 인용하여 마침내 정답을 맞췄습니다.

그런데 9.11과 9.9의 차이점은 무엇인가요? Yuanbao 방정식은 정확하지만 연산 결과는 소수점 16자리입니다.

-8-

Zhipu Qingyan

Zhipu Qingyan은 소수점 두 자리로 표시된 값이 소수점 한 자리보다 크다고 잘못 믿어 오답이 나왔습니다. 둘의 차이를 묻자 음수로 계산됐다.

"많은 AI 모델 오류는 숫자와 소수점 처리의 알고리즘 결함으로 인해 발생할 수 있습니다"라는 말도 잊지 않았습니다.

-9-

Dark Side of the Moon - 키미

키미도 이번에도 당황해 누가 더 큰지 알 수 없을 뿐만 아니라 계산도 9.11- 9.9를 0.21로.

-10-

iFlytek Spark

iFlytek Spark가 올바르게 답변했습니다.

-11-

Baixiaoying - Baixiaoying

Baixiaoying은 9.11이 더 크다고 잘못 믿었지만 둘의 차이를 계산하여 정확하게 계산했습니다.

-12-

Step Stars - Yue Wen

Yue Wen tidak mempunyai masalah dalam analisis awal, tetapi kemudian dia keliru dan membuat "kesimpulan pembalikan", yang membawa kepada jawapan akhir yang salah.

Apabila kami bertanya lagi mengapa, tiba-tiba ia memahami, membetulkan kesilapan, dan mengira dengan betul perbezaan antara keduanya.

-13-

SenseTime - Perbincangan

Dua soalan dijawab dengan salah.

-14-

Kunlun Wanwei - Tiangong

Jawapannya betul.

-15-

Zero One Everything - Wanzhi

Menjawab dua soalan dengan salah.

Mengapa model besar tidak dapat menyelesaikan soalan akal matematik yang mudah? Kami menemu bual Wang Xiaoming, pengurus produk Makmal Tongyi.

Menurut Wang Xiaoming, model besar itu dilaksanakan berdasarkan seni bina Transformer Intipatinya adalah untuk melakukan ramalan token seterusnya dan bukannya pengiraan aritmetik langsung Oleh itu, apabila menangani masalah matematik mudah seperti nisbah saiz, ia bergantung kepada kejayaan kadar model ramalan.

Selain itu, apabila berhadapan dengan senario seperti "9.11 lebih besar daripada 9.9", model besar biasanya diproses melalui tokenizer. Apabila menghuraikan ungkapan sedemikian, tokenizer mungkin mengecam nombor itu sebagai tarikh atau nombor versi untuk perbandingan, akhirnya membawa kepada jawapan yang salah. Kaedah pemprosesan ini ditentukan oleh algoritma dan mekanisme khusus tokenizer.

Semasa proses ujian sebenar, kami juga mendapati bahawa banyak model besar mungkin memberikan jawapan yang salah apabila menjawab buat kali pertama. Walau bagaimanapun, apabila ditanya soalan pusingan kedua, model ini selalunya dapat memberikan jawapan yang betul.

Sebagai tindak balas kepada masalah ini, Wang Xiaoming percaya bahawa ia disebabkan terutamanya oleh tiga sebab.

Pertama, disebabkan rawak tertentu dalam proses ramalan, pusingan kedua lebih tepat daripada pusingan pertama.

Kedua, model besar mempunyai keupayaan pemahaman konteks yang kukuh. Mereka boleh menjana semula jawapan yang lebih tepat berdasarkan jawapan dan maklumat pembetulan sebelumnya.

Ketiga, kaedah bimbingan penyoal juga akan mempengaruhi hasil jawapan model besar Contohnya, menggunakan penentu kelayakan, menyediakan konteks yang jelas dan membimbing model untuk mengikut arahan tertentu semuanya boleh membantu meningkatkan kebarangkalian mendapat jawapan yang betul.

Beliau juga berkata bahawa teras untuk meningkatkan keupayaan matematik model besar terletak pada penyediaan sokongan data berkualiti tinggi, terutamanya dalam pengiraan matematik dan penaakulan logik. Sebagai contoh, Tongyi Qianwen secara khusus menambah data berkualiti tinggi untuk latihan dalam senario sedemikian, membolehkannya mengekalkan kadar ketepatan yang tinggi apabila menghadapi masalah sedemikian.

Pada masa hadapan, kami akan membawa lebih banyak ulasan langsung tentang model AI besar dan aplikasi AI, dan semua orang dialu-alukan untuk menyertai kumpulan untuk komunikasi.

위 내용은 9.11과 9.9 중 누가 더 크나요? 실제로 15개의 대형 모델을 테스트했는데 그 중 절반 이상이 뒤집혔습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!