GoogleGemini的實力究竟如何？卡內基美隆大學進行了一項專業客觀的第三方比較
為保證公平，所有模型使用相同的提示和生成參數，並提供可重複的程式碼和完全透明的結果。
不會像Google官方發表會那樣，用CoT@32比較5-shot了。
一句話結果：Gemini Pro版本接近但略遜於GPT-3.5 Turbo，GPT-4還是遙遙領先。
在深入分析中也發現Gemini一些奇怪特性，例如選擇題喜歡選D##…
- 知識問答：MMLU
- 推理：BIG-Bench Hard
- 數學：GSM8k、SVAMP、ASDIV、MAWPS
- 程式碼：HumanEval、ODEX
- ##翻譯：FLORES
- #上網衝浪：WebArena
- 知識問答：喜歡選D
根據結果可以看出，在這類任務中使用思維鏈提示並不一定能夠提升效果
在MMLU資料集中，所有的題目都是多選題。進一步分析結果後，發現了一個奇怪的現象：Gemini更喜歡選擇D選項
GPT系列在4個選項上的分佈就要平衡很多，團隊提出這可能是
Gemini沒針對多選題做大量指令微調造成的。
另外，Gemini的安全過濾非常嚴格。在涉及道德問題時，它只能回答85%的問題。而在涉及人類性行為相關問題時，它只能回答28%的問題
Gemini Pro在安全研究和高中微觀經濟學方面的表現超過了GPT- 3.5，但差距並不大，團隊表示無法找出任何特別之處
#推理：長問題不擅長
GPT系列在處理更長、更複雜的問題時表現更出色，相較之下，Gemini Pro的表現較為不佳
特別是在長篇問題上，GPT-4 Turbo幾乎沒有效能下降，這表明它具備了理解複雜問題的強大能力
根據問題類型進行分析，Gemini在「追蹤交換物品」這類問題上表現不佳，這類問題涉及人們進行物品交換，最終需要AI判斷每個人擁有哪些物品
Gemini擅長的任務包括理解世界各種體育運動知識、操作符號堆疊、按字母順序排序單字以及解析表格
數學：複雜任務反超
問題本身太長，導致Gemini Pro和GPT-3.5的表現同時下降，只有GPT-4能夠維持一貫的水準
當思維鏈的長度達到最長時，Gemini超過了GPT-3.5
程式碼：擅長matplotlib
對於程式碼問題，Gemini在參考答案較長的問題上表現不佳
#GPT系列在大多數類型中更強大，但在matplotlib方面表現完全不佳
翻譯：只要回答了，品質就很高
在翻譯任務中，Gemini拒絕回答了12種類型的問題，但只要回答了的翻譯品質都非常出色，整體表現超過了GPT-4
#雙子座拒絕翻譯的語言主要涉及拉丁語和阿拉伯語
網路導航：擅長跨站點衝浪
WebArena為AI模擬了一個網路環境，包括電子商務、社交論壇、GitLab協作開發、內容管理系統和線上地圖等。 AI需要在這個環境中尋找資訊或跨站點完成任務
Gemini在整體表現不如GPT-3.5 Turbo，但在跨多個站點的任務中表現稍好。
網友：但是它免費啊
最終，CMU副教授格雷厄姆·紐比格承認了這項研究的一些限制
- #基於API的模型行為可能隨時變化
- 只嘗試了有限數量的提示，對不同模型來說適用的提示詞可能不一樣
- 無法控制測試集是否洩漏
Google大型模型推理團隊的負責人周登勇指出，將Gemini的溫度設定為0可以提高5-10個百分點，對於推理任務非常有幫助
在這項測試中，除了Gemini和GPT系列，還引入了最近備受關注的開源MoE模型Mixtral
不過，強化學習專家Noam Brown認為可以不考慮Mixtral的結果，因為它使用的是第三方API而不是官方實作
Mistral AI創辦人為團隊提供了官方版呼叫權限，他相信這將帶來更好的結果
#雖然Gemini Pro還不及GPT-3.5，但它的優勢在於每分鐘調用不超過60次就可以免費使用
因此，許多個人開發者已經改變了陣營
目前Gemini的最高版本Ultra版尚未發布，屆時CMU團隊也打算繼續進行這項研究
你認為雙子座Ultra能夠達到GPT-4的水平嗎？
本文詳細介紹了論文：https://arxiv.org/abs/2312.11444
參考連結：
#[1]https://twitter.com/gneubig/status/17371089777954251216。
以上是CMU進行詳細比較研究，發現GPT-3.5比Gemini Pro更優，確保公平透明可重複性的詳細內容。更多資訊請關注PHP中文網其他相關文章！
谷歌三件套指的是哪三个软件Sep 30, 2022 pm 01:54 PM谷歌三件套指的是：1、google play商店，即下载各种应用程序的平台，类似于移动助手，安卓用户可以在商店下载免费或付费的游戏和软件；2、Google Play服务，用于更新Google本家的应用和Google Play提供的其他第三方应用；3、谷歌服务框架（GMS），是系统软件里面可以删除的一个APK程序，通过谷歌平台上架的应用和游戏都需要框架的支持。
为什么中国不卖google手机Mar 30, 2023 pm 05:31 PM中国不卖google手机的原因：谷歌已经全面退出中国市场了，所以不能在中国销售，在国内是没有合法途径销售。在中国消费市场中，消费者大都倾向于物美价廉以及功能实用的产品，所以竞争实力本就因政治因素大打折扣的谷歌手机主体市场一直不在中国大陆。
谷歌超强AI超算碾压英伟达A100！TPU v4性能提升10倍，细节首次公开Apr 07, 2023 pm 02:54 PM虽然谷歌早在2020年，就在自家的数据中心上部署了当时最强的AI芯片——TPU v4。但直到今年的4月4日，谷歌才首次公布了这台AI超算的技术细节。论文地址：https://arxiv.org/abs/2304.01433相比于TPU v3，TPU v4的性能要高出2.1倍，而在整合4096个芯片之后，超算的性能更是提升了10倍。另外，谷歌还声称，自家芯片要比英伟达A100更快、更节能。与A100对打，速度快1.7倍论文中，谷歌表示，对于规模相当的系统，TPU v4可以提供比英伟达A100强1.
LLM之战，谷歌输了！越来越多顶尖研究员跳槽OpenAIApr 07, 2023 pm 05:48 PM前几天，谷歌差点遭遇一场公关危机，Bert一作、已跳槽OpenAI的前员工Jacob Devlin曝出，Bard竟是用ChatGPT的数据训练的。随后，谷歌火速否认。而这场争议，也牵出了一场大讨论：为什么越来越多Google顶尖研究员跳槽OpenAI？这场LLM战役它还能打赢吗？知友回复莱斯大学博士、知友「一堆废纸」表示，其实谷歌和OpenAI的差距，是数据的差距。「OpenAI对LLM有强大的执念，这是Google这类公司完全比不上的。当然人的差距只是一个方面，数据的差距以及对待数据的态度才
谷歌并未放弃TensorFlow，将于2023年发布新版，明确四大支柱Apr 12, 2023 am 11:52 AM2015 年，谷歌大脑开放了一个名为「TensorFlow」的研究项目，这款产品迅速流行起来，成为人工智能业界的主流深度学习框架，塑造了现代机器学习的生态系统。从那时起，成千上万的开源贡献者以及众多的开发人员、社区组织者、研究人员和教育工作者等都投入到这一开源软件库上。然而七年后的今天，故事的走向已经完全不同：谷歌的 TensorFlow 失去了开发者的拥护。因为 TensorFlow 用户已经开始转向 Meta 推出的另一款框架 PyTorch。众多开发者都认为 TensorFlow 已经输掉
四分钟对打300多次，谷歌教会机器人打乒乓球Apr 10, 2023 am 09:11 AM让一位乒乓球爱好者和机器人对打，按照机器人的发展趋势来看，谁输谁赢还真说不准。机器人拥有灵巧的可操作性、腿部运动灵活、抓握能力出色…… 已被广泛应用于各种挑战任务。但在与人类互动紧密的任务中，机器人的表现又如何呢？就拿乒乓球来说，这需要双方高度配合，并且球的运动非常快速，这对算法提出了重大挑战。在乒乓球比赛中，首要的就是速度和精度，这对学习算法提出了很高的要求。同时，这项运动具有高度结构化（具有固定的、可预测的环境）和多智能体协作（机器人可以与人类或其他机器人一起对打）两大特点，使其成为研究人
参数少量提升，性能指数爆发！谷歌：大语言模型暗藏「神秘技能」Apr 11, 2023 pm 11:16 PM由于可以做一些没训练过的事情，大型语言模型似乎具有某种魔力，也因此成为了媒体和研究员炒作和关注的焦点。当扩展大型语言模型时，偶尔会出现一些较小模型没有的新能力，这种类似于「创造力」的属性被称作「突现」能力，代表我们向通用人工智能迈进了一大步。如今，来自谷歌、斯坦福、Deepmind和北卡罗来纳大学的研究人员，正在探索大型语言模型中的「突现」能力。解码器提示的 DALL-E神奇的「突现」能力自然语言处理（NLP）已经被基于大量文本数据训练的语言模型彻底改变。扩大语言模型的规模通常会提高一系列下游N
超5800亿美元！微软谷歌神仙打架，让英伟达市值飙升，约为5个英特尔Apr 11, 2023 pm 04:31 PMChatGPT在手，有问必答。你可知，与它每次对话的计算成本简直让人泪目。此前，分析师称ChatGPT回复一次，需要2美分。要知道，人工智能聊天机器人所需的算力背后烧的可是GPU。这恰恰让像英伟达这样的芯片公司豪赚了一把。2月23日，英伟达股价飙升，使其市值增加了700多亿美元，总市值超5800亿美元，大约是英特尔的5倍。在英伟达之外，AMD可以称得上是图形处理器行业的第二大厂商，市场份额约为20%。而英特尔持有不到1%的市场份额。ChatGPT在跑，英伟达在赚随着ChatGPT解锁潜在的应用案
熱AI工具
Undresser.AI Undress
人工智慧驅動的應用程序，用於創建逼真的裸體照片
AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。
Undress AI Tool
免費脫衣圖片
Clothoff.io
AI脫衣器
AI Hentai Generator
免費產生 AI 無盡。
熱門文章
熱工具
Dreamweaver CS6
視覺化網頁開發工具
SecLists
SecLists是最終安全測試人員的伙伴。它是一個包含各種類型清單的集合，這些清單在安全評估過程中經常使用，而且都在一個地方。 SecLists透過方便地提供安全測試人員可能需要的所有列表，幫助提高安全測試的效率和生產力。清單類型包括使用者名稱、密碼、URL、模糊測試有效載荷、敏感資料模式、Web shell等等。測試人員只需將此儲存庫拉到新的測試機上，他就可以存取所需的每種類型的清單。
Safe Exam Browser
Safe Exam Browser是一個安全的瀏覽器環境，安全地進行線上考試。該軟體將任何電腦變成一個安全的工作站。它控制對任何實用工具的訪問，並防止學生使用未經授權的資源。
EditPlus 中文破解版
體積小，語法高亮，不支援程式碼提示功能
mPDF
mPDF是一個PHP庫，可以從UTF-8編碼的HTML產生PDF檔案。原作者Ian Back編寫mPDF以從他的網站上「即時」輸出PDF文件，並處理不同的語言。與原始腳本如HTML2FPDF相比，它的速度較慢，並且在使用Unicode字體時產生的檔案較大，但支援CSS樣式等，並進行了大量增強。支援幾乎所有語言，包括RTL（阿拉伯語和希伯來語）和CJK（中日韓）。支援嵌套的區塊級元素（如P、DIV），
