首頁  >  文章  >  科技週邊  >  開源模型首勝GPT-4!競技場最新戰報引熱議,Karpathy:這是我唯二信任的榜單

開源模型首勝GPT-4!競技場最新戰報引熱議,Karpathy:這是我唯二信任的榜單

王林
王林轉載
2024-04-10 15:16:14714瀏覽

能打得過GPT-4的開源模型出現了!

大模型競技場最新戰報:

1040億參數開源模型Command R 攀升至第6位,與GPT-4-0314打成平手,超過了GPT-4-0613。

開源模型首勝GPT-4!競技場最新戰報引熱議,Karpathy:這是我唯二信任的榜單圖片

這也是第一個在大模型競技場上擊敗GPT-4的開放權重模型。

大模型競技場,可是大神Karpathy口中唯二信任的測試基準之一。

開源模型首勝GPT-4!競技場最新戰報引熱議,Karpathy:這是我唯二信任的榜單圖片

Command R 來自AI獨角獸Cohere。這家大模型新創公司的共同創辦人兼CEO,正是Transformer最年輕作者Aidan Gomez(簡稱割麥子)。

開源模型首勝GPT-4!競技場最新戰報引熱議,Karpathy:這是我唯二信任的榜單圖片

這份戰報一出,又掀起了一波大模型社群的熱烈討論。

大傢伙兒興奮的理由很簡單:基礎大模型捲了一整年,沒想到在2024年格局還在不斷地發展變化。

HuggingFace聯合創始人Thomas Wolf就說:

最近大模型競技場上的情況發生了巨大的變化:

Anthropic的Claude 3 opus在閉源模型中獨佔鰲頭。

Cohere的Command R 則成為了開源模型中最強的者。

沒想到,2024年在開源和閉源兩條路線上,人工智慧團隊的發展都如此之快。

開源模型首勝GPT-4!競技場最新戰報引熱議,Karpathy:這是我唯二信任的榜單圖片

另外,Cohere機器學習總監Nils Reimers也指出了值得關注的一點:

Command R 最大的特色是對內建RAG(檢索增強生成)進行了全面優化,而在大模型競技場中,RAG這樣的外掛能力並未納入測試。

開源模型首勝GPT-4!競技場最新戰報引熱議,Karpathy:這是我唯二信任的榜單圖片

RAG優化模型登上開源王座

在Cohere官方定位中,Command R 是一個“RAG優化模型” 。

就是說,這個1040億參數的大模型主要針對檢索增強生成技術進行了深度優化,以減少幻覺的產生,更適合企業級工作負載。

和先前推出的Command R一樣,Command R 的上下文視窗長度是128k。

此外,Command R 還具備以下特點:

  • 涵蓋10 種語言,包括英文、中文、法文、德文等;
  • 能使用工具完成複雜業務流程的自動化

從測試結果來看,在多語言、RAG和工具使用這三個維度上,Command R 都達到了GPT-4 turbo的水平。

但在輸入成本方面,Command R 的價格僅為GPT-4 turbo的1/3。

輸出成本方面,Command R 則是GPT-4 turbo的1/2。

開源模型首勝GPT-4!競技場最新戰報引熱議,Karpathy:這是我唯二信任的榜單圖片

正是這點引發了不少網友的關注:

開源模型首勝GPT-4!競技場最新戰報引熱議,Karpathy:這是我唯二信任的榜單圖片

#不過,儘管在大模型競技場這種人類主觀評測上表現搶眼,還是有網友甩出了一些不同觀點。

在HumanEval上,Command R 的程式碼能力就連GPT-3.5都沒打過,在兩組測驗中分別排在32位和33位。

最新版GPT-4 turbo則沒有懸念地拿下了第一名。

開源模型首勝GPT-4!競技場最新戰報引熱議,Karpathy:這是我唯二信任的榜單圖片

另外,我們也在最近剛登上正經論文的弱智吧benchmark上簡單測試了一下Command R 的中文能力。

開源模型首勝GPT-4!競技場最新戰報引熱議,Karpathy:這是我唯二信任的榜單圖片

你給打個分?

要說明的是,Command R 的開源只針對學術研究,並不能免費商用。

One More Thing

最後的最後,還是多聊一嘴割麥小哥。

Aidan Gomez,Transformer圓桌騎士中最年輕的一位,加入研究團隊時只是個本科生-

不過,是在多倫多大學讀大三時就加入了Hinton實驗室的那種。

2018年,割麥子被牛津大學錄取,開始像他的論文搭訕們那樣攻讀CS博士學位。

但在2019年,隨著Cohere的創立,他最終選擇退學加入AI創業的浪潮。

Cohere主要是為企業提供大模型解決方案,目前估值達到了22億美元。

參考連結:
[1]https://www.php.cn/link/3be14122a3c78d9070cae09a16adcbb1[2]https://www.php.cn/ link/93fc5aed8c051ce4538e052cfe9f8692

以上是開源模型首勝GPT-4!競技場最新戰報引熱議,Karpathy:這是我唯二信任的榜單的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述:
本文轉載於:51cto.com。如有侵權,請聯絡admin@php.cn刪除