7 月13 日消息,外媒Semianalysis 最近對OpenAI 今年3 月發布的GPT-4 大模型進行了揭秘,其中包括GPT-4 模型架構、訓練和推理的基礎設施、參數量、訓練資料集、token 數、成本、混合專家模型(Mixture of Experts)等具體的參數和資訊。
▲ 圖源 Semianalysis
外媒表示,GPT-4 在120 層中總共包含了1.8 兆參數,而GPT- 3 只有約1750 億個參數。而為了維持合理的成本,OpenAI 採用混合專家模型來進行建構。
IT之家註:混合專家模型(Mixture of Experts)是一種神經網絡,該系統根據資料進行分離訓練多個模型,在各模型輸出後,系統將這些模型整合輸出為一個單獨的任務。
▲ 圖源 Semianalysis
#▲ 圖源 Semianalysis
#據悉,
GPT-4 使用了16 個混合專家模型(mixture of experts),每個有1110億個參數,每次前向傳遞路由經過兩個專家模型。 此外,它有 550 億個共享注意力參數,使用了包含 13 兆 tokens 的資料集訓練,tokens 不是唯一的,根據迭代次數計算為更多的 tokens。
GPT-4 預訓練階段的上下文長度為8k,32k 版本是對8k 微調的結果,訓練成本相當高,外媒表示,8x H100 也無法以每秒33.33 個Token 的速度提供所需的密集參數模型,因此訓練模型需要導致極高的推理成本,以H100 物理機每小時1 美元計算,那麼一次的訓練成本就高達6300 萬美元(約4.51 億元人民幣)。
###對此,###OpenAI 選擇使用雲端的A100 GPU 訓練模型,將最終訓練成本降至2150 萬美元(約1.54 億元)左右,用稍微更長的時間,降低了訓練成本###。 ###以上是GPT-4 模型架構外洩:包含 1.8 兆參數、採用混合專家模型的詳細內容。更多資訊請關注PHP中文網其他相關文章!

AI增強食物準備 在新生的使用中,AI系統越來越多地用於食品製備中。 AI驅動的機器人在廚房中用於自動化食物準備任務,例如翻轉漢堡,製作披薩或組裝SA

介紹 了解Python函數中變量的名稱空間,範圍和行為對於有效編寫和避免運行時錯誤或異常至關重要。在本文中,我們將研究各種ASP

介紹 想像一下,穿過美術館,周圍是生動的繪畫和雕塑。現在,如果您可以向每一部分提出一個問題並獲得有意義的答案,該怎麼辦?您可能會問:“您在講什麼故事?

繼續使用產品節奏,本月,Mediatek發表了一系列公告,包括新的Kompanio Ultra和Dimenty 9400。這些產品填補了Mediatek業務中更傳統的部分,其中包括智能手機的芯片

#1 Google推出了Agent2Agent 故事:現在是星期一早上。作為AI驅動的招聘人員,您更聰明,而不是更努力。您在手機上登錄公司的儀表板。它告訴您三個關鍵角色已被採購,審查和計劃的FO

我猜你一定是。 我們似乎都知道,心理障礙由各種chat不休,這些chat不休,這些chat不休,混合了各種心理術語,並且常常是難以理解的或完全荒謬的。您需要做的一切才能噴出fo

根據本週發表的一項新研究,只有在2022年製造的塑料中,只有9.5%的塑料是由回收材料製成的。同時,塑料在垃圾填埋場和生態系統中繼續堆積。 但是有幫助。一支恩金團隊

我最近與領先的企業分析平台Alteryx首席執行官安迪·麥克米倫(Andy Macmillan)的對話強調了這一在AI革命中的關鍵但不足的作用。正如Macmillan所解釋的那樣,原始業務數據與AI-Ready Informat之間的差距


熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

AI Hentai Generator
免費產生 AI 無盡。

熱門文章

熱工具

MinGW - Minimalist GNU for Windows
這個專案正在遷移到osdn.net/projects/mingw的過程中,你可以繼續在那裡關注我們。 MinGW:GNU編譯器集合(GCC)的本機Windows移植版本,可自由分發的導入函式庫和用於建置本機Windows應用程式的頭檔;包括對MSVC執行時間的擴展,以支援C99功能。 MinGW的所有軟體都可以在64位元Windows平台上運作。

SAP NetWeaver Server Adapter for Eclipse
將Eclipse與SAP NetWeaver應用伺服器整合。

記事本++7.3.1
好用且免費的程式碼編輯器

Dreamweaver Mac版
視覺化網頁開發工具

SublimeText3 Linux新版
SublimeText3 Linux最新版