搜尋
首頁科技週邊人工智慧谷歌將視覺遷移模型參數擴展到220億,自ChatGPT火爆後研究者集體行動

與自然語言處理類似,對預訓練視覺主幹的遷移提高了模型在各種視覺任務上的表現。更大的資料集、可擴展的架構和新的訓練方法都推動了模型效能的提升。

然而,視覺模型仍然遠遠落後於語言模型。具體來說,迄今為止最大的視覺模型 ViT 只有 4B 參數,而入門級語言模型通常超過 10B 參數,更別說具有 540B 參數的大型語言模型。

為了探索AI 模型的性能極限,Google Research 最近在CV 領域的一項研究,率先將Vision Transformer 參數量擴展到了22B,提出ViT-22B,與之前類似的模型參數量4B 相比,可以說這是迄今為止最大的稠密型ViT 模型。

谷歌將視覺遷移模型參數擴展到220億,自ChatGPT火爆後研究者集體行動

論文網址:https://arxiv.org/pdf/2302.05442.pdf

#對比之前最大的ViT- G 和ViT-e,表1 給出了比較結果,由下表可得,ViT-22B 主要是擴展了模型的寬度,使得參數量更大,深度和ViT-G 一樣。

谷歌將視覺遷移模型參數擴展到220億,自ChatGPT火爆後研究者集體行動

目前的ViT 大模型

正如這位知乎網友所說,難道是谷歌在ChatGPT 上輸了一局,勢必要在CV 領域爭口氣?

谷歌將視覺遷移模型參數擴展到220億,自ChatGPT火爆後研究者集體行動

如何做到的?原來研究早期,他們發現在擴展 ViT 的過程中,出現了訓練不穩定性,並且可能會帶來架構變化。然後研究人員仔細設計模型,並以前所未有的效率實現模型並行訓練。 ViT-22B 的品質是透過一套全面的任務來評估的,從(少樣本)分類到密集輸出任務,在這些任務中,它達到或超過了當前 SOTA 水平。例如,即使用作凍結的視覺特徵提取器,ViT-22B 在 ImageNet 上的準確率也達到了 89.5%。透過訓練 text tower 來匹配這些視覺特徵,它在 ImageNet 上實現了 85.9% 的零樣本設定準確率。此外,該模型可以看作是一個教師,用作蒸餾目標,研究人員訓練了一個 ViT-B 學生模型,在 ImageNet 上的準確率為 88.6%,達到了此類規模模型上 SOTA 水平。

模型架構

ViT-22B 是基於Transformer 的編碼器模型,類似於原始Vision Transformer 架構,但包含以下三個主要修改,以提高效率和大規模訓練的穩定性:平行層、查詢/ 鍵(QK)歸一化和omitted biases。

並行層。如同Wang 和Komatsuzaki 研究所述,該研究設計了一個Attention 和MLP 並行結構:

谷歌將視覺遷移模型參數擴展到220億,自ChatGPT火爆後研究者集體行動

#這可以透過組合MLP 和注意力塊的線性投影來實現額外的並行化。值得注意的是,用於查詢 / 鍵 / 值投影的矩陣乘法和 MLP 的第一線性層被融合到一個單獨的操作中,對於 MLP 的注意力外投影和第二層線性層也是如此。

QK 歸一化。訓練大模型的一個困難是模型的穩定性,在將 ViT 擴展的過程中,研究人員發現在數千輪的 step 後訓練損失呈發散性。特別是在 8B 參數的模型中這種現象特別突出。為了穩定模型訓練,研究人員採用 Gilmer 等人的方法,在點積注意力計算之前對查詢和鍵應用 LayerNorm 歸一化操作,以提升訓練的穩定性。具體來說,注意力權重計算為:#

谷歌將視覺遷移模型參數擴展到220億,自ChatGPT火爆後研究者集體行動

omitted biases。在 PaLM 之後,偏置項從 QKV 投影中移除,並且所有的 Layernorm 都在沒有偏壓的情況下應用,從而提高了加速器的利用率 (3%),且品質沒有下降。然而,與 PaLM 不同的是,研究人員對 MLP 密集層使用了偏置項,即便如此,這種方式在兼顧品質的同時,速度並沒有下降。 

圖 2 展示了一個 ViT-22B 編碼器區塊。嵌入層在原有 ViT 的基礎上進行了 patch 提取、線性投影和添加位置嵌入等操作。研究人員使用多頭注意力池化來聚合頭中的每個 token 表示。

谷歌將視覺遷移模型參數擴展到220億,自ChatGPT火爆後研究者集體行動

ViT-22B 使用 14 × 14 的 patch,影像解析度為 224 × 224。 ViT-22B 採用了一種學習到的一維位置嵌入。在對高解析度影像進行微調期間,研究人員根據預訓練的位置嵌入在原始影像中的位置執行二維插值。

訓練基礎設施與效率

ViT-22B 使用 FLAX 函式庫,實作方式是 JAX,並在 Scenic 中建置。它同時利用了模型和資料並行性。值得一提的是,研究人員使用了 jax. xmap API,它提供了對所有中間體的分片(例如權重和激活)以及晶片間通信的明確控制。研究人員將晶片組織成大小為 t × k 的 2D 邏輯網格,其中 t 是資料平行軸的大小,k 是模型軸的大小。然後,對於 t 組中的每個組,k 個設備獲得相同批次的圖像,每個設備只保留 1/k 的激活,並負責計算所有線性層輸出的 1/k(詳細內容如下)。

谷歌將視覺遷移模型參數擴展到220億,自ChatGPT火爆後研究者集體行動

#圖3:非同步並行線性操作(y = Ax):跨裝置的重疊通訊與計算的模型並行矩陣乘法。

非同步並行線性運算。為了最大限度地提高吞吐量,必須考慮計算和通訊。也就是說,如果希望這些操作在分析上等效於未分片的情況,就必須盡可能少地進行通信,理想情況下讓它們重疊,這樣就可以保持矩陣乘法單元(FLOP 的大部分容量所在)始終處於繁忙狀態。

參數分片。該模型在第一個軸上是資料並行的。每個參數可以在這個軸上完全複製,也可以讓每個裝置保存它的一個區塊。研究人員選擇從模型參數中分割一些大張量,以便能夠擬合更大的模型和批次大小。

使用這些技術,ViT-22B 在 TPUv4 上訓練期間,每個核心每秒處理 1.15k token。 ViT-22B 的模型 flops 利用率(MFU)為 54.9%,顯示硬體的使用非常有效。請注意,PaLM 報告的 MFU 為 46.2%,而研究人員在相同硬體上為 ViT-e(僅數據並行)測量的 MFU 為 44.0%。

實驗結果

實驗探討了 ViT-22B 用於影像分類的評估結果。

表 2 結果顯示,ViT-22B 在各種指標上仍有顯著的改善。此外,研究表明,像 ViT-22B 這樣的大型模型的 Linear probing 可以接近或超過具有高分辨率的小型模型的 full fine-tuning 性能,通常成本更小、更容易做到。

谷歌將視覺遷移模型參數擴展到220億,自ChatGPT火爆後研究者集體行動

研究進一步在細粒度分類資料集iNaturalist 2017 上測試線性可分離性,將ViT-22B 與其他ViT 變體進行比較。研究測試了 224px 和 384px 的輸入解析度。結果如圖 4。研究觀察到 ViT-22B 明顯優於其他 ViT 變體,特別是在標準的 224px 輸入解析度下。這表明 ViT-22B 中大量的參數對於從圖像中提取詳細資訊是有用的。

谷歌將視覺遷移模型參數擴展到220億,自ChatGPT火爆後研究者集體行動

表 3 顯示了 ViT-22B 對 CLIP、ALIGN、BASIC、CoCa、LiT 模型的零樣本遷移結果。表 3 底部比較了三個 ViT 模型效能。

在所有的 ImageNet 測試集中,ViT-22B 取得了相當或更好的結果。值得注意的是,ObjectNet 測試集上的零樣本結果與 ViT 模型大小高度相關。最大的 ViT-22B 將新的 SOTA 設定在具有挑戰性的 ObjectNet 測試集中。

谷歌將視覺遷移模型參數擴展到220億,自ChatGPT火爆後研究者集體行動

Out-of-distribution (OOD)。研究建立了一個從 JFT 到 ImageNet 的標籤映射,以及從 ImageNet 到不同分佈外資料集的標籤映射,即 ObjectNet、ImageNet-v2、ImageNet- R 和 ImageNet- A。

目前可以確認的結果是,與 ImageNet 上的改進一致,擴展模型增加了分佈外性能。這適用於只看過 JFT 影像的模型,以及在 ImageNet 上進行微調的模型。在這兩種情況下,ViT-22B 在更大的模型上都延續了 OOD 表現更好的趨勢(圖 5,表 11)。

谷歌將視覺遷移模型參數擴展到220億,自ChatGPT火爆後研究者集體行動

此外,研究人員也研究了ViT-22B 模型在語意分割和單目深度估計任務中捕獲的幾何和空間資訊品質。

語意分割。研究人員在三個基準上評估 ViT-22B 作為語意分割主幹:ADE20K、Pascal Context 和 Pascal VOC。從表 4 可以看出,當只看到少量分割遮罩時,ViT-22B 主幹遷移效果較好。

谷歌將視覺遷移模型參數擴展到220億,自ChatGPT火爆後研究者集體行動

單目深度估計。表 5 總結了研究的主要發現。從最上面的行(DPT 解碼器)中可以觀察到,與不同的主幹相比,使用 ViT-22B 特性產生了最佳的性能(在所有指標上)。透過將 ViT-22B 主幹與 ViT-e(一個較小的模型,但在與 ViT-22B 相同的資料上進行訓練)進行比較,研究發現擴展架構可以提高效能。

此外,將ViT-e 主幹與ViT-L(與ViT-e 類似的架構,但訓練的資料較少)進行比較,研究發現這些改進也來自於擴展訓練前的資料。這些發現表明,更大的模型和更大的數據集都有助於提高效能。

谷歌將視覺遷移模型參數擴展到220億,自ChatGPT火爆後研究者集體行動

該研究也在影片資料集上進行了探索。表 6 展示了在 Kinetics 400 和 Moments in Time 資料集上的視訊分類結果,顯示可以使用凍結的主幹實現具有競爭力的結果。研究首先與 ViT-e 進行比較,ViT-e 擁有最大的先驗視覺主幹模型,由 40 億個參數組成,並且也在 JFT 資料集上進行訓練。我們觀察到更大的 ViT-22B 模型在 Kinetics 400 上提高了 1.5 分,在 Moments in Time 上提高了 1.3 分。

最後研究注意到,透過完整的端對端微調,還有進一步改進的空間。

谷歌將視覺遷移模型參數擴展到220億,自ChatGPT火爆後研究者集體行動

更多技術細節請參閱原始論文。

以上是谷歌將視覺遷移模型參數擴展到220億,自ChatGPT火爆後研究者集體行動的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:51CTO.COM。如有侵權,請聯絡admin@php.cn刪除
最新的最佳及時工程技術的年度彙編最新的最佳及時工程技術的年度彙編Apr 10, 2025 am 11:22 AM

對於那些可能是我專欄新手的人,我廣泛探討了AI的最新進展,包括體現AI,AI推理,AI中的高科技突破,及時的工程,AI培訓,AI,AI RE RE等主題

歐洲的AI大陸行動計劃:Gigafactories,Data Labs和Green AI歐洲的AI大陸行動計劃:Gigafactories,Data Labs和Green AIApr 10, 2025 am 11:21 AM

歐洲雄心勃勃的AI大陸行動計劃旨在將歐盟確立為人工智能的全球領導者。 一個關鍵要素是建立了AI Gigafactories網絡,每個網絡都有大約100,000個高級AI芯片 - 2倍的自動化合物的四倍

微軟的直接代理商故事是否足以創造更多的粉絲?微軟的直接代理商故事是否足以創造更多的粉絲?Apr 10, 2025 am 11:20 AM

微軟對AI代理申請的統一方法:企業的明顯勝利 微軟最近公告的新AI代理能力清晰而統一的演講給人留下了深刻的印象。 與許多技術公告陷入困境不同

向員工出售AI策略:Shopify首席執行官的宣言向員工出售AI策略:Shopify首席執行官的宣言Apr 10, 2025 am 11:19 AM

Shopify首席執行官TobiLütke最近的備忘錄大膽地宣布AI對每位員工的基本期望是公司內部的重大文化轉變。 這不是短暫的趨勢。這是整合到P中的新操作範式

IBM啟動具有完整AI集成的Z17大型機IBM啟動具有完整AI集成的Z17大型機Apr 10, 2025 am 11:18 AM

IBM的Z17大型機:集成AI用於增強業務運營 上個月,在IBM的紐約總部,我收到了Z17功能的預覽。 以Z16的成功為基礎(於2022年推出並證明持續的收入增長

5 Chatgpt提示取決於別人並完全相信自己5 Chatgpt提示取決於別人並完全相信自己Apr 10, 2025 am 11:17 AM

解鎖不可動搖的信心,消除了對外部驗證的需求! 這五個CHATGPT提示將指導您完全自力更生和自我感知的變革轉變。 只需複制,粘貼和自定義包圍

AI與您的思想危險相似AI與您的思想危險相似Apr 10, 2025 am 11:16 AM

人工智能安全與研究公司 Anthropic 最近的一項[研究]開始揭示這些複雜過程的真相,展現出一種令人不安地與我們自身認知領域相似的複雜性。自然智能和人工智能可能比我們想像的更相似。 窺探內部:Anthropic 可解釋性研究 Anthropic 進行的研究的新發現代表了機制可解釋性領域的重大進展,該領域旨在反向工程 AI 的內部計算——不僅僅觀察 AI 做了什麼,而是理解它在人工神經元層面如何做到這一點。 想像一下,試圖通過繪製當有人看到特定物體或思考特定想法時哪些神經元會放電來理解大腦。 A

龍翼展示高通的邊緣動力龍翼展示高通的邊緣動力Apr 10, 2025 am 11:14 AM

高通的龍翼:企業和基礎設施的戰略飛躍 高通公司通過其新的Dragonwing品牌在全球範圍內積極擴展其範圍,以全球為目標。 這不僅僅是雷布蘭

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
3 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳圖形設置
3 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您聽不到任何人,如何修復音頻
3 週前By尊渡假赌尊渡假赌尊渡假赌
WWE 2K25:如何解鎖Myrise中的所有內容
3 週前By尊渡假赌尊渡假赌尊渡假赌

熱工具

VSCode Windows 64位元 下載

VSCode Windows 64位元 下載

微軟推出的免費、功能強大的一款IDE編輯器

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

SecLists

SecLists

SecLists是最終安全測試人員的伙伴。它是一個包含各種類型清單的集合,這些清單在安全評估過程中經常使用,而且都在一個地方。 SecLists透過方便地提供安全測試人員可能需要的所有列表,幫助提高安全測試的效率和生產力。清單類型包括使用者名稱、密碼、URL、模糊測試有效載荷、敏感資料模式、Web shell等等。測試人員只需將此儲存庫拉到新的測試機上,他就可以存取所需的每種類型的清單。

SublimeText3 英文版

SublimeText3 英文版

推薦:為Win版本,支援程式碼提示!

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具