教ChatGPT學會看圖的方法來了

2022年流行「文生圖」模型，那2023年流行什麼？

機器學習工程師Daniel Bourke的答案是：反過來！

這不，一個最新發布的「圖生文」模型在網路上爆火，其優秀的效果引發眾多網友紛紛轉發、點讚。

不僅是基礎的「看圖說話」功能，寫情詩、講解劇情、給圖片中物件設計對話等等，這個AI都拿捏得穩穩的！

例如，當你在網路上刷到誘人的美食時，只需把圖片發給它，它就會立刻識別出需要的食材和做菜步驟：

#甚至圖片中的一些列文虎克的細節也能「看」得清清楚楚。

當被問到如何從圖片中倒著的房子裡離開，AI的回答是：側面不是有滑梯嘛！

這只新AI名為BLIP-2 （Bootstrapping Language-Image Pre-training 2），目前程式碼已開源。

最重要的是，和先前的研究不同，BLIP-2使用的是一種通用的預訓練框架，因此可以任意對接自己的語言模型。

有網友已經在暢想把介面換成ChatGPT後的強強組合了。

作者之一Steven Hoi更是放話：BLIP-2未來就是「多模態版ChatGPT」。

那麼，BLIP-2神奇的地方還有哪些？一起往下看。

理解能力一流

BLIP-2的玩法可以說非常多樣化了。

只需提供一張圖片，你就可以與它對話，讓它看圖講故事、推理、生成個人化文本等各種要求都能滿足。

舉個例子，BLIP-2不僅能輕易辨識圖片中的景點是長城，還能介紹出長城的歷史：

中國的長城是西元前221年秦始皇為了保護帝都不受北方侵略而建造的。

給它一張電影劇照，BLIP-2不光知道出自哪，還知道故事的結局是be：泰坦尼克號沉沒，男主淹死。

在對人類神態的拿捏上，BLIP-2同樣掌握得非常準確。

被問到這張圖片中的男人是什麼表情，他為什麼這樣時，BLIP-2的回答是：他害怕那隻雞，因為它正朝他飛來。

更神奇的是，在許多開放性問題上，BLIP-2的表現也很出色。

讓它根據下面的圖片寫一句浪漫的話：

#它的回答是這樣的：愛就像日落，很難預見它的到來，但當它發生時，它是如此的美麗。

這不光理解能力滿分，文學造詣也相當強啊！

讓它給圖片中的兩隻動物生成一段對話，BLIP-2也能輕鬆拿捏傲嬌貓貓x萌蠢狗狗的設定：

貓: 嘿，狗狗，我可以騎在你背上嗎？

狗: 當然，為什麼不呢？

貓: 我已經厭倦了在雪地裡行走。

那麼，如此強大的理解能力背後，BLIP-2究竟是怎麼做到的？

多項視覺語言任務上實現新SOTA

考慮到大規模模型的端到端訓練成本越來越高，BLIP-2使用的是一種通用且高效的預訓練策略：

從現成的凍結預訓練影像編碼器和凍結的大型語言模型中引導視覺語言預訓練。

這也意味著，每個人都可以選擇自己想使用的模型存取使用。

而為了彌補了模態之間的差距，研究者提出了一個輕量級的查詢Transformer。

此Transformer分兩個階段進行預先訓練：

第一階段從凍結影像編碼器引導視覺語言表示學習，第二階段將視覺從凍結的語言模型引導到語言生成學習。

為了測試BLIP-2的效能，研究者分別從零樣本圖像-文字產生、視覺問答、圖像-文字檢索、圖像字幕任務上對其進行了評估。

最終結果顯示，BLIP-2在多項視覺語言任務上都實現了SOTA。

其中，BLIP-2在zero-shot VQAv2上比Flamingo 80B高8.7%，且訓練參數也減少了54倍。

而且顯而易見的是，更強的圖像編碼器或更強的語言模型都會產生更好的效能。

值得一提的是，研究者在論文最後也提到，BLIP-2還有一個不足，那就是缺乏上下文學習能力：

每個樣本只包含一個圖像-文字對，目前還無法學習單一序列中多個圖像-文字對之間的相關性。

研究團隊

BLIP-2的研究團隊來自Salesforce Research。

第一作者為Junnan Li，他也是一年前推出的BLIP的一作。

目前是Salesforce亞洲研究院資深研究科學家。本科畢業於香港大學，博士畢業於新加坡國立大學。

研究領域很廣泛，包括自我監督學習、半監督學習、弱監督學習、視覺-語言。

以下是BLIP-2的論文連結和GitHub鏈接，有興趣的夥伴們可以自取～

論文連結：https://arxiv.org/pdf/2301.12597. pdf

GitHub連結：https://github.com/salesforce/LAVIS/tree/main/projects/blip2

參考連結：[1]https://twitter.com/mrdbourke /status/1620353263651688448

[2]https://twitter.com/LiJunnan0409/status/1620259379223343107

以上是教ChatGPT學會看圖的方法來了的詳細內容。更多資訊請關注PHP中文網其他相關文章！