搜尋
首頁科技週邊人工智慧'MiniGPT-4證明驚人的識圖能力和多項功能:看圖聊天、草圖建網站等'

對人類來說,理解一張圖的訊息,不過是一件微不足道的小事,人類幾乎不用思考,就能隨口說出圖片的含義。就像下圖,手機插入的充電器多少有點不合適。人類一眼就能看出問題所在,但對 AI 來說,難度還是非常大的。

MiniGPT-4證明驚人的識圖能力和多項功能:看圖聊天、草圖建網站等

GPT-4 的出現,開始讓這些問題變得簡單,它能很快的指出圖中問題所在:VGA 線充iPhone 。

其實GPT-4 的魅力遠不及此,更炸場的是利用手繪草圖直接生成網站,在草稿紙上畫一個潦草的示意圖,拍張照片,然後發給GPT-4,讓它依照示意圖寫網站程式碼,咻咻的,GPT-4 就把網頁程式碼寫出來了。

但遺憾的是,GPT-4 這項功能目前仍未對外開放,想要上手體驗也無從談起。不過,已經有人等不及了,來自阿卜杜拉國王科技大學(KAUST)的團隊上手開發了一個 GPT-4 的類似產品 ——MiniGPT-4。團隊研究人員包括朱德堯、陳軍、沈曉倩、李祥、Mohamed H. Elhoseiny,他們都來自 KAUST 的 Vision-CAIR 課題組。

MiniGPT-4證明驚人的識圖能力和多項功能:看圖聊天、草圖建網站等

  • #論文網址:https://github.com/Vision-CAIR/MiniGPT- 4/blob/main/MiniGPT_4.pdf
  • #論文首頁:https://minigpt-4.github.io/
  • #程式碼位址:https://github.com/Vision-CAIR/MiniGPT-4

MiniGPT-4 展示了許多類似於GPT-4 的能力,例如生成詳細的圖像描述並從手寫草稿創建網站。此外,作者還觀察到 MiniGPT-4 的其他新興能力,包括根據給定的圖像創作故事和詩歌,提供解決圖像中顯示的問題的解決方案,根據食品照片教導使用者如何烹飪等。

MiniGPT-4 看圖片說話不在話下

MiniGPT-4 效果到底如何呢?我們先從幾個範例來說明。此外,為了更好的體驗 MiniGPT-4,建議使用英文輸入進行測試。

先檢視 MiniGPT-4 對圖片的描述能力。對於左邊的圖,MiniGPT-4 給出的答案大致為「圖片描述的是生長在冰凍湖上的一株仙人掌。仙人掌周圍有巨大的冰晶,遠處還有白雪皚皚的山峰……」假如你接著詢問這種景象能夠發生在現實世界嗎? MiniGPT-4 給出的答案是這張圖像在現實世界並不常見,並給出了原因。

MiniGPT-4證明驚人的識圖能力和多項功能:看圖聊天、草圖建網站等

接著,來看看 MiniGPT-4 圖片問答能力。問:「這棵植物出現了什麼問題?我該怎麼辦?」MiniGPT-4 不僅指出了問題所在,表示帶有棕色斑點的樹葉可能由真菌感染引起,並給出了治療步驟:

MiniGPT-4證明驚人的識圖能力和多項功能:看圖聊天、草圖建網站等

幾個範例看下來,MiniGPT-4 看圖片聊天的功能已經非常強大了。不僅如此,MiniGPT-4 還能從草圖創建網站。例如讓MiniGPT-4 依照左邊的草稿圖繪製出網頁,收到指令後,MiniGPT-4 給予對應的HTML 程式碼,依照要求給出了對應網站:

MiniGPT-4證明驚人的識圖能力和多項功能:看圖聊天、草圖建網站等

借助 MiniGPT-4,為圖片寫廣告詞也變得非常簡單。請 MiniGPT-4 為左邊的杯子寫廣告文案。 MiniGPT-4 精準的指出了杯子上有嗜睡貓圖案,非常適合咖啡愛好者以及貓愛好者使用,還指出了杯子的材質等等:

MiniGPT-4證明驚人的識圖能力和多項功能:看圖聊天、草圖建網站等

MiniGPT-4 還能對著一張圖片產生食譜,變身廚房小能手:

MiniGPT-4證明驚人的識圖能力和多項功能:看圖聊天、草圖建網站等

 解釋廣為流傳的梗圖:

MiniGPT-4證明驚人的識圖能力和多項功能:看圖聊天、草圖建網站等

#根據圖片寫詩:

MiniGPT-4證明驚人的識圖能力和多項功能:看圖聊天、草圖建網站等

此外,值得一提的是,MiniGPT-4 Demo 已經開放,線上可玩,大家可以親自體驗一番(建議使用英文測試):

MiniGPT-4證明驚人的識圖能力和多項功能:看圖聊天、草圖建網站等

Demo 網址:https://0810e8582bcad31944.gradio.live/

計畫一發佈,便引起網友廣泛關注。例如讓MiniGPT-4 解釋圖中的物件:

MiniGPT-4證明驚人的識圖能力和多項功能:看圖聊天、草圖建網站等

#下面還有更多網友的測試體驗:

MiniGPT-4證明驚人的識圖能力和多項功能:看圖聊天、草圖建網站等

MiniGPT-4證明驚人的識圖能力和多項功能:看圖聊天、草圖建網站等

#方法簡介

作者認為GPT-4 擁有先進的大型語言模型(LLM)是其具有先進的多模態生成能力的主要原因。為了研究這個現象,作者提出了 MiniGPT-4,它使用一個投影層將一個凍結的視覺編碼器和一個凍結的 LLM(Vicuna)對齊。

MiniGPT-4 由一個預先訓練的 ViT 和 Q-Former 視覺編碼器、一個單獨的線性投影層和一個先進的 Vicuna 大型語言模型組成。 MiniGPT-4 只需要訓練線性層,用來將視覺特徵與 Vicuna 對齊。

MiniGPT-4證明驚人的識圖能力和多項功能:看圖聊天、草圖建網站等

MiniGPT-4 進行了兩個階段的訓練。第一個傳統的預訓練階段使用大約 5 百萬對齊的圖像文字對,在 4 個 A100 GPU 上使用 10 小時進行訓練。第一階段後,Vicuna 能夠理解圖像。但是 Vicuna 文字生成能力受到了很大的影響。

為了解決這個問題並提高可用性,研究者提出了一種新穎的方式,透過模型本身和 ChatGPT 一起創建高品質的圖像文字對。基於此,該研究創建了一個小而高品質的數據集(總共 3500 對)。

第二个微调阶段使用对话模板在此数据集上进行训练,以显著提高其生成可靠性和整体可用性。这个阶段具有高效的计算能力,只需要一张 A100GPU 大约 7 分钟即可完成。

其他相关工作:

  • VisualGPT: https://github.com/Vision-CAIR/VisualGPT
  • ChatCaptioner: https://github.com/Vision-CAIR/ChatCaptioner

此外,项目中还使用了开源代码库包括 BLIP2、Lavis 和 Vicuna。

以上是'MiniGPT-4證明驚人的識圖能力和多項功能:看圖聊天、草圖建網站等'的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:51CTO.COM。如有侵權,請聯絡admin@php.cn刪除
如何在Excel中刪除重複項? - 分析Vidhya如何在Excel中刪除重複項? - 分析VidhyaApr 15, 2025 am 09:20 AM

數據完整性:刪除Excel中的重複項以進行準確分析 乾淨的數據對於有效的決策至關重要。 Excel電子表格中的重複條目可能會導致錯誤和不可靠的分析。本指南向您展示瞭如何輕鬆刪除DUP

十大電話面試技巧 - 分析Vidhya十大電話面試技巧 - 分析VidhyaApr 15, 2025 am 09:19 AM

掌握電話採訪的藝術:成功指南 成功的電話面試可以大大增加進入工作申請過程下一階段的機會。 這種至關重要的第一印象,通常是唯一的前fac

如何成為統計學家?如何成為統計學家?Apr 15, 2025 am 09:15 AM

介紹 想像一下,有能力在醫療保健,金融或體育等領域為自己和您的公司做出明智的決定。那就是統計學家的角色。 隨著組織中數據的越來越多,對統計學家的需求

AI如何工作? - 分析VidhyaAI如何工作? - 分析VidhyaApr 15, 2025 am 09:14 AM

人工智能:綜合指南 技術使我們能夠設想一個世界,即機器了解我們的偏好,預測我們的需求,並從過去的互動中學習以提供更好的結果。這不是科幻小說;它是

什麼是像形圖? - 分析Vidhya什麼是像形圖? - 分析VidhyaApr 15, 2025 am 09:09 AM

介紹 在數據分析的世界中,有效的溝通是關鍵。 象形圖提供了一個強大的解決方案,以視覺上吸引人且易於消化的格式提供信息。與復雜的圖表和數字不同,象形文字 - 也

Llama-3.1-STORM-8B:8B LLM優於元和愛馬仕Llama-3.1-STORM-8B:8B LLM優於元和愛馬仕Apr 15, 2025 am 09:08 AM

Llama 3.1風暴8b:有效語言模型的突破 追求高效,準確的語言模型導致了Llama 3.1 Storm 8b的發展,這是80億個參數模型類別的顯著進步。 這是完善的

如何安裝git? - 分析Vidhya如何安裝git? - 分析VidhyaApr 15, 2025 am 09:07 AM

git:您的版本控制與協作的基本指南 Git是開發人員的關鍵工具,簡化了項目協作和版本控制。 本指南提供了在Linux,MacOS和Wind上安裝GIT的直接說明

在LLMS中調用工具在LLMS中調用工具Apr 14, 2025 am 11:28 AM

大型語言模型(LLMS)的流行激增,工具稱呼功能極大地擴展了其功能,而不是簡單的文本生成。 現在,LLM可以處理複雜的自動化任務,例如Dynamic UI創建和自主a

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
4 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳圖形設置
4 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您聽不到任何人,如何修復音頻
4 週前By尊渡假赌尊渡假赌尊渡假赌
WWE 2K25:如何解鎖Myrise中的所有內容
1 個月前By尊渡假赌尊渡假赌尊渡假赌

熱工具

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

Safe Exam Browser

Safe Exam Browser

Safe Exam Browser是一個安全的瀏覽器環境,安全地進行線上考試。該軟體將任何電腦變成一個安全的工作站。它控制對任何實用工具的訪問,並防止學生使用未經授權的資源。

SublimeText3 Linux新版

SublimeText3 Linux新版

SublimeText3 Linux最新版

MantisBT

MantisBT

Mantis是一個易於部署的基於Web的缺陷追蹤工具,用於幫助產品缺陷追蹤。它需要PHP、MySQL和一個Web伺服器。請查看我們的演示和託管服務。

WebStorm Mac版

WebStorm Mac版

好用的JavaScript開發工具