來自劍橋、NAIST 和騰訊AI Lab 的研究者近期發布了一項名為PandaGPT 的研究成果,這是一種將大型語言模型與不同模態對齊、綁定以實現跨模態指令跟隨能力的技術。 PandaGPT 可以完成諸如生成詳細的圖像描述、根據影片編寫故事以及回答關於音訊的問題等複雜任務。它可以同時接收多模態輸入,並自然地組合它們的語義。
#為了實現圖像& 視訊、文字、音訊、熱力圖、深度圖、IMU 讀數六種模態下的指令跟隨能力,PandaGPT 將ImageBind 的多模態編碼器與Vicuna 大型語言模型結合(如上圖所示)。
為了使ImageBind 的多模態編碼器和Vicuna 的大型語言模型的特徵空間對齊,PandaGPT 使用了組合LLaVa 和Mini-GPT4 發布的共160k 基於圖像的語言指令跟隨資料作為訓練資料。每個訓練實例包括一張圖像和相應一組多輪對話。
為了避免破壞ImageBind 本身的多模態對齊性質和減少訓練成本,PandaGPT 只更新了以下模組:
值得強調的是,目前的PandaGPT 版本只使用了對齊的圖像- 文字資料進行訓練,但是繼承了ImageBind 編碼器的六種模態理解能力(影像/ 視訊、文字、音訊、深度度、熱圖和IMU)和它們之間的對齊屬性,從而具備在所有模態之間跨模態能力。
在實驗中,作者展示了PandaGPT 對不同模態的理解能力,包括基於圖像/ 視頻的問答,基於圖像/ 視頻的創意寫作,基於視覺和聽覺信息的推理等等,以下是一些例子:
#圖片:
##音訊:
影片:
###############與其他多模態語言模型相比,PandaGPT 最突出的特點是它能夠理解並將不同模態的訊息自然地組合在一起。
視訊音訊:
圖片音訊:
###最後,作者強調,PandaGPT 只是一個研究原型,暫時還不足以直接應用於生產環境。 ######
以上是劍橋、騰訊AI Lab等提出大語言模型PandaGPT:一個模型統一六種模態的詳細內容。更多資訊請關注PHP中文網其他相關文章!