2시간짜리 영화를 4초만에 감상해보세요! 알리바바, 범용 멀티모달 대형 모델 mPLUG-Owl3 출시

Selepas menonton filem 2 jam dalam 4 saat, pencapaian baharu pasukan Alibaba telah diumumkan secara rasmi -

melancarkan model besar berbilang mod am mPLUG-Owl3, yang digunakan khas untuk memahami berbilang gambar dan video panjang.

Secara khusus, menggunakan LLaVA-Next-Interleave sebagai penanda aras, mPLUG-Owl3 mengurangkan Kependaman Token Pertama model sebanyak 6 kali, dan bilangan imej yang boleh dimodelkan oleh A100 tunggal meningkat sebanyak 8 kali, mencapai 400 Dengan hanya satu gambar, anda boleh menonton filem 2 jam dalam masa 4 saat sahaja.

Dalam erti kata lain, kecekapan penaakulan model telah banyak dipertingkatkan.

Dan tanpa mengorbankan ketepatan model.

mPLUG-Owl3 juga mencapai SOTA dalam pelbagai senario yang melibatkan model besar berbilang modal, termasuk medan imej tunggal, berbilang imej dan video. . -modal model bahasa besar asas mPLUG -Siri Burung Hantu

Pangkalan Pemahaman Dokumen mPLUG-Siri DocOwl

Mari ketahui teknologi hitam keluaran mPLUG-Owl3 ini.

Buka Kunci Main Permainan

Pasukan menunjukkan beberapa kegunaan biasa mPLUG-Owl3.

Peningkatan perolehan berbilang modal

Secara umumnya, ia adalah amalan biasa untuk menambah pengetahuan yang model itu tidak belajar melalui sistem perolehan semula. Ini memerlukan model untuk memahami dengan tepat pengetahuan pelbagai modal yang masuk dan menggunakannya untuk menjawab soalan.

Dalam contoh berikut, mPLUG-Owl3 bukan sahaja boleh bertindak balas dengan betul berdasarkan pengetahuan yang diperoleh, tetapi juga memberikan pertimbangan berdasarkan pengetahuan yang mana ia berdasarkan, dan memberikan asas terperinci untuk penghakiman. Ini sangat mesra kepada kakitangan R&D hiliran untuk pembangunan dan penyahpepijatan.

Bahagian perolehan semula: Berikut adalah beberapa pengetahuan pelbagai modal yang diperoleh untuk anda membuat keputusan.

Soalan: Berdasarkan pemerhatian anda terhadap empat gambar anjing di atas, bolehkah anda mengelaskan anjing dalam gambar 5? Beri alasan.

Jawapan: Berdasarkan pemerhatian terhadap empat gambar anjing, anjing dalam gambar 5 boleh diklasifikasikan sebagai Irish Terrier. Anjing dalam gambar 1 digambarkan sebagai Irish Terrier, dan anjing dalam gambar 5 mempunyai ciri fizikal yang serupa dengan anjing dalam gambar 1...

Penalaran pelbagai gambar

Ini sering berlaku dalam Situasi kehidupan -

Ramai pengguna bukan sahaja mengadakan perbualan di sekitar satu gambar, tetapi pengguna mungkin mempunyai beberapa bahan, dan model perlu dapat memahami dengan betul hubungan antara kandungan dalam bahan yang berbeza.

Dalam contoh di bawah, mPLUG-Owl3 boleh mengaktifkan pengetahuan akal model bahasa melalui perkara yang dilihatnya dalam dua imej dan membuat inferens di sekitar dua imej.

Soalan: Bolehkah haiwan di sebelah kiri bertahan dalam persekitaran di sebelah kanan? Jawapan dan penjelasan diperlukan.

Jawapan (jawapan yang betul ditanda hijau): Idea umum ialah ia tidak dapat bertahan kerana persekitaran terlalu sejuk.

Dalam contoh lain, mPLUG-Owl3 bukan sahaja dapat mengesan perbezaan gaya antara dua gambar, tetapi juga menyedari bahawa walaupun watak dalam kedua-dua gambar mempunyai gaya yang berbeza, mereka sebenarnya adalah watak yang sama.

Soalan kali pertama: Apakah gaya seni yang digambarkan dalam gambar dan bagaimana ia berbeza?

Jawapan: Gambar pertama dalam gaya piksel, gambar kedua dalam gaya kartun...(beri sebab)

Soalan kedua: Siapa yang muncul dalam kedua-dua gambar? Apakah ciri-ciri mereka?

Jawapan: Dalam kedua-dua lukisan, seorang lelaki memakai topi koboi muncul, dan dia digambarkan dalam dua gaya berbeza. .

mPLUG-Owl3 boleh menonton filem 2 jam dan mula menjawab soalan pengguna dalam masa 4 saat.

Sama ada pengguna bertanya soalan tentang klip yang sangat terperinci pada permulaan, tengah dan akhir filem, mPLUG-Owl3 boleh menjawabnya dengan lancar.

Bagaimana anda melakukannya?

Tidak seperti model tradisional, mPLUG-Owl3 tidak perlu menyambung jujukan visual ke dalam urutan teks model bahasa terlebih dahulu.

Dalam erti kata lain, tidak kira apa pun input (berpuluh-puluh gambar atau jam video), ia tidak menduduki kapasiti jujukan model bahasa, yang mengelakkan overhed pengkomputeran yang besar dan penggunaan memori video yang disebabkan oleh jujukan visual yang panjang.

Sesetengah orang mungkin bertanya, bagaimanakah maklumat visual disepadukan ke dalam model bahasa?

이를 달성하기 위해 팀에서는 텍스트만 모델링할 수 있는 기존 Transformer Block을 그래픽 및 텍스트 기능 상호 작용과 모듈의 새 모듈을 모두 수행할 수 있는 것으로 확장할 수 있는 경량 Hyper Attention 모듈을 제안했습니다.

전체 언어 모델에 걸쳐 4개의 Transformer Block을 드물게 확장함으로써 mPLUG-Owl3은 매우 적은 비용으로 LLM을 다중 모드 LLM으로 업그레이드할 수 있습니다.

비주얼 인코더에서 시각적 특징을 추출한 후 간단한 선형 매핑을 통해 차원을 언어 모델의 차원에 정렬합니다.

따라서 시각적 기능은 Transformer Block의 4개 레이어에 있는 텍스트와만 상호 작용합니다. 시각적 토큰은 압축되지 않았으므로 세밀한 정보가 보존될 수 있습니다.

Hyper Attention이 어떻게 설계되었는지 살펴보겠습니다.

Hyper Attention 언어 모델이 시각적 특징을 인식할 수 있도록 시각적 특징을 Key와 Value로 사용하고 언어 모델의 숨겨진 상태를 Query로 사용하여 시각적 특징을 추출하는 Cross-Attention 작업이 도입되었습니다.

최근에는 Flamingo, IDEFICS 등 다른 연구에서도 다중 모드 융합에 Cross-Attention을 사용하는 것을 고려했지만 이러한 작업은 좋은 성능을 달성하지 못했습니다.

mPLUG-Owl3의 기술 보고서에서 팀은 Flamingo의 디자인을 비교하여 Hyper Attention의 핵심 기술 포인트를 더 자세히 설명했습니다.

먼저 Hyper Attention은 Cross-Attention의 디자인을 채택하지 않으며 Self-Attention 캐스케이드이지만 Self-Attention 블록 내에 내장되어 있습니다.

추가로 도입되는 새로운 매개변수의 수를 크게 줄여 모델 훈련을 더 쉽게 만들고 훈련 및 추론 효율성을 더욱 향상시킬 수 있다는 장점이 있습니다.

두 번째로, Hyper Attention은 언어 모델을 공유하는 LayerNorm을 선택합니다. 왜냐하면 LayerNorm의 분포 출력은 정확히 Attention 계층이 안정화되도록 훈련된 분포이기 때문입니다. 이 계층을 공유하는 것은 새로 도입된 Cross-Attention의 안정적인 학습에 중요합니다.

실제로 Hyper Attention은 공유 쿼리를 사용하여 시각적 기능과 상호 작용하고 Adaptive Gate를 통해 두 기능을 융합하는 병렬 Cross-Attention 및 Self-Attention 전략을 채택합니다.

이를 통해 쿼리는 자체 의미에 따라 관련된 시각적 기능을 선택적으로 선택할 수 있습니다.

팀은 모델이 다중 모드 입력을 더 잘 이해하는 데 원래 컨텍스트에서 이미지와 텍스트의 상대적 위치가 매우 중요하다는 것을 발견했습니다.

이 속성을 모델링하기 위해 MI-Rope를 인코딩하는 다중 모드 인터리브 회전 위치를 도입하여 시각적 키에 대한 위치 정보를 모델링했습니다.

구체적으로는 원본 텍스트에 각 사진의 위치 정보가 미리 기록되어 있으며 이 위치를 사용하여 해당 로프 임베딩을 계산하고 동일한 사진의 각 패치가 이 임베딩을 공유합니다.

또한 Cross-Attention에 Attention 마스크를 도입하여 원본 컨텍스트에서 이미지 앞의 텍스트가 후속 이미지에 해당하는 특징을 볼 수 없도록 했습니다.

요약하자면, Hyper Attention의 이러한 설계 포인트는 mPLUG-Owl3의 효율성을 더욱 향상시켰으며 여전히 최고 수준의 다중 모드 기능을 가질 수 있도록 보장했습니다.

실험 결과

mPLUG-Owl3는 광범위한 데이터 세트에 대한 실험을 수행하여 대부분의 단일 이미지 다중 모드 벤치마크에서 SOTA 결과를 달성할 수 있으며, 많은 테스트에서 더 큰 모델 크기의 결과를 능가할 수도 있습니다. .

동시에 다중 이미지 평가에서 mPLUG-Owl3은 다중 이미지 시나리오에 특별히 최적화된 LLAVA-Next-Interleave 및 Mantis도 능가했습니다.

또한 긴 동영상에 대한 모델의 이해도를 구체적으로 평가하는 목록인 LongVideoBench(52.1점)에서도 기존 모델을 능가합니다.

R&D팀에서는 흥미로운 긴 시각적 시퀀스 평가 방법도 제안했습니다.

우리 모두 알고 있듯이 실제 인간-컴퓨터 상호 작용 시나리오에서 모든 사진이 사용자 문제를 해결하는 것은 아닙니다. 역사적 맥락은 문제와 관련 없는 다중 모드 콘텐츠로 채워질수록 이 현상은 더욱 심각해집니다. 이다.

긴 시각적 시퀀스 입력에서 모델의 간섭 방지 능력을 평가하기 위해 MMBench-dev를 기반으로 새로운 평가 데이터 세트를 구축했습니다.

각 MMBench 루프 평가 샘플마다 관련 없는 그림을 도입하여 그림의 순서를 어지럽힌 후, 원본 그림에 대해 질문을 하여 모델이 정확하고 안정적으로 응답할 수 있는지 확인합니다. (동일 질문에 대해 옵션 순서와 간섭 그림이 다른 4개의 샘플이 구성되며, 모든 답변이 맞을 경우 정답은 1개만 기록됩니다.)

실험은 여러 단계로 나누어집니다. 입력된 사진의 수에 따라.

Qwen-VL 및 mPLUG-Owl2와 같은 다중 그래프 훈련이 없는 모델은 빠르게 실패하는 것을 볼 수 있습니다.

LLAVA-Next-Interleave와 Mantis는 다중 이미지 트레이닝을 거쳐 처음에는 mPLUG-Owl3과 유사한 감쇠 곡선을 유지할 수 있으며, 하지만 이미지 수가 50개 정도에 도달하면 이 모델은 더 이상 올바르게 대답할 수 없습니다.

그리고 mPLUG-Owl3은 400장의 사진 후에도 40%의 정확도를 유지할 수 있습니다.

그러나 mPLUG-Owl3은 기존 모델을 능가하지만 정확도는 우수한 수준과는 거리가 멀다. 앞으로는 간섭 방지 기능을 더욱 개선해야 합니다.

자세한 내용은 논문과 코드를 확인해주세요.

Paper: https://arxiv.org/abs/2408.04840

Code: https://github.com/X-PLUG/mPLUG-Owl/tree/main /mPLUG-Owl3

demo(껴안는 얼굴): https://huggingface.co/spaces/mPLUG/mPLUG-Owl3

demo(마법 커뮤니티): https :/ /modelscope.cn/studios/iic/mPLUG-Owl3

7B 모델(껴안은 얼굴): https://huggingface.co/mPLUG/mPLUG-Owl3-7B-240728#🎜🎜 ##🎜 🎜#7B 모델(매직 커뮤니티) https://modelscope.cn/models/iic/mPLUG-Owl3-7B-240728

—End—

기사를 제출하려면 , 다음 주소로 이메일을 보내주세요:

ai@qbitai.com

제목을 표시하고 다음 주소로 알려주세요.

당신은 누구이며 어디에 있습니까? 제출 내용

논문/프로젝트 홈페이지 링크 및 연락처 첨부

시간 내로 답변해 드리겠습니다

#🎜🎜 #팔로우하려면 여기를 클릭하세요. 별표표시도 잊지 마세요~

한 번 클릭으로 3번 '공유', '좋아요', '시청' 가능

기술의 최전선에서 만나요 매일 발전하세요~ #🎜🎜 #

위 내용은 2시간짜리 영화를 4초만에 감상해보세요! 알리바바, 범용 멀티모달 대형 모델 mPLUG-Owl3 출시의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!