인민 대학교 Hillhouse 인공 지능 학교의 Nature 하위 저널은 다중 모드 기본 모델을 사용하여 일반 인공 지능으로 나아가려고 시도합니다.

최근 중국 런민대학교 힐하우스 인공지능대학원 루즈우(Lu Zhiwu) 교수, 순하오(Sun Hao) 상임 부교수, 원지롱(Wen Jirong) 학장이 국제 종합 저널 '네이처 커뮤니케이션즈(Nature Communications)'(영문명: 네이처 커뮤니케이션즈(Nature Communications))에 공동 교신저자로 게재됐다. , Nat Commun이라고 함) "다중 기반 모델을 통한 인공 일반 지능을 향하여"라는 제목의 연구 논문을 출판했습니다. 이 기사의 첫 번째 저자는 박사 과정 학생인 Fei Nanyi입니다. 이 작업은 일반 인공 지능에 대한 다중 모드 기반 모델을 활용하려고 시도하며 신경 과학 및 의료와 같은 다양한 AI+ 분야에 광범위한 영향을 미칠 것입니다. 이 글은 이 글의 해석입니다.

• 페이퍼 링크: https://www.nature.com/articles/s41467-022-30761-2
• 코드 링크: https://github.com /neilfei/brivl-nmi

인공지능의 기본 목표는 지각, 기억, 추론 등 인간의 핵심 인지 활동을 모방하는 것입니다. 많은 인공지능 알고리즘이나 모델이 다양한 연구 분야에서 큰 성공을 거두었지만, 대부분의 인공지능 연구는 여전히 대량의 분류된 데이터를 획득하거나 대규모 데이터에 대한 훈련을 지원하기에는 컴퓨팅 자원이 부족하여 제한적입니다. 하나의 인지 능력.

이러한 한계를 극복하고 일반 인공지능으로 한발 더 나아가기 위해 우리는 모델을 사전 학습시키는 멀티모달(시각 언어) 기본 모델을 개발했습니다. 또한 모델이 강력한 일반화 능력을 얻기 위해서는 훈련 데이터의 그림과 텍스트가 그림 영역과 단어의 정밀한 일치보다는 약한 의미 상관 가설(그림 1b 참조)을 따라야 한다고 제안합니다. (강한 의미적 상관 관계), 강한 의미적 상관 관계로 인해 의미적 상관 관계를 가정하면 모델은 사람들이 사진에 캡션을 추가할 때 암시하는 복잡한 감정과 생각을 잃게 됩니다.

​그림 1: 약한 의미 상관 가정을 기반으로 한 BriVL 모델. a. 시각적 언어 정보 처리에 있어 BriVL 모델과 인간 두뇌의 비교. b. 약한 의미 관련 데이터 모델링과 강한 의미 관련 데이터 모델링의 비교.

인터넷에서 크롤링된 대규모 이미지와 텍스트 데이터를 학습하여 얻은 다중 모드 기본 모델은 강력한 일반화 능력과 상상력을 보여줍니다. 우리는 우리의 작업이 일반 인공 지능을 향한 중요한(잠재적으로 작은) 단계를 나타내며 신경 과학 및 의료와 같은 다양한 AI+ 분야에 광범위한 영향을 미칠 것이라고 믿습니다.

Method

우리는 대규모 다중 모드 데이터에 대한 자기 지도 학습을 위한 대규모 다중 모드 기본 모델을 개발하고 이를 BriVL(Bridging-Vision-and-Language)이라고 명명했습니다.

먼저 우리는 인터넷에서 구축된 대규모 다중 소스 이미지 및 텍스트 데이터 세트인 WSCD(Weak Semantic Correlation Dataset)를 사용합니다. WSCD는 뉴스, 백과사전, 소셜 미디어를 포함한 웹의 다양한 소스에서 중국어 이미지-텍스트 쌍을 수집합니다. 우리는 자연스러운 데이터 분포를 유지하기 위해 원본 데이터를 어떤 형태로든 편집하거나 수정하지 않고 WSCD에서 포르노 및 민감한 데이터만 필터링했습니다. 전체적으로 WSCD에는 스포츠, 일상생활, 영화 등 다양한 주제를 다루는 약 6억 5천만 개의 그림-텍스트 쌍이 있습니다.

두 번째로, 우리의 네트워크 아키텍처의 경우, 이미지와 텍스트 사이에 세밀한 지역 단어 매칭이 반드시 존재하는 것은 아니기 때문에 시간이 많이 걸리는 객체 감지기를 버리고 간단한 트윈 타워 아키텍처를 채택하여 다음과 같은 작업을 수행할 수 있었습니다. 두 개의 별도 인코더를 전달하여 이미지와 텍스트 입력을 인코딩합니다(그림 2). 트윈 타워 구조는 쿼리하기 전에 후보 세트의 특징을 계산하고 인덱싱하여 실제 애플리케이션의 실시간 요구 사항을 충족할 수 있기 때문에 추론 프로세스에서 효율성이 확실히 뛰어납니다. 셋째, 대규모 분산 훈련 기술과 자기 지도 학습의 발달로 라벨링되지 않은 대규모 멀티모달 데이터로 모델을 훈련하는 것이 가능해졌습니다.

구체적으로, 이미지-텍스트 쌍의 약한 상관관계를 모델링하고 통일된 의미 공간을 학습하기 위해 단일 모드 대조 학습 방법인 MoCo를 기반으로 하는 교차 모드 대조 학습 알고리즘을 설계했습니다. 그림 2에서 볼 수 있듯이 BriVL 모델은 모멘텀 메커니즘을 사용하여 다양한 훈련 배치에서 네거티브 샘플 대기열을 동적으로 유지합니다. 이런 방식으로 GPU 메모리 사용량(예: GPU 리소스 절약)을 줄이기 위해 상대적으로 작은 배치 크기를 사용하는 동시에 상대적으로 많은 수의 음성 샘플(대조 학습에 중요)을 갖게 됩니다.

​그림 2: 대규모 다중 모드 사전 훈련을 위한 BriVL 모델의 개략도.

주요 결과

Neural Network Visualization

단어나 설명적인 문장을 들으면 어떤 장면이 머릿속에 떠오릅니다. BriVL의 경우 약한 상관 관계가 있는 수많은 이미지-텍스트 쌍에 대해 사전 훈련된 후 텍스트가 주어졌을 때 무엇을 상상하는지 매우 궁금합니다.

구체적으로 먼저 텍스트를 입력하고 BriVL의 텍스트 인코더를 통해 텍스트 임베딩을 얻습니다. 그런 다음 잡음이 있는 이미지를 무작위로 초기화하고 이미지 인코더를 통해 해당 기능을 임베딩합니다. 입력 이미지는 무작위로 초기화되므로 그 특징이 입력 텍스트의 특징과 일치하지 않아야 합니다. 따라서 두 가지 특징 임베딩을 일치시키는 목표를 정의하고 역전파를 통해 입력 이미지를 업데이트합니다. 결과 이미지는 BriVL이 입력 텍스트를 어떻게 상상했는지 명확하게 보여줍니다. 여기서는 추가 모듈이나 데이터를 사용하지 않으며 사전 훈련된 BriVL도 시각화 프로세스 전반에 걸쳐 고정됩니다.

먼저 높은 수준의 의미 개념을 상상하는 BriVL의 능력을 소개합니다(그림 3). 보시다시피, 이러한 개념은 매우 추상적임에도 불구하고 시각화를 통해 구체적인 형태를 보여줄 수 있습니다(예: "자연": 풀과 같은 식물, "시간": 시계, "과학": 안경을 쓴 얼굴 및 삼각 플라스크; "꿈의 나라": 구름, 문으로 연결되는 다리, 꿈 같은 분위기). 추상적 개념을 일련의 구체적인 객체로 일반화하는 이러한 능력은 의미론적으로 관련된 데이터만 사용하여 다중 모달 사전 훈련의 효율성을 보여줍니다.

​그림 3: 추상 개념에 대한 BriVL 모델의 상상력.

그림 4에서는 BriVL의 문장 상상력을 보여줍니다. BriVL의 "구름 뒤에 햇빛이 있다"라는 상상력은 말 그대로 구름 뒤에 햇빛을 형상화했을 뿐만 아니라 바다의 위험한 상황(왼쪽에 배 모양의 물체와 파도가 있음)을 보여 주는 것처럼 보이며 이것이 암시하는 의미를 표현합니다. 문장 . 시각화 "여름 꽃으로 피어남"에서 우리는 꽃송이를 볼 수 있습니다. 다음 두 시나리오에 대한 더 복잡한 텍스트 입력은 모두 고대 중국 시에서 가져온 것이며 해당 구문은 훈련 세트에 있는 대부분의 텍스트와 완전히 다릅니다. BriVL도 이를 잘 이해할 수 있는 것 같습니다. "대나무 밖에 세 개 또는 두 개의 복숭아 꽃이 핀다"에 대해서는 "해가 산 위에 있고 황하가 강으로 흘러든다"에 대해서는 대나무와 분홍색 꽃이 있음을 알 수 있습니다. 바다'를 보면 산 위의 나무들이 지는 해를 가리고 있고, 그 앞에는 강 위에 작은 배가 있습니다. 전반적으로, 우리는 BriVL이 복잡한 문장을 요구할 때에도 상상력이 매우 뛰어나다는 것을 발견했습니다.

​그림 4: BriVL 모델의 중국어 문장 상상.

그림 5에서는 BriVL의 신경망 시각화에 여러 유사한 텍스트가 사용되었습니다. "Mountains with Forests"의 경우 이미지에 더 많은 녹색 영역이 있고 "Mountains with Stones"의 경우 이미지에 더 많은 바위가 있습니다. "Mountains with Snow"의 경우 중앙에 있는 나무 주변의 땅이 흰색 또는 파란색입니다. 폭포가 있는 산'이라는 제목의 푸른 물이 떨어지는 모습을 볼 수 있으며 심지어 약간의 수증기도 볼 수 있습니다. 이러한 시각화는 BriVL이 산 수정자를 정확하게 이해하고 상상할 수 있음을 보여줍니다.

​그림 5: BriVL 모델의 "...가 있는 산"에 대한 상상.

텍스트 생성 그래프

신경망 시각화는 매우 간단하지만 때로는 해석하기 어렵습니다. 그래서 우리는 BriVL이 상상한 콘텐츠를 우리 인간이 더 잘 이해할 수 있도록 대안적인 시각화/해석 가능성 접근 방식을 개발했습니다. 특히 ImageNet 데이터 세트에 대해 사전 훈련된 VQGAN은 사실적인 이미지를 생성하는 데 매우 뛰어나기 때문에 BriVL의 지침에 따라 VQGAN을 활용하여 이미지를 생성합니다. 먼저 토큰 시퀀스를 무작위로 얻고 사전 훈련된 VQGAN에서 생성된 이미지를 얻습니다. 다음으로 생성된 이미지를 BriVL의 이미지 인코더에 공급하고 텍스트 조각을 텍스트 인코더에 공급합니다. 마지막으로 이미지와 텍스트 임베딩 간의 일치 대상을 정의하고 역전파를 통해 초기 토큰 시퀀스를 업데이트합니다. 신경망 시각화와 마찬가지로 VQGAN과 BriVL은 모두 생성 프로세스 중에 고정됩니다. 비교를 위해 BriVL 대신 OpenAI의 CLIP 모델로 생성된 이미지도 표시합니다.

먼저 4개의 텍스트 입력을 선택하고 CLIP과 BriVL의 텍스트 생성 그래프 결과를 각각 그림 6과 그림 7에 표시했습니다. CLIP과 BriVL은 모두 텍스트를 잘 이해하지만 두 가지 주요 차이점도 관찰됩니다. 첫째, CLIP에서 생성된 이미지에는 만화 스타일의 요소가 나타나는 반면, BriVL에서 생성된 이미지는 더욱 사실적이고 자연스럽습니다. 둘째, CLIP은 단순히 요소를 함께 배치하는 경향이 있는 반면 BriVL은 보다 전체적으로 통합된 이미지를 생성합니다. 첫 번째 차이점은 CLIP과 BriVL에서 사용하는 훈련 데이터가 다르기 때문일 수 있습니다. 우리 훈련 데이터의 이미지는 인터넷에서 스크랩한 것입니다(주로 실제 사진). CLIP의 훈련 데이터에는 일정한 수의 만화 이미지가 있을 수 있습니다. 두 번째 차이점은 CLIP이 강한 의미적 상관관계(단어 필터링을 통해)를 갖는 이미지-텍스트 쌍을 사용하는 반면 우리는 약한 상관관계의 데이터를 사용한다는 사실 때문일 수 있습니다. 이는 다중 모달 사전 학습 중에 CLIP이 특정 개체와 단어/구문 간의 대응 관계를 학습할 가능성이 더 높은 반면 BriVL은 주어진 텍스트로 각 이미지를 전체적으로 이해하려고 시도한다는 것을 의미합니다.

​그림 6: CLIP(ResNet-50x4 포함)은 VQGAN을 사용하여 텍스트 생성 그래프 예제를 구현합니다.

​그림 7: 텍스트 생성을 위해 VQGAN을 사용하는 BriVL의 예.

또한 여러 연속 문장을 기반으로 일련의 이미지를 생성하는 더 어려운 작업도 고려했습니다. 그림 8에서 볼 수 있듯이 각 이미지는 독립적으로 생성되지만 4개의 ​​이미지가 시각적으로 일관되고 동일한 스타일을 가지고 있음을 알 수 있습니다. 이는 BriVL 모델의 또 다른 장점을 보여줍니다. 이미지의 환경과 배경은 관련 텍스트에서 명시적으로 언급하기 어렵지만 대규모 다중 모드 사전 학습에서는 무시되지 않습니다.

​그림 8: VQGAN을 사용하여 일련의 일관된 콘텐츠를 생성하는 BriVL의 예입니다.

그림 9에서는 인간이 거의 볼 수 없는 개념/시나리오(예: "불타는 바다", "빛나는 숲" 등), 심지어 현실에 존재하지 않는 개념/시나리오(예: "사이버펑크 도시" 및 "성")를 선택했습니다. 구름 속에"). 이는 BriVL의 우수한 성능이 사전 훈련 데이터에 대한 과적합에서 비롯되지 않는다는 것을 증명합니다. 여기에 입력된 개념/시나리오는 실제 생활에도 존재하지 않기 때문입니다(물론 사전 훈련 데이터 세트에는 없을 가능성이 가장 높음) ). 또한 이러한 생성된 예제는 의미론적으로 약한 관련 데이터에 대해 BriVL을 사전 훈련하는 것의 이점을 재확인합니다(세밀한 지역 단어 정렬은 BriVL의 상상력을 손상시킬 수 있으므로).

​그림 9: 더 많은 BriVL 텍스트 생성 결과, 인간이 흔히 볼 수 없거나 실제 생활에는 존재하지 않는 개념/장면.

또한 원격 감지 이미지 제로샷 분류, 중국 뉴스 제로샷 분류, 시각적 질문 응답 등과 같은 여러 다운스트림 작업에도 BriVL을 적용하여 몇 가지 흥미로운 결과를 얻었습니다. 우리 논문의 원본 텍스트를 참조하세요.

결론 및 토론

우리는 BriVL이라는 대규모 멀티모달 기본 모델을 개발했습니다. 이 모델은 의미론적으로 관련된 6억 5천만 개의 이미지와 텍스트에 대해 훈련되었습니다. 신경망 시각화 및 텍스트 생성 그래프를 통해 정렬된 이미지-텍스트 임베딩 공간을 직관적으로 보여줍니다. 또한 다른 다운스트림 작업에 대한 실험에서는 BriVL의 도메인 간 학습/전송 기능과 단일 모드 학습에 비해 다중 모드 학습의 장점도 보여줍니다. 특히, 우리는 BriVL이 상상하고 추론하는 능력을 어느 정도 습득한 것으로 나타났습니다. 우리는 이러한 장점이 주로 BriVL에 따른 약한 의미 상관 관계 가정에서 비롯된다고 믿습니다. 즉, 상호 연관이 약한 이미지-텍스트 쌍에서 복잡한 인간 감정과 생각을 마이닝함으로써 BriVL은 더욱 인지적이 됩니다.

우리는 일반 인공지능을 향한 우리의 발걸음이 인공지능 자체 분야뿐만 아니라 다양한 AI+ 분야에 폭넓은 영향을 미칠 것이라고 믿습니다. 인공 지능 연구를 위해 연구자들은 GPU 리소스 절약형 다중 모드 사전 훈련 프레임워크를 기반으로 BriVL을 더 큰 규모와 더 많은 양식으로 쉽게 확장하여 보다 일반적인 기본 모델을 얻을 수 있습니다. 대규모 다중 모드 기본 모델의 도움으로 연구자가 새로운 작업(특히 인간 주석 샘플이 충분하지 않은 작업)을 더 쉽게 탐색할 수 있습니다. AI+ 분야의 경우 기본 모델은 강력한 일반화 기능으로 인해 특정 작업 환경에 빠르게 적응할 수 있습니다. 예를 들어, 의료 분야에서 다중 모드 기본 모델은 사례의 다중 모드 데이터를 최대한 활용하여 신경 과학 분야에서 진단의 정확성을 향상시킬 수 있으며, 다중 모드 기본 모델은 다중 모드 정보가 메커니즘에서 어떻게 작동하는지 알아내는 데도 도움이 될 수 있습니다. 인간 두뇌의 융합은 인공 신경망이 인간 두뇌의 실제 신경 시스템보다 연구하기 쉽기 때문입니다.

그럼에도 불구하고 다중 모드 기본 모델은 여전히 ​​몇 가지 위험과 과제에 직면해 있습니다. 기본 모델은 특정 사항에 대한 편견과 고정관념을 학습할 수 있으며 이러한 문제는 모델 교육 전에 주의 깊게 해결되어야 하며 다운스트림 애플리케이션에서 모니터링 및 해결되어야 합니다. 또한, 기본 모델이 점점 더 많은 역량을 갖추게 되면서, 사회에 부정적인 영향을 끼치지 않도록 사악한 의도를 가진 사람들에 의해 악용되는 일이 없도록 주의해야 합니다. 또한 기본 모델에 대한 향후 연구에는 몇 가지 과제도 있습니다. 더 심층적인 모델 해석 도구를 개발하는 방법, 더 많은 양식으로 사전 학습 데이터 세트를 구축하는 방법, 보다 효과적인 미세 조정 기술을 사용하여 기본 모델을 변환하는 방법 등이 있습니다. 다양한 다운스트림 작업에 적용됩니다.

이 논문의 저자는 Fei Nanyi, Lu Zhiwu, Gao Yizhao, Yang Guoxing, Huo Yuqi, Wen Jingyuan, Lu Haoyu, Song Ruihua, Gao Xin, Xiang Tao, Sun Hao, Wen Jirong입니다. 교신 저자는 NPC Gao Ling 교수 Lu Zhiwu, 영구 부교수 Sun Hao 및 인공 지능 학교 Wen Jirong 교수입니다. 해당 논문은 국제종합저널 '네이처 커뮤니케이션즈(Nature Communications)'(영문명: 네이처 커뮤니케이션즈(Nature Communications, 통칭 Nat Commun))에 게재됐다. 이 논문은 Fei Nanyi가 해석했습니다.

위 내용은 인민 대학교 Hillhouse 인공 지능 학교의 Nature 하위 저널은 다중 모드 기본 모델을 사용하여 일반 인공 지능으로 나아가려고 시도합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!