"중국 인민대학교 연구원 Lu Zhiwu는 ChatGPT가 다중 모드 생성 모델에 미치는 중요한 영향을 제안했습니다."

다음은 Heart of the Machine이 주최한 ChatGPT 및 대형 모델 기술 컨퍼런스에서 Lu Zhiwu 교수의 연설 내용입니다. The Heart of the Machine이 원래 의미를 변경하지 않고 편집하고 정리했습니다.

안녕하세요 여러분, 저는 중국 인민대학교 루즈우입니다. 오늘 제 보고서의 제목은 "다중 모드 생성 모델에 대한 ChatGPT의 중요한 깨달음"이며, 네 부분으로 구성되어 있습니다.

우선, ChatGPT는 연구 패러다임 혁신에 대한 영감을 제공합니다. 첫 번째 포인트는 '빅모델+빅데이터'를 활용하는 것인데, 이는 이미 반복적으로 검증된 연구 패러다임이자 ChatGPT의 기본 연구 패러다임이기도 하다. 대규모 모델이 특정 수준에 도달한 경우에만 상황 내 학습, CoT 추론 및 기타 기능과 같은 새로운 기능을 갖게 된다는 점을 강조하는 것이 특히 중요합니다.

두 번째로 '대형 모델+추론'을 고집하는 것이 ChatGPT에서 가장 인상 깊었던 점이기도 합니다. 왜냐하면 기계학습이나 인공지능 분야에서는 추론이 가장 어려운 것으로 인식되고 있는데, ChatGPT도 이 점에서 획기적인 발전을 이루었기 때문입니다. 물론 ChatGPT의 추론 능력은 주로 코드 훈련에서 나올 수 있지만, 필연적인 연관성이 있는지 여부는 아직 확실하지 않습니다. 추론에 관해서는 그것이 어디에서 왔는지, 추론 능력을 더욱 향상시키기 위한 다른 훈련 방법이 있는지 알아내는 데 더 많은 노력을 기울여야 합니다.

세 번째 요점은 대형 모델이 인간과 정렬되어야 한다는 것입니다. 이는 ChatGPT가 엔지니어링 관점이나 모델 랜딩 관점에서 우리에게 제공하는 중요한 계시입니다. 인간과 일치하지 않으면 모델은 유해한 정보를 많이 생성하여 모델을 사용할 수 없게 됩니다. 세 번째 포인트는 모델의 상한을 높이는 것이 아니라 모델의 신뢰성과 보안성이 매우 중요하다는 것입니다.

ChatGPT의 출현은 저를 포함해 많은 분야에 큰 영향을 미쳤습니다. 나는 몇 년 동안 다중 양식을 수행해 왔기 때문에 왜 우리가 그렇게 강력한 모델을 만들지 않았는지 반성하기 시작할 것입니다.

ChatGPT는 언어나 텍스트 부문의 일반 세대 분야에서 최근 진행 상황을 살펴보겠습니다. 다중 모드 사전 훈련 모델은 다중 모드 일반 생성 모델로 변환되기 시작했으며 몇 가지 예비 탐색이 있었습니다. 먼저 구글이 2019년에 제안한 Flamingo 모델을 살펴보자. 다음 그림은 모델 구조이다.

Flamingo 모델 아키텍처의 본체는 대형 언어 모델의 디코더(Decoder)이며, 위 그림 오른쪽의 파란색 모듈은 각 파란색 모듈 사이에 일부 어댑터 레이어가 추가됩니다. 왼쪽의 시각적 부분은 Vision Encoder와 Perceiver Resampler를 추가한 것입니다. 전체 모델의 설계는 시각적인 것을 인코딩 및 변환하고 어댑터를 거쳐 언어에 맞게 정렬함으로써 모델이 이미지에 대한 텍스트 설명을 자동으로 생성할 수 있도록 하는 것입니다.

플라밍고 같은 건축 디자인의 장점은 무엇인가요? 우선 위 그림의 파란색 모듈은 언어 모델 Decoder를 포함하여 고정(동결)되어 있지만 분홍색 모듈 자체의 매개변수 양은 제어 가능하므로 Flamingo 모델에서 실제로 훈련하는 매개변수 수는 매우 적습니다. 따라서 다중 모드 범용 생성 모델을 구축하기가 어렵다고 생각하지 마십시오. 실제로는 그다지 비관적이지 않습니다. 훈련된 Flamingo 모델은 텍스트 생성을 기반으로 다양한 일반 작업을 수행할 수 있습니다. 물론 입력은 비디오 설명, 시각적 질문 및 답변, 다중 모드 대화 등과 같은 다중 모드입니다. 이러한 관점에서 Flamingo는 일반적인 생성 모델로 간주될 수 있습니다.

두 번째 예는 얼마 전에 새로 출시된 BLIP-2 모델입니다. BLIP-1을 기반으로 개선되었으며 모델 아키텍처는 기본적으로 대형 언어의 이미지 인코더와 디코더를 포함합니다. 모델에서는 이 두 부분이 고정되고 중간에 시각적 변환에서 언어 변환으로 변환 기능이 있는 Q-Former가 추가됩니다. 따라서 BLIP-2에서 실제로 훈련이 필요한 부분은 Q-Former입니다.

아래 그림과 같이 먼저 Image Encoder에 그림(오른쪽 그림)을 입력합니다. 가운데 텍스트는 Q-Former 인코딩 후 사용자가 제기한 질문이나 지시 사항입니다. 최종적으로는 이러한 생성 과정을 거쳐서 최종적으로 답변이 생성됩니다.

이 두 모델의 단점은 상대적으로 일찍 등장했거나 막 등장했기 때문에 명백하며 ChatGPT에서 사용하는 엔지니어링 방법은 고려되지 않았으며 적어도 그래픽 대화 또는 다중 모드에 대한 지침이 없습니다. 대화가 미세 조정되므로 전반적인 생성 효과가 만족스럽지 않습니다.

세 번째는 최근 Microsoft에서 출시한 Kosmos-1입니다. 구조가 매우 간단하고 훈련에 이미지와 텍스트 쌍만 사용합니다. Kosmos-1과 위 두 모델의 가장 큰 차이점은 위 두 모델의 대형 언어 모델 자체는 고정되어 있는 반면, Kosmos-1의 대형 언어 모델 자체는 학습이 필요하므로 Kosmos-1 모델의 수 매개변수의 수는 16억 개에 불과하며, 16억 개의 매개변수를 가진 모델은 등장할 능력이 없을 수도 있습니다. 물론 코스모스-1은 그래픽 대화의 명령 미세 조정을 고려하지 않아 가끔 말도 안되는 소리를 내기도 했습니다.

다음 예는 Google의 다중 모드 구현 시각적 언어 모델 PaLM-E입니다. PaLM-E 모델은 처음 세 가지 예와 유사하며 ViT + 대규모 언어 모델도 사용합니다. PaLM-E의 가장 큰 혁신은 마침내 로봇 공학 분야에서 다중 모드 대형 언어 모델 구현 가능성을 탐색한다는 것입니다. PaLM-E는 탐색의 첫 번째 단계를 시도하지만 고려하는 로봇 작업 유형은 매우 제한적이며 실제로 보편적일 수 없습니다.

마지막 예는 GPT-4입니다. 이는 표준 데이터 세트에서 특히 놀라운 결과를 제공하며, 현재 데이터 세트에 대해 훈련된 미세 조정된 SOTA 모델보다 몇 배 더 좋습니다. 이것은 충격으로 다가올 수도 있지만 실제로는 아무 의미도 없습니다. 2년 전 다중 모드 대형 모델을 구축할 때 표준 데이터 세트에서 대형 모델의 성능을 평가할 수 없다는 사실을 발견했습니다. 둘. 큰 격차. 이런 이유로 현재의 GPT-4는 표준 데이터 세트에서만 결과를 제공하므로 약간 실망스럽습니다. 그리고 현재 사용 가능한 GPT-4는 시각적 버전이 아닌 순수 텍스트 버전입니다.

일반적으로 위 모델은 일반 언어 생성에 사용되며 입력은 다중 모드 입력입니다. 다음 두 모델은 일반 언어 생성뿐만 아니라 비전 생성도 가능합니다. 언어와 이미지를 모두 생성합니다.

첫번째는 마이크로소프트의 Visual ChatGPT인데 간단히 평가해보겠습니다. 이 모델의 아이디어는 매우 단순하며 제품 디자인 고려 사항에 가깝습니다. 비전 관련 생성에는 다양한 유형이 있으며 일부 시각적 감지 모델도 있습니다. 이러한 다양한 작업에 대한 입력과 지침은 매우 다양합니다. 문제는 하나의 모델을 사용하여 이러한 모든 작업을 포함하는 방법이므로 Microsoft는 프롬프트 관리자를 설계했습니다. OpenAI의 ChatGPT는 ChatGPT를 통해 다양한 시각적 생성 작업에 대한 지침을 번역하는 것과 같습니다. 사용자의 질문은 자연어로 설명된 지침이며, 이는 ChatGPT를 통해 기계가 이해할 수 있는 지침으로 변환됩니다.

비주얼 채팅GPT가 바로 그런 일을 합니다. 그래서 제품 관점에서는 정말 좋지만 모델 디자인 관점에서는 새로운 것은 없습니다. 따라서 전체 모델은 모델 관점에서 볼 때 "스티치 괴물"입니다. 통일된 모델 교육이 없으므로 서로 다른 양식 간의 상호 승격이 없습니다. 우리가 다중 양식을 수행하는 이유는 서로 다른 양식의 데이터가 서로 도움이 되어야 한다고 믿기 때문입니다. 그리고 Visual ChatGPT는 다중 모드 생성 명령 미세 조정을 고려하지 않습니다. 명령 미세 조정은 ChatGPT 자체에만 의존합니다.

다음 예시는 칭화대학교 Zhu Jun 교수팀이 출시한 UniDiffuser 모델입니다. 학문적 관점에서 볼 때 이 모델은 다중 모드 입력에서 텍스트 및 시각적 콘텐츠를 실제로 생성할 수 있습니다. 이는 Stable Diffusion의 핵심 구성 요소인 U-Net과 유사한 변환기 기반 네트워크 아키텍처 덕분입니다. 그런 다음 이미지를 생성하고 텍스트 생성이 프레임워크로 통합됩니다. 이 작업 자체는 매우 의미가 있지만 아직은 상대적으로 초기 단계입니다. 예를 들어 캡션 및 VQA 작업만 고려하고 여러 라운드의 대화를 고려하지 않으며 다중 모드 생성을 위한 지침을 미세 조정하지 않습니다.

이전에 리뷰가 너무 많아서 아래 사진처럼 ChatImg라는 제품도 만들었어요. 일반적으로 ChatImg에는 이미지 인코더, 다중 모드 이미지 및 텍스트 인코더, 텍스트 디코더가 포함되어 있습니다. 이는 Flamingo 및 BLIP-2와 유사하지만 더 많은 것을 고려하며 특정 구현에 세부적인 차이점이 있습니다.

ChatImg의 가장 큰 장점 중 하나는 비디오 입력을 수용할 수 있다는 것입니다. 우리는 텍스트 생성, 이미지 생성, 비디오 생성을 포함한 다중 모드 일반 생성에 특별한 관심을 기울입니다. 우리는 이 프레임워크에서 다양한 생성 작업을 구현하고 궁극적으로 텍스트에 액세스하여 비디오를 생성하기를 희망합니다.

둘째, 실제 사용자 데이터에 특별한 관심을 기울이고 있습니다. 생성 모델 자체를 지속적으로 최적화하고 실제 사용자 데이터를 얻은 후 성능을 향상시키기 위해 ChatImg 애플리케이션을 출시했습니다.

다음 사진은 초기 모델로서 아직 잘 수행되지 않은 부분이 있지만 일반적으로 ChatImg는 사진을 이해할 수 있는 몇 가지 예입니다. 예를 들어 ChatImg는 대화에서 그림에 대한 설명을 생성할 수 있으며 상황에 맞는 학습도 수행할 수 있습니다.

위 그림의 첫 번째 예는 설명에서 "별이 빛나는 밤" 그림을 설명합니다. ChatImg는 그것이 틀렸다고 말하면 즉시 수정할 수 있습니다. 예 ChatImg는 사진 속 물체에 대해 물리적인 추론을 했습니다. 세 번째 예는 제가 직접 찍은 사진인데 두 개의 무지개가 포함되어 있었고 정확하게 인식되었습니다.

위 그림의 세 번째와 네 번째 사례는 감정적인 문제와 관련되어 있음을 확인했습니다. 이는 실제로 우리가 다음에 수행할 작업과 관련이 있습니다. ChatImg를 로봇에 연결하려고 합니다. 오늘날의 로봇은 일반적으로 수동적이며 모든 지침이 미리 설정되어 있어 매우 경직된 것처럼 보입니다. ChatImg에 연결된 로봇이 사람들과 활발하게 소통할 수 있기를 바랍니다. 어떻게 해야 하나요? 우선, 로봇은 사람을 느낄 수 있어야 세상의 상황과 사람의 감정을 객관적으로 볼 수도 있고, 반성을 통해 사람을 이해하고 적극적으로 소통할 수도 있습니다. 이 두 가지 사례를 통해 저는 이 목표가 달성 가능하다고 느꼈습니다.

마지막으로 오늘 보고서를 요약해보겠습니다. 우선, ChatGPT와 GPT-4는 연구 패러다임에 혁신을 가져왔습니다. 우리 모두는 이러한 변화를 적극적으로 수용해야 합니다. 이러한 변화에 직면하는 한 우리는 자원이 없다고 불평하거나 변명할 수 없습니다. 어려움을 극복하기 위해. 다중 모드 연구에는 수백 개의 카드가 있는 기계도 필요하지 않습니다. 해당 전략을 채택하는 한 소수의 기계가 좋은 작업을 수행할 수 있습니다. 둘째, 기존 다중 모드 생성 모델에는 모두 고유한 문제가 있습니다. GPT-4에는 아직 공개된 시각적 버전이 없으며 우리 모두에게 여전히 기회가 있습니다. 게다가 GPT-4에는 여전히 문제가 있다고 생각하는데, 이는 다중 모드 생성 모델이 궁극적으로 어떤 모습이어야 하는지에 대한 완벽한 답변을 제공하지 않습니다(사실 GPT-4의 세부 사항을 공개하지 않습니다). 이것은 실제로 좋은 일입니다. 전 세계 사람들은 매우 똑똑하고 각자 자신의 생각을 가지고 있습니다. 이것은 백 개의 꽃이 피는 새로운 연구 상황을 만들 수 있습니다. 제 연설은 여기까지입니다. 모두 감사합니다.

위 내용은 "중국 인민대학교 연구원 Lu Zhiwu는 ChatGPT가 다중 모드 생성 모델에 미치는 중요한 영향을 제안했습니다."의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!