2022년 딥러닝 발전 동향 및 이슈

우리는 인공지능(AI) 딥 러닝 분야에서 흥미로운 발전이 있었던 또 다른 한 해를 보냈습니다. 주목할만한 발전과 논쟁, 물론 논쟁으로 가득 찬 한 해였습니다. 2022년을 마무리하고 2023년을 맞이할 준비를 하면서 올해 딥 러닝에서 가장 주목할 만한 전반적인 동향은 다음과 같습니다.

1. 규모는 여전히 중요한 요소입니다.

지난 몇 년 동안 딥 러닝에서 변함없이 유지된 한 가지 주제는 더 큰 신경망을 만들려는 추진력입니다. 컴퓨터 리소스의 가용성을 통해 확장 가능한 신경망은 물론 특수 AI 하드웨어, 대규모 데이터 세트, 변환기 모델과 같은 확장 친화적인 아키텍처를 개발할 수 있습니다.

현재 기업에서는 신경망을 더 큰 규모로 확장하여 더 나은 결과를 얻고 있습니다. 지난 해 DeepMind는 2,800억 개의 매개변수를 포함하는 대규모 언어 모델(LLM)인 Gopher를 출시했으며, Google은 5,400억 개의 매개변수를 포함하는 Pathways 언어 모델(PaLM)과 최대 1조 2천억 개의 매개변수를 포함하는 일반 언어 모델(GLaM)을 출시했습니다. ; Microsoft와 NVIDIA는 5,300억 매개변수 LLM인 Megatron-Turing NLG를 출시했습니다.

규모의 흥미로운 측면 중 하나는 더 큰 모델이 작은 모델에서는 불가능한 작업을 성공적으로 수행하는 출현 능력입니다. 이 현상은 LLM에서 특히 흥미롭습니다. 규모가 증가함에 따라 모델은 더 넓은 범위의 작업과 벤치마크에서 유망한 결과를 보여줍니다.

그러나 가장 큰 모델에서도 딥 러닝의 일부 근본적인 문제는 해결되지 않은 채 남아 있다는 점은 주목할 가치가 있습니다(나중에 자세히 설명).

2. 비지도 학습은 계속해서 제공됩니다

많은 성공적인 딥 러닝 애플리케이션에서는 지도 학습이라고도 알려진 훈련 사례에 라벨을 지정해야 합니다. 그러나 인터넷에서 사용할 수 있는 대부분의 데이터에는 지도 학습에 필요한 명확한 레이블이 제공되지 않습니다. 데이터 주석은 비용이 많이 들고 느리기 때문에 병목 현상이 발생합니다. 이것이 바로 연구자들이 사람이 주석을 추가한 데이터 없이 딥 러닝 모델을 훈련시키는 비지도 학습의 발전을 오랫동안 추구해 온 이유입니다.

이 분야는 최근 몇 년간 큰 발전을 이루었습니다. 특히 인터넷에서 수집한 대규모 원시 데이터 세트를 주로 교육하는 LLM 분야에서 더욱 그렇습니다. LL.M.은 2022년에도 계속해서 입지를 다지고 있지만 비지도 학습 기술의 다른 추세도 인기를 얻고 있습니다.

예를 들어, 텍스트-이미지 변환 모델은 올해 놀라운 발전을 이루었습니다. OpenAI의 DALL-E 2, Google의 Imagen, Stability AI의 Stable Diffusion과 같은 모델은 비지도 학습의 힘을 보여줍니다. 주석이 잘 달린 이미지와 설명 쌍이 필요한 이전 텍스트-이미지 모델과 달리 이러한 모델은 이미 인터넷에 존재하는 느슨하게 캡션이 있는 이미지의 대규모 데이터 세트를 사용합니다. 훈련 데이터세트의 엄청난 크기(수동 라벨링이 필요하지 않기 때문에 가능함)와 자막 구성표의 가변성을 통해 이러한 모델은 텍스트 정보와 시각적 정보 사이의 다양하고 복잡한 패턴을 찾을 수 있습니다. 따라서 다양한 설명을 위한 이미지를 생성하는 데 더 유연합니다.

3. 다중 양식은 큰 발전을 이루었습니다.

텍스트-이미지 생성기에는 또 다른 흥미로운 기능이 있습니다. 즉, 여러 데이터 유형을 단일 모델에 결합합니다. 여러 패턴을 처리할 수 있으면 딥 러닝 모델이 더 복잡한 작업을 수행할 수 있습니다.

다양성(Multimodality)은 인간과 동물의 지능에 매우 중요합니다. 예를 들어, 나무를 보고 나뭇가지에 바스락거리는 바람 소리를 들으면 뇌는 빠르게 그 나무들을 연결할 수 있습니다. 마찬가지로 '나무'라는 단어를 보면 나무의 이미지가 빠르게 떠오르거나, 비가 내린 후 소나무 냄새가 생각나거나, 이전에 겪었던 다른 경험이 떠오를 수도 있습니다.

분명히 다중 양식은 딥 러닝 시스템을 더욱 유연하게 만드는 데 중요한 역할을 합니다. 이는 아마도 이미지, 텍스트, 고유 수용 데이터를 포함한 다양한 데이터 유형에 대해 훈련된 딥 러닝 모델인 DeepMind의 Gato에서 가장 잘 입증될 것입니다. Gato는 이미지 캡션 작성, 대화형 대화, 로봇 팔 제어, 게임 플레이 등 다양한 작업에 탁월합니다. 이는 단일 작업을 수행하도록 설계된 기존 딥 러닝 모델과 대조됩니다.

일부 연구자들은 인공 지능(AGI)을 구현하려면 Gato와 같은 시스템만 필요하다는 개념을 제안했습니다. 많은 과학자들이 이 견해에 동의하지 않지만, 다중 양식이 딥 러닝에 중요한 성과를 가져왔다는 것은 확실합니다.

4. 딥러닝의 근본적인 문제는 여전히 남아 있습니다.

딥러닝의 놀라운 성과에도 불구하고 이 분야의 일부 문제는 해결되지 않은 채로 남아 있습니다. 여기에는 인과관계, 구성성, 상식, 추론, 계획, 직관적 물리학, 추상화 및 비유가 포함됩니다.

이것들은 다양한 분야의 과학자들이 아직도 연구하고 있는 지능의 신비 중 일부입니다. 순전히 규모 및 데이터 기반의 딥 러닝 접근 방식은 이러한 문제 중 일부에 대해 점진적인 진전을 이루는 데 도움이 되었지만 명확한 솔루션을 제공하는 데는 실패했습니다.

​예를 들어, 규모가 큰 LLM은 긴 텍스트 전체에서 일관성과 일관성을 유지할 수 있습니다. 그러나 신중한 단계별 추론과 계획이 필요한 작업에서는 실패했습니다.

마찬가지로 텍스트-이미지 생성기는 멋진 그래픽을 생성하지만 구성이 필요하거나 복잡한 설명이 있는 이미지를 그리라는 요청을 받으면 기본적인 실수를 합니다.

딥 러닝의 선구자들을 포함하여 다양한 과학자들이 이러한 과제에 대해 논의하고 탐구하고 있습니다. 이들 중 가장 유명한 사람은 Turing Award를 수상한 CNN(Convolutional Neural Network)의 발명가인 Yann LeCun입니다. 그는 최근 텍스트로만 학습하는 LLM의 한계에 대한 장문의 기사를 썼습니다. LeCun은 세계의 모델을 학습할 수 있고 현재 현장이 직면하고 있는 몇 가지 과제를 해결할 수 있는 딥 러닝 아키텍처를 개발하고 있습니다.

딥 러닝은 많은 발전을 이루었습니다. 그러나 우리가 더 많이 발전할수록 진정한 지능형 시스템을 만드는 데 따르는 어려움을 더 많이 깨닫게 됩니다. 내년에도 분명 올해만큼 흥미로울 것입니다.

위 내용은 2022년 딥러닝 발전 동향 및 이슈의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!