AI 발달로 70년 만에 통일 될까? Ma Yi, Cao Ying, Shen Xiangyang의 최신 AI 리뷰: 지능 생성의 기본 원리와 "표준 모델" 탐구

​인공지능은 70년 동안 발전해 왔습니다. 기술적 지표가 지속적으로 갱신되고 있지만, "지능"이 정확히 무엇인지, 그것이 어떻게 출현하고 발전했는지에 대한 답은 아직 없습니다.

최근 Ma Yi 교수는 컴퓨터 과학자 Dr. Shen Xiangyang 및 신경과학자 Cao Ying 교수와 팀을 이루어 지능의 출현과 발달에 관한 연구 리뷰를 발표했습니다. 인공지능 모델의 이해와 해석 가능성.

문서 링크: http://arxiv.org/abs/2207.04630

이 기사에서는 절약과 자기 일관성이라는 두 가지 기본 원칙을 소개합니다.

저자는 이것이 인공적이든 자연적이든 지능 상승의 초석이라고 믿습니다. 고전 문헌에서 이 두 가지 원칙 각각에 대해 수많은 논의와 정교함이 있지만, 이 글에서는 이 두 가지 원칙을 완전히 측정 가능하고 계산 가능한 방식으로 재해석합니다.

이 두 가지 첫 번째 원칙을 기반으로 저자는 효율적인 계산 프레임워크, 즉 현대 심층 네트워크와 많은 인공 지능 사례의 진화를 통합하고 설명하는 압축 폐쇄 루프 전사를 도출합니다.

두 가지 기본 원칙: 단순성과 자체 일관성

딥 러닝의 축복으로 지난 10년 동안 인공 지능의 발전은 주로 원유를 사용하여 동질적인 블랙 박스 모델을 훈련하는 데 달려 있습니다. 대규모 신경망 훈련을 위한 공학적 방법.

성능이 향상되어 수동으로 특징을 설계할 필요가 없지만 신경망 내부에서 학습된 특징 표현은 해석할 수 없으며 대형 모델은 데이터 수집 및 계산 비용이 증가하는 등의 다른 문제를 가져옵니다. 학습된 표현에는 풍부함, 안정성(모드 붕괴), 적응성(치명적인 망각이 발생하기 쉬움)이 부족하고 변형이나 적대적 공격 등에 대한 견고성이 부족합니다.

저자는 현재의 심층 네트워크 및 인공지능 실행에서 이러한 문제가 발생하는 근본적인 이유 중 하나가 지능형 시스템의 기능과 조직 원리에 대한 체계적이고 포괄적인 이해가 부족하기 때문이라고 믿습니다.

예를 들어 분류를 위한 판별 모델과 샘플링 또는 재생을 위한 생성 모델을 훈련하는 것은 기본적으로 실제로는 별개입니다. 이러한 방식으로 훈련된 모델은 일반적으로 개방 루프 시스템이라고 하며 감독 또는 자체 감독을 통한 엔드투엔드 훈련이 필요합니다.

제어 이론에서 이러한 개방 루프 시스템은 예측 오류를 자동으로 수정할 수 없으며 환경 변화에 적응할 수 없습니다. 이는 바로 이러한 문제 때문에 제어 시스템에서 "폐쇄 루프 피드백"을 광범위하게 사용하는 것입니다. " 시스템이 자동으로 오류를 수정할 수 있도록 합니다.

비슷한 경험이 학습에도 적용됩니다. 차별적 모델과 생성적 모델이 결합되어 완전한 폐쇄 루프 시스템을 형성하면 학습이 자율적이 되고(외부 감독 없이) 더 효율적이고 안정적이며 더 효율적이 될 수 있습니다.

판별자나 생성자 등 지능 시스템에 필요할 수 있는 기능적 구성 요소를 이해하려면 보다 "원칙적"이고 "통합된" 관점에서 지능을 이해해야 합니다.

이 기사는 학습에 대한 두 가지 기본 질문에 각각 답하는 절약과 자기 일관성이라는 두 가지 기본 원칙을 제안합니다.

• 무엇을 배울 것인가: 데이터로부터 무엇을 배울 것이며, 학습의 질을 측정하는 방법은 무엇입니까?

• 학습 방법: 효율적이고 효과적인 컴퓨팅 프레임워크를 통해 이러한 학습 목표를 어떻게 달성할 수 있나요?

"무엇을 배울 것인가"라는 첫 번째 질문에 대해 단순성의 원칙은 다음과 같습니다.

지능 시스템의 학습 목표는 외부 세계의 관찰 데이터에서 저차원 구조를 찾는 것입니다. , 그리고 가장 간결하고 종합적인 방식으로 이를 구조적으로 재구성하여 표현합니다.

이것은 "Occam의 면도날" 원칙입니다. 필요한 경우가 아니면 엔터티를 추가하지 마세요.

이 원칙이 없으면 지능은 불가능합니다! 외부 세계의 관찰 데이터가 저차원 구조를 갖고 있지 않다면 학습할 가치도 기억할 가치도 없을 것이며, 좋은 일반화나 예측도 불가능할 것입니다.

그리고 지능형 시스템은 에너지, 공간, 시간, 물질 등 자원을 최대한 절약해야 합니다. 어떤 경우에는 이 원리를 "압축 원리"라고도 합니다. 그러나 지능의 절약은 최상의 압축을 달성하는 것이 아니라 효율적인 컴퓨팅 수단을 통해 관찰 데이터의 가장 간결하고 구조화된 표현을 얻는 것입니다.

그렇다면 단순성을 어떻게 측정할까요?

일반적인 고차원 모델의 경우 일반적으로 사용되는 많은 수학적 또는 통계적 "측정값"의 계산 비용은 기하급수적이거나 심지어 저차원 구조의 데이터 분포에 대해 정의되지 않습니다(예: 최대 우도, KL 발산, 상호 정보). , Jensen-Shannon 및 Wasserstein 거리 등

저자는 학습의 목적이 실제로 원래의 고차원 입력에서 저차원 표현을 얻기 위해 매핑(일반적으로 비선형)을 설정하는 것이라고 믿습니다.

이러한 방식으로 얻은 특성 z의 분포는 더욱 컴팩트하고 구조화되어야 합니다. 컴팩트하다는 것은 보다 경제적인 저장을 의미하며, 특히 보간되거나 이상적인 선형 구조를 의미합니다. 외삽을 위해.

이 목적을 위해 저자는 세 가지 하위 목표를 달성하기 위해 LDR(선형 판별 표현)을 도입합니다.

1. 압축: 고차원 감각 데이터 x를 저차원 표현 z로 매핑
2. 선형화 : 비선형 하위 표면에 분포된 각 유형의 객체를 선형 하위 공간에 매핑합니다.
3. Sparsification: 서로 다른 범주를 상호 독립적이거나 관련성이 가장 낮은 하위 공간에 매핑합니다.

이러한 목표는 학습된 LDR 모델이 최적의 간결한 성능을 갖도록 최대 코딩 속도 감소(속도 감소)를 통해 달성할 수 있습니다.

두 번째 "학습 방법" 질문에 대해 자기 일관성 원칙은 다음과 같습니다.

자율 지능 시스템은 관찰된 데이터와 재생성된 데이터를 최소화하여 내부적으로 표현됩니다. 외부 세계를 관찰하기 위한 가장 일관된 모델입니다.

절약의 원칙만으로는 학습된 모델이 외부 세계에 대한 데이터에 대한 모든 중요한 정보를 캡처한다고 보장할 수 없습니다. 예를 들어, 교차 엔트로피를 최소화하여 각 범주를 1차원 원-핫 벡터로 매핑하는 것은 절약의 한 형태로 볼 수 있습니다.

좋은 분류기를 학습할 수도 있지만 학습된 특징이 신경 붕괴라고도 알려진 싱글톤으로 붕괴될 수도 있습니다. 이러한 학습된 기능에는 더 이상 원본 데이터를 재생성하기에 충분한 정보가 포함되지 않습니다.

더 일반적인 LDR 모델을 고려하더라도 코딩 속도 차이를 최대화하는 것만으로는 환경 특징 공간의 정확한 크기를 자동으로 결정할 수 없습니다.

특징 공간의 차원이 너무 낮으면 학습된 모델이 데이터와 일치하지 않으며, 너무 높으면 모델이 과도하게 일치할 수 있습니다.

보다 일반적으로 우리는 지각 학습을 특정 작업 학습과 구별되는 것으로 생각합니다. 지각의 목표는 지각되는 것에 대해 예측 가능한 모든 것을 배우는 것입니다.

아인슈타인이 말했듯이 "모든 것은 단순해야 하지만 너무 단순해서는 안 됩니다."

Universal Learning Engine

이 두 가지 원칙을 바탕으로 기사는 시각적 이미지 데이터로 모델링되었습니다. 예를 들어, 압축 폐쇄 루프 전사 프레임워크가 파생됩니다.

내부 표현의 차이를 비교하고 최소화하여 LDR을 달성하기 위해 비선형 데이터 하위 흐름 패턴의 압축된 폐쇄 루프 전사를 내부적으로 수행합니다.

인코더/센서와 디코더/컨트롤러 사이의 추적 및 비행 게임을 통해 디코딩된 표현으로 생성된 데이터 배포를 통해 관찰된 실제 데이터 배포를 추적하고 일치시킬 수 있습니다.

또한 저자는 압축된 폐쇄 루프 전사가 증분 학습을 효과적으로 수행할 수 있음을 지적했습니다.

새로운 데이터 클래스에 대한 LDR 모델은 인코더와 디코더 사이의 제한된 게임을 통해 학습될 수 있습니다. 과거에 학습된 클래스의 메모리는 게임 내 제약 조건으로 자연스럽게 유지될 수 있습니다. 즉, "고정점"으로 " 폐쇄 루프 전사의 경우.

이 기사는 또한 이 프레임워크의 보편성에 대한 더 추측적인 아이디어를 제시하고 이를 3차원 비전 및 강화 학습으로 확장하며 신경 과학, 수학 및 고급 지능에 미치는 영향을 예측합니다.

첫 번째 원칙에서 파생된 이 프레임워크를 통해 정보 코딩 이론, 폐쇄 루프 피드백 제어, 최적화/심층 네트워크 및 게임 이론의 개념은 모두 유기적으로 통합되어 자율 주행의 필수 구성 요소입니다. 지능형 시스템.

압축된 폐쇄 루프 아키텍처는 뇌(압축 감각 정보)부터 척추 회로(압축 근육 운동), DNA(단백질의 압축된 기능정보)까지.

그래서 저자는 압축 폐쇄 루프 전사가 모든 지능적인 행동 뒤에 있는 "보편적 학습 엔진"이 되어야 한다고 믿습니다. 자연지능이나 인공지능 시스템이 겉으로는 복잡해 보이는 감각 데이터에서 저차원 구조를 발견하고 다듬어 간결하고 규칙적인 내부 표현으로 변환함으로써 미래의 외부 세계에 대한 올바른 판단과 예측을 가능하게 합니다.

이것은 모든 지능의 발생과 발달을 위한 계산 기반이자 메커니즘입니다.

참고자료: http://arxiv.org/abs/2207.04630​

위 내용은 AI 발달로 70년 만에 통일 될까? Ma Yi, Cao Ying, Shen Xiangyang의 최신 AI 리뷰: 지능 생성의 기본 원리와 "표준 모델" 탐구의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!