AI에도 기억상실증이 있나요? 41세 영국 교수와의 단독 인터뷰: 치명적인 망각을 해결하다

​지속적인 학습을 달성하고 AI를 지속적으로 개선하는 방법은 무엇입니까?

최근 로체스터 대학의 컴퓨터 과학자인 41세 Christopher Kanan은 독점 인터뷰에서 AI가 인간처럼 시간이 지남에 따라 지속적으로 학습할 수 있는 알고리즘을 구축하고 있다고 말했습니다.

재앙적인 망각

우리 모두 알고 있듯이 AI는 훈련 후에 "시험 범위 내에서" 작업을 매우 잘 완료할 수 있지만 이러한 알고리즘은 인간과 같은 새로운 정보로 지식 기반을 지속적으로 업데이트할 수 없습니다.

새로운 것을 하나라도 배우기 위해서는 알고리즘을 처음부터 다시 훈련해야 하며, 그 대가로 이전에 배운 거의 모든 것을 잊어야 합니다. 이것이 가져오는 문제는 - "재앙적인 망각"입니다. 새로운 친구를 만났을 때와 마찬가지로, 그 친구의 이름을 알 수 있는 유일한 방법은 두뇌를 재부팅하는 것입니다.

이런 일이 발생하는 이유는 신경망이 새로운 것을 학습하는 방식 때문입니다. 이러한 알고리즘을 학습하려면 뉴런 간의 연결 강도를 변경해야 합니다. 그러나 이는 과거 지식이기도 하므로 연결을 너무 많이 변경하면 망각하게 됩니다.

생물학적 신경망은 중요한 정보를 안정적으로 유지하기 위해 수억 년에 걸쳐 전략을 발전시켜 왔습니다. 그러나 오늘날의 인공 신경망은 오래된 지식과 새로운 지식 사이의 적절한 균형을 맞추는 데 어려움을 겪고 있습니다. 네트워크가 새로운 데이터를 볼 때 연결이 쉽게 덮어쓰기될 수 있으며, 이로 인해 과거 정보를 인식할 수 없는 갑작스럽고 심각한 문제가 발생할 수 있습니다.

1. 철학 공부가 연구에 대한 생각에 어떤 영향을 미쳤나요?

당신에게 가르치는 철학은 "합리적인 주장을 하는 방법"과 "다른 사람의 주장을 분석하는 방법"입니다.

저의 연구실은 다음 질문에서 영감을 받았습니다: X를 할 수 없다면 Y를 어떻게 할 수 있습니까? ?

우리는 시간이 지남에 따라 학습하지만 신경망은 학습하지 않으며 지식의 양은 고정되어 있습니다. 그래서 미래에 인간이 일반 인공지능을 만들고자 한다면 이는 반드시 해결해야 할 기본적인 문제이다.

Kanan의 연구 노트

2. 현재 학계에서는 치명적인 망각 문제를 해결하기 위한 진전이 무엇인가요?

현재 가장 성공적인 방법은 Replay라고 하는데, 이는 과거 지식을 저장했다가 훈련 과정 중에 새로운 데이터 세트로 재생할 수 있어 원래 정보가 손실되지 않습니다.

이 방법은 우리 두뇌의 기억 통합 과정에서 영감을 얻었습니다. 수면 중에 뉴런이 활성화됨에 따라 하루 학습 내용이 다시 인코딩되고 재생됩니다.

즉, 새로운 학습이 알고리즘의 과거 지식을 완전히 근절할 수는 없습니다.

이를 달성하는 방법에는 세 가지가 있습니다.

• 가장 일반적인 접근 방식은 연구자가 원래 입력의 하위 집합(예: 객체 인식 작업을 위한 원시 이미지)을 저장한 다음 저장된 과거 이미지를 학습된 새 이미지와 혼합하는 '실제 재생'입니다.
• 두 번째 방법은 이미지의 압축된 표현을 재생하는 것입니다.
• 세 번째 덜 일반적인 방법은 "재생 생성"입니다.

여기서 인공 신경망은 실제로 과거 경험의 합성 버전을 생성한 다음 해당 합성 사례와 새로운 사례를 혼합합니다. 내 연구실에서는 후자의 두 가지 접근 방식에 중점을 두고 있습니다.

3. 치명적인 망각을 완전히 해결할 수 있다면 AI가 시간이 지남에 따라 새로운 것을 배울 수 있다는 뜻인가요?

정확히는 아닙니다. 지속적인 학습 분야의 열린 문제는 치명적인 망각이 아니라고 생각합니다.

제가 정말 관심을 갖는 것은

과거의 학습이 미래의 학습을 어떻게 더 효율적으로 만들 수 있을까요? 미래 학습은 과거 학습을 어떻게 교정합니까? 이것은 극소수의 사람들이 측정하는 것입니다. 저는 그렇게 하는 것이 이 분야를 발전시키는 핵심 부분이라고 생각합니다. 왜냐하면 실제로는 무언가를 잊어버리는 것이 아니라 더 나은 학습자가 되는 것이기 때문입니다.

크리스토퍼 케이넌이 말했습니다:

우리 머리 속에서는 확실히 현대 신경망보다 훨씬 더 많은 일이 일어나고 있습니다. 과거 학습이 미래 학습에 도움이 되는지 측정하려면 올바른 실험 및 알고리즘 설정을 설정해야 합니다. 그리고 지금 가장 큰 문제는 지속적인 학습을 연구할 수 있는 좋은 데이터 세트가 없다는 점입니다. 우리는 기본적으로 전통적인 기계 학습에 사용되는 기존 데이터 세트를 가져와 처음부터 개발하고 있습니다.

일반적으로 기계 학습의 일반적인 작동은 훈련 세트와 테스트 세트가 있다는 것입니다. 훈련 세트로 훈련하고 테스트 세트로 테스트합니다.

그러나 지속적인 학습은 이러한 규칙을 깨뜨리므로 트레이너가 학습함에 따라 훈련 세트가 발전할 수 있으므로 매우 좋은 지속적인 학습 환경이 필요합니다.

4. 이상적인 지속적인 학습 환경은 어떤 모습이어야 할까요?

있는 것보다 없는 것을 말하는 것이 더 쉽습니다.

그것이 가질 수 있는 속성을 알려드릴 수 있습니다. 그래서 지금은 AI 알고리즘이 시뮬레이션에서 구현된 지능이 아니라고 가정해보자. 그리고 적어도 이상적으로는 우리는 비디오나 다중 모드 비디오 스트림과 같은 것에서 학습하고 있으며 단순히 정적 이미지를 분류하는 것 이상의 작업을 수행하고 싶습니다.

이에 관해 공개 질문이 많이 있습니다. 몇 년 전 지속적인 학습 워크숍에 참석한 적이 있는데, 저 같은 사람들이 "MNIST라는 데이터 세트 사용을 중단해야 합니다. 너무 간단합니다."라고 말했고, 또 누군가는 "그럼 Incremental로 가겠습니다."라고 말했습니다. 스타크래프트 학습

지금 여러 가지 이유로 이 일을 하고 있지만, 실제로 문제를 해결하기에는 충분하지 않은 것 같습니다. 결국, 인생에는 스타크래프트를 배우는 것보다 훨씬 더 많은 것이 있습니다.

5. 귀하의 연구실에서는 시간이 지남에 따라 학습하는 알고리즘을 어떻게 설계하려고 합니까?

제 학생인 Tyler Hayes와 저는 유추 추론에 대한 지속적인 학습 연구를 개척했습니다. 이 기사는 CVPR 2021에도 게재되었습니다.

논문 링크: https://openaccess.thecvf.com/content/CVPR2021W/CLVision/html/Hayes_Selective_Replay_Enhances_Learning_in_Online_Continual_Analogical_Reasoning_CVPRW_2021_paper.html

우리는 이것이 전이 학습 분야 이제 더 복잡한 문제를 해결하려면 정교한 기술이 필요합니다.

구체적으로는 과거에 배운 것이 미래에 얼마나 도움이 되는지, 즉 역전이(backward transfer)에 대한 데이터를 측정했고, 그 반대도 마찬가지였습니다.

우리는 물체 인식과 같은 단순한 작업보다 훨씬 더 중요한 전송의 좋은 증거를 찾았습니다.

6. 인공지능도 정말 인간처럼 학습할 것 같나요?

그렇게 될 것 같아요. 이 분야에는 이 목표를 향해 노력하는 매우 재능 있는 사람들이 많이 있습니다.

하지만 우리에게 필요한 것은 창의성입니다. 기계 학습 커뮤니티의 많은 연구는 이전 연구를 기반으로 하고 약간의 개선을 이루었지만 진정으로 혁신적인 연구는 많지 않습니다.

하지만 이런 날은 반드시 오겠죠, 시간문제일 뿐이죠.

Christopher Kanan

Christopher Kanan은 로체스터 대학의 컴퓨터 공학과 종신 부교수입니다. 주요 업무 방향은 지속적인 학습, 인공지능의 편향, 의료 컴퓨터 비전, 언어 유도 장면 이해 등 딥러닝에 대한 기초 연구입니다.

Kanan은 온라인 연속 학습, 시각적 질문 답변, 컴퓨터 병리학, 의미론적 분할, 객체 인식, 객체 감지, 능동 비전, 객체 추적 등 분야에서 일했습니다. 그는 기계 학습 외에도 시선 추적, 영장류 시각 및 이론 신경과학에 대한 탄탄한 배경 지식을 보유하고 있습니다.

이전에 그는 Rochester Institute of Technology(RIT)의 Carlson 이미징 과학 센터에서 종신 부교수로 재직했습니다. 그는 재임 기간 동안 동료들과 함께 인간의식인공지능센터(CHAI)를 공동 창립하고 4년간 부소장을 역임했다. 또한 Kanan은 Cornell University of Technology의 방문 부교수로 4년 동안 매년 약 100명의 대학원생에게 딥 러닝 과정을 가르쳤습니다.

Christopher Kanan은 오클라호마 시골의 작은 마을에서 자랐습니다.

1996년에 그는 인공 지능을 탐구하기 시작했습니다. 고등학생이었을 때 Kanan은 온라인 멀티플레이어 컴퓨터 게임을 플레이하기 위해 자체 제작한 "봇"을 많이 만들었습니다.

Kanan은 2002년에 오클라호마 주립대학교(OSU)에 입학하여 철학과 컴퓨터 과학을 전공했고, 2004년에 학사 학위를 받았습니다.

2006년 USC(University of Southern California)에서 인공 지능과 신경 과학에 중점을 두고 컴퓨터 과학 석사 학위를 받았으며, 컴퓨터 신경 과학 및 신경 네트워크 분야의 선구자인 Michael Arbib과 함께 작업했습니다. 2013년에 그는 캘리포니아 대학교 샌디에이고 캠퍼스(UCSD)에서 컴퓨터 공학 박사 학위를 받았습니다. 졸업 후 Kanan은 박사후 연구에 참여하기 위해 California Institute of Technology로갔습니다.

참고자료: https://www.Quantamagazine.org/the-computer-scientist-trying-to-teach-ai-to-learn-like-we-do-20220802/​

위 내용은 AI에도 기억상실증이 있나요? 41세 영국 교수와의 단독 인터뷰: 치명적인 망각을 해결하다의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!