Richard Sutton: 경험은 AI의 궁극적인 데이터이며, 실제 AI 개발로 이어지는 4단계입니다.

소개: 최근 몇 년간 강력한 인공지능의 발전이 관심의 대상이었습니다. AI가 단순히 분류된 데이터가 아닌 인간의 인식과 행동을 통해 학습하도록 하는 것이 많은 연구자들의 초점이 되었습니다. 그중에서도 인간이 획득한 일상생활 경험을 활용하여 다양한 환경에 적응하고 외부 세계와 상호작용할 수 있는 인공지능을 영감하고 구축하는 방법은 일부 분야에서 새로운 탐색 방식이 되었습니다.

강화 학습의 아버지로 알려진 Richard Sutton은 최근 경험을 활용하여 AI 개발에 영감을 주는 아이디어를 제안했습니다. 그는 AI의 데이터 활용부터 경험 활용까지의 과정을 4가지 개발 단계로 나누고, 앞으로 실제 AI(Real AI)를 구축하는 개발 방향을 제시했다. 2022년 5월 31일 Richard Sutton은 2022년 베이징 지능형 소스 컨퍼런스에서 "AI에서 감각운동 경험의 증가하는 역할"이라는 제목의 기조 연설을 통해 경험을 활용하여 AI 개발에 영감을 주는 방법을 요약하고 기대했습니다. .

연사 프로필: 현대 컴퓨터 강화 학습의 창시자 중 한 명인 Richard Sutton은 DeepMind의 저명한 연구 과학자이자 앨버타 대학교 컴퓨터 과학과 교수이자 연구원이기도 합니다. 왕립 학회, 캐나다 왕립 학회, 인공 지능 발전 협회, AMII(Alberta Machine Intelligence Institute) 및 CIFAR의 회원입니다.

01. 배경: 지능 발달에 대한 경험의 중요성

Sutton은 지능형 에이전트가 외부 세계와 상호 작용하고, 외부 세계에 행동을 보내고, 인식(피드백)을 받는다고 믿습니다. 경험과 관련된 이러한 종류의 상호 작용은 강화 학습의 일반적인 인식 방식입니다. 이는 에이전트가 외부 세계를 예측하도록 할 때 사용되는 일반적인 접근 방식이기도 합니다. 그러나 이러한 접근 방식은 현재 가장 일반적인 유형의 기계 학습인 지도 학습에서는 흔하지 않습니다. 머신러닝은 일반적인 경험(Ordinary Experience)을 포함하지 않으며, 모델은 일반적인 경험과 다른 특별한 훈련 데이터로부터 학습하지 않습니다. 실제로 런타임 시 지도 학습 시스템은 전혀 학습하지 않습니다.

그러므로 경험은 상호작용(가져온) 데이터이자 외부 세계와 소통하는 방법입니다. 경험은 다른 경험과 관련되지 않는 한 의미가 없습니다. 물론 한 가지 예외가 있습니다. 바로 특별한 신호를 통해 표현되는 보상입니다. 보상은 좋은 목표를 나타내며 에이전트는 확실히 보상을 극대화하기를 희망합니다.

Sutton은 연설에서 다음과 같은 핵심 질문을 제기했습니다. 궁극적으로 지능을 설명할 수 있는 것은 무엇입니까? 객관적인 용어인가, 경험적인 용어인가? 전자에는 에이전트 내부에 있지 않은 외부 세계의 상태, 목표, 사람, 장소, 관계, 공간, 행동, 거리 등이 포함되고, 후자에는 에이전트 내부의 인식, 행동, 보상, 시간 등이 포함됩니다. 단계 등 Sutton은 연구자들이 일반적으로 의사소통하고 논문을 작성할 때 객관적인 개념을 생각하지만 이제는 에이전트와 외부 세계 간의 상호 작용으로 생성되는 경험에 더 많은 관심을 기울여야 한다고 믿습니다.

지능 에이전트에게 경험의 중요성을 더욱 강조하기 위해 Richard Sutton은 경험이 점차 가치를 지니게 되면서 총 4단계를 경험하게 되었다고 제안했습니다. 그것은 대리인, 보상, 경험적 상태, 예측 지식입니다. 이 4가지 개발 단계를 거치면 AI는 점차 경험을 쌓고 더욱 실용적이고 학습 가능하며 확장하기 쉬워집니다.

02. AI 개발 경험의 역사

1. Agenthood

Agent의 의미는 경험(AI)을 갖는다는 것입니다. 놀랍게도 초기 AI 시스템에는 실제로 경험이 전혀 없었습니다. 인공지능 개발 초기(1954~1985년)에는 대부분의 인공지능 시스템이 문제 해결이나 질문에 답하는 용도로만 사용됐다. 로봇은 예외이지만 기존 시스템에는 아래 그림의 쌓인 빌딩 블록처럼 시작 상태와 목표 상태만 있습니다.

적절한 목표 상태에 도달하려면 AI가 시작 상태에서 목표 상태에 도달할 수 있도록 보장하는 일련의 조치가 솔루션입니다. 여기에는 인식과 행동이 없습니다. 외부 세계 전체가 알려져 있고 결정되고 닫혀 있기 때문에 AI가 인식하고 행동할 필요가 없기 때문입니다. 연구자들은 무슨 일이 일어날지 알고 있으므로 문제를 해결하기 위한 계획을 세우고 AI가 이를 실행하면 이것이 문제가 해결될 것이라는 사실을 인간에게 알릴 수 있습니다.

지난 30년간의 개발 동안 인공지능 연구는 지능형 에이전트 구축에 중점을 두었습니다. 이러한 변화는 인공지능 표준 교과서에 에이전트 개념이 기본으로 포함되어 있다는 사실에서 확인할 수 있습니다. 예를 들어, 1995년판 "Artificial Intelligence: A Modern Approach"에서는 책 전체의 통일된 주제가 지능형 에이전트의 개념을 도입하는 것이라고 언급했습니다. 이러한 관점에서 볼 때 AI의 문제는 지능형 에이전트를 설명 및 구성하고, 환경으로부터 인지를 얻어 조치를 취하는 것입니다. 연구가 발전함에 따라 표준적이고 현대적인 접근 방식은 외부 세계와 상호 작용할 수 있는 에이전트를 구축하는 것입니다. Sutton은 AI를 이러한 관점에서 볼 수 있다고 믿습니다.

2. 보상

보상은 AI의 목표를 경험의 형태로 설명합니다. 이는 현재 AI의 모든 목표를 구축하기 위해 제안된 효과적인 방법이기도 합니다. 이는 Sutton과 그의 동료들이 제안한 방법이기도 합니다.

현재 보상은 상대적으로 충분한 가설로 간주됩니다. 지능과 관련 능력은 보상을 극대화하기 위해 봉사하는 결과로 이해될 수 있습니다. 그래서 에이전트에게 보상은 충분하다고 합니다.

그러나 Sutton은 이 아이디어에 도전해야 한다고 믿습니다. 지능을 달성하기 위해서는 보상만으로는 충분하지 않습니다. 보상은 단지 숫자, 스칼라일 뿐 지능의 목표를 설명하기에는 충분하지 않습니다. 마음 밖에서 나오는 목표는 하나의 숫자로 표현되며, 너무 작고 환원적이며 심지어 너무 품위를 떨어뜨리는 것처럼 보입니다. 인간은 가족을 돌보고, 세상을 구하고, 세계 평화를 이루고, 세상을 더 나은 곳으로 만드는 등 더 큰 목표를 상상하고 싶어합니다. 인간의 목표는 행복과 편안함을 극대화하는 것보다 더 중요합니다.

연구자들이 보상이 목표를 세우는 좋은 방법이 아니라는 것을 발견한 것처럼, 연구자들은 보상을 통해 목표를 세우는 것의 장점도 발견했습니다. 보상은 너무 작지만 사람들이 발전할 수 있는 목표를 구축합니다. 목표는 명확하고 명확하며 배우기 쉽습니다. 이는 오히려 경험을 통해 목표를 세우는 것이 어려운 일입니다.

Sutton은 경험을 통해 목표를 완전히 구성하는 것을 상상하는 것이 어렵다고 믿습니다. 역사를 되돌아보면 AI는 원래 보상에 관심이 없었음을 알 수 있습니다. 지금도 마찬가지입니다. 따라서 초기 문제 해결 시스템이든 최신 버전의 AI 교과서이든 목표는 여전히 경험적(정의)이 아닌 달성해야 할 세계 상태(World State)로 정의됩니다. 그러한 목표는 달성해야 할 인식된 결과라기보다는 여전히 특정한 "구성 요소" 세트일 수 있습니다.

물론 최신 교과서에는 이미 강화 학습을 언급하고 이러한 AI가 보상 메커니즘을 사용한다고 언급하는 장이 있습니다. 또한 보상은 목표 구축 과정에서 이미 일반적인 관행이며 Markov 결정 프로세스를 사용하여 달성할 수 있습니다. 목표를 적절하게 구축하지 못한 것에 대한 보상을 비판하는 연구자(예: Yann LeCun)에게 보상은 이미 지능의 "케이크" 위에 있는 "체리"이며 매우 중요합니다.

다음 두 단계에서 Sutton은 경험의 관점에서 외부 세계를 이해하는 방법을 소개할 예정이지만, 그 전에 먼저 경험이 무엇인지 소개할 것입니다.

3. Interlude: 경험이란 무엇입니까

아래 그림의 시퀀스(실제 데이터가 아님)에 표시된 것처럼 시간 단계가 시작되면 시스템은 감지 신호, 신호 및 동작도 제공됩니다. 따라서 인지된 신호는 어떤 행동을 유발할 수 있고, 그러한 행동은 다음 인지된 신호를 유발할 수 있습니다. 언제든지 시스템은 최근 조치와 최근 신호에 주의를 기울여 다음에 일어날 일과 수행 방법을 결정할 수 있어야 합니다.

그림과 같이 에이전트 실행 프로그램의 입출력 신호 배열입니다. 첫 번째 열은 시간 단계이며, 각 단계는 0.1초 또는 0.01초의 순간으로 간주될 수 있습니다. 동작 신호 열은 회색과 흰색으로 표시되는 2단계 시스템으로 표시됩니다. 그 다음 감각 신호 열이 있는데, 처음 4개 열은 이진값(회색과 흰색도 사용)이고, 마지막 4개 열은 빨간색의 4가지 색상으로 표현되는 0부터 3까지의 4개 값을 사용합니다. , 노란색, 파란색 및 녹색이며 마지막 열은 보상을 나타내는 연속 변수입니다. 실험에서 연구진은 패턴을 더 쉽게 찾을 수 있도록 숫자를 제거하고 색상만 남겼다. Sutton은 경험이 감각-운동 경험 데이터에서 발견된 패턴에 대한 지식과 이해를 의미한다고 믿습니다.

이 경우 Sutton은 네 가지 일반적인 패턴을 나열했습니다.

1. 동작의 마지막 부분은 뒤따르는 인식 신호와 동일합니다. 특정 시간 간격의 동작이 흰색이면 이후 처음으로 인식되는 신호도 흰색이며 회색의 경우에도 마찬가지입니다.

2. 빨간색 픽셀이 나타나면 다음 단계는 녹색 픽셀입니다. 데이터 범위를 확장한 후 빨간색과 녹색 픽셀이 차례로 나타난 후 두 시간 간격으로 파란색 픽셀이 나타나는 것을 확인할 수 있습니다.

3. 데이터의 마지막 세 열은 변경되지 않은 채 동일한 색상의 긴 목록으로 나타나는 경우가 많습니다. 색상이 시작되면 여러 시간 동안 지속되어 결국 줄무늬를 형성합니다. 예를 들어 빨간색, 녹색, 파란색 등의 긴 문자열입니다.

4. AI가 예측한 특정 감각 데이터가 표시되면 즉시 관찰할 수 없는 경우가 많기 때문에 이 데이터에 반환 값(Return)이 추가되어 쌍이 온다는 것을 나타냅니다. 보상 예측. 상자의 녹색 줄무늬는 후속 보상이 빨간색보다 녹색에 가깝다는 것을 나타냅니다. 이는 보상에 대한 현재 예측을 나타냅니다.

특별한 음영처리된 부분은 대기 기능을 나타냅니다. 대기 함수의 음영처리된 부분에 녹색과 빨간색 띠가 있습니다. 여기에서 연구자들은 컬러 보상을 통해 초기 수익에 더 높은 가중치를 부여합니다. 시간이 지남에 따라 반환 값을 이동하면 예측 결과와 실제 보상 사이의 해당 색상 및 값 변화를 확인할 수 있습니다. 이 반환 값은 예측이며 경험을 통해 학습할 수 있습니다.

Sutton은 이 반환 값이 본질적으로 이미 발생한 이벤트에서 학습되는 것이 아니라 시차 신호에서 학습된다고 믿습니다. 가장 중요한 신호는 가치함수이다. 이 경우 반환 값은 실제로 미래 보상의 합계를 나타내는 가치 함수입니다. 미래 값을 참조할 수 있는 복잡한 함수의 일반적인 형태를 원하는 경우 일반 값 함수(GVF)라는 방법을 사용할 수 있습니다. 일반 가치 함수에는 보상뿐만 아니라 기하급수적인 형태가 아닌 다양한 신호가 포함됩니다. 일반 가치 함수에는 모든 대기열의 전략이 포함될 수 있으며 매우 많은 수와 광범위한 항목을 예측할 수 있습니다. 물론 Sutton은 계산을 통한 예측의 어려움은 예측되는 대상의 형태에 따라 달라진다고 믿습니다. 예측을 위해 일반 가치함수를 사용할 경우, 예측객체의 표현형식은 학습하기 쉽고 높은 계산효율이 요구되는 형태로 설계되어야 한다.

4. 경험적 상태

"상태"라는 단어에 관해서 많은 연구자들은 객관적 개념 하의 단어인 세계 상태를 언급할 것입니다. 국가란 세계 자체의 상황과 일치할 수 있는 객관적 세계에 대한 상징적 묘사(반영)를 가리킨다. 예를 들어, 빌딩 블록의 위치 정보(C가 A 위에 있음) 등의 경우 최근에는 일부 연구자(예: Judea Pearl)가 세계 상태의 확률 분포를 나타내는 확률 그래픽 모델을 제안했습니다. "밖에 비가 오고 있는데 잔디가 젖어 있나요?"와 같은 일부 이벤트에는 이러한 이벤트 간에 확률적 관계가 있습니다.

또 다른 상태는 신념 상태(Belief State)입니다. 이 개념에서 상태는 이산 세계의 상태를 나타내는 확률 분포와 그에 상응하는 방법을 POMDP( 부분적으로 관찰 가능한 마르코프 결정 프로세스) - 숨겨진 상태 변수가 있으며 그 중 일부는 관찰 가능하며 마르코프 결정 프로세스를 사용하여 모델링할 수 있습니다.

위의 방법은 모두 객관적인 상태이며 경험과는 거리가 먼 연구자들이 처음에 세상의 상태를 설명하려고 시도한 방법입니다.

차이는 경험의 상태입니다. Sutton은 경험적 상태란 경험을 바탕으로 정의된 전 세계의 상태를 의미한다고 믿습니다. 경험상태는 과거 경험의 요약으로서 미래에 얻게 될 경험을 예측하고 통제할 수 있다.

과거 경험을 구성하고 미래를 예측하는 이러한 방법이 연구에 반영되었습니다. 예를 들어, 강화 학습 작업 중 하나인 Atari 게임에서 연구자들은 비디오의 마지막 4개 프레임을 사용하여 경험 상태를 구성한 다음 후속 행동을 예측합니다. LSTM 네트워크의 일부 방법은 특정 경험적 ​​상태에서 예측을 수행하는 것으로 생각할 수도 있습니다.

체험 현황을 되돌아보면 재귀적으로 업데이트될 수 있습니다. 경험 상태는 과거에 일어난 일을 요약하는 함수입니다. AI는 다음 사건을 예측하기 위해 매 순간 경험 상태에 액세스해야 하기 때문에 경험 상태 업데이트는 반복적입니다. 현재 순간에 액세스되었으며, 마지막 순간의 경험 상태는 과거에 발생한 모든 이벤트의 요약입니다. 다음 순간에는 지금 이 순간의 경험적 상태만 접근되며, 이 경험적 상태는 과거에 발생한 모든 사건의 요약이기도 하다.

다음 그림은 에이전트의 경험 상태를 구성하는 과정을 보여줍니다. 그 중 빨간색 화살표는 느낌, 행동, 보상 등을 포함한 에이전트의 기본 작동 신호를 나타냅니다. 파란색 화살표는 각 시간 단계에서 경험 상태를 업데이트하는 책임이 있는 인식의 출력인 경험 상태(표현)의 방향을 표시합니다. 업데이트된 상태는 작업 전략을 수립하거나 다른 업데이트를 수행하는 데 사용됩니다.

5. 예측 지식

"조 바이든은 미국 대통령이다", "에펠탑은 파리에 있다" 등과 같은 지식이 전부이다 외부 객관적 세계 경험적이지 않은 설명입니다. 그러나 "어떤 일을 하는 데 X시간이 걸릴 것으로 예상된다"와 같은 지식은 경험적 지식입니다. 경험적 지식과 객관적 지식 사이에는 큰 차이가 있는데, 이는 AI 연구의 난제이기도 하다.

이전 AI 연구는 지식을 객관적인 항목으로 다루는 경향이 있었지만, 최근 일부 연구에서는 실증적 관점에서 문제를 살펴보았습니다. 초기 AI 시스템은 경험이 없었기 때문에 예측을 할 수 없었습니다. 보다 현대적인 AI는 지식을 객관적인 존재로 취급합니다. 더 발전된 것은 확률 그래픽 모델이지만 많은 경우 동시에 발생하는 두 가지 일 사이의 확률을 연구하며 예측은 일련의 시퀀스 이벤트를 지향해야 합니다.

시퀀스 이벤트를 기반으로 한 예측은 명확한 의미적 속성을 가진 지식입니다. 어떤 일이 일어날 것으로 예측되면 AI는 예측과 실제 결과를 비교할 수 있습니다. 이러한 예측모델은 새로운 종류의 세계지식, 즉 예측지식이라 할 수 있다. 예측 지식 중에서 Sutton은 가장 최첨단이 일반 가치 기능과 옵션 모델이라고 믿습니다.

Sutton은 세계 지식을 두 가지 범주로 나눕니다. 하나는 세계 상태에 대한 지식이고, 다른 하나는 세계 국가 전환에 대한 지식입니다. 세계 상태 전환에 대한 지식의 예는 세계 예측 모델입니다. 여기서 세계 예측 모델은 Markov 결정 과정이나 차이 방정식의 기본 형태가 아닙니다. 경험적 상태에서 추출할 수 있는 추상적인 상태일 수 있습니다. 예측은 전체 행동을 기반으로 하기 때문에 선택 모델에서는 에이전트가 특정 전략을 중지하고 특정 조건을 종료하도록 선택할 수도 있습니다. 때로는 멜로디 전달 모델을 사용하여 작업 수행 후 상태를 예측하는 것이 가능합니다. 일상생활을 예로 들면, 누군가가 도시로 가고 싶어한다고 가정하면, 특정 임계값을 초과하는 행동(예: 10분 동안 도시로 걸어가는 것)에 대해서는 도심까지의 거리와 시간에 대한 예측을 하게 됩니다. ), 피로 등의 상태를 추가로 노출합니다.

행동을 확장할 수 있는 이 모델을 사용하면 표현되는 지식의 규모도 매우 클 수 있습니다. 예를 들어, 하나의 행동을 기반으로 세상의 상태를 예측하고, 그 상태를 기반으로 다음 행동을 예측할 수 있습니다.

서튼은 AI 연구에서 경험의 발전 과정을 요약하면서 경험은 세계 지식의 기초라고 말했습니다. 인간은 인식과 행동을 통해 세계를 이해하고 영향을 미칩니다. 경험은 인간이 정보를 얻고 행동을 취하는 유일한 방법입니다. 그리고 그것은 인간과 분리될 수 없습니다. 불행하게도 경험은 너무 주관적이고 개인적이기 때문에 인간은 여전히 ​​경험적인 용어로 생각하고 표현하는 것을 좋아하지 않습니다. 경험은 인간에게 너무 이질적이고, 반직관적이며, 순간적이며, 복잡합니다. 경험 역시 주관적이고 사적이어서 타인과 소통하거나 검증하는 것이 거의 불가능하다.

Sutton은 다음과 같은 이유로 경험이 AI에 매우 중요하다고 믿습니다. 첫째, 경험은 AI의 일상적인 운영 과정에서 나오며, 이러한 경험을 얻는 것은 비용이 들지 않고 자동이다. 동시에 AI 분야는 계산에 사용되는 데이터가 많기 때문에 경험은 세상을 이해하는 길을 제공합니다. 세상의 어떤 사실이 경험적이라면 AI는 경험을 통해 세상에 대한 이해를 배울 수 있습니다. 경험을 바탕으로 검증합니다.

요약하자면, Sutton은 AI가 지난 70년 동안 AI를 개발하면서 경험에 대한 강조가 점차 증가했다고 믿습니다. 경험. 각 단계마다 인간에게 생소한 실증적 연구는 더욱 중요해지고 있으며, 기초가 있고, 학습 가능하며, 확장 가능하다는 장점이 있습니다.

03. AI가 미래에 경험을 활용하는 방법

Sutton은 현재 AI가 경험 활용 측면에서 3단계와 4단계를 완료하지 않았다고 믿습니다. 하지만 이러한 추세는 미래를 향해 나아가고 있습니다. 미래는 점점 더 발전할 것입니다. Sutton은 모든 것을 경험에 귀속시키는 것이 진정한 AI를 향한 실현 가능한 길이라고 믿습니다. 매우 어려운 일이지만 이는 데이터 흐름을 이해하고 인텔리전스를 달성할 수 있는 상황입니다. 마지막으로 Sutton은 감각 운동 경험에 집중하는 4단계를 더욱 압축하여 다음과 같은 슬로건을 만들었습니다. "데이터는 인공 지능을 주도하고 경험은 궁극적인 데이터입니다. 경험을 잘 활용할 수 있다면 더 빠르고 효과적으로 인공지능 발전을 촉진해주세요.”

위 내용은 Richard Sutton: 경험은 AI의 궁극적인 데이터이며, 실제 AI 개발로 이어지는 4단계입니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!