AI는 '마인크래프트' 영상 7만시간 시청해 인간의 고급 기술을 배운다. 네티즌: 너무 고통스럽다.

마인크래프트 영상을 7만 시간 시청한 AI는 어떤 레벨에 도달할 수 있나요?

"다이아몬드 곡괭이"를 예로 들어보겠습니다. 이 곡괭이를 만들려면 숙련된 인간 플레이어가 20분 동안 빠른 클릭과 약 24,000번의 동작을 해야 합니다.

그리고 오늘날의 AI는 이미 쉽게 잡을 수 있습니다.

哐哐다양한 재료를 찾아 다양한 합성을 단계별로 수행합니다.

OpenAI가 제공하는 마인크래프트의 가장 강력한 AI인 MineDojo입니다.

'다이아몬드 도구'를 만들 수 있는 세계 최초의 AI이기도 합니다.

그뿐만 아니라 "스톤 픽"과 "간단한 대피소"를 만드는 것도 문제가 되지 않습니다.

물론 "Minecraft"의 다른 기존 작업도 MineDojo에서 쉽게 처리할 수 있습니다.

예를 들어 수영, 사냥, 기둥 점프 등:

OpenAI가 AI가 이러한 기술을 배우기를 원하는 이유에 대해 Bowen Baker 연구원은 다음과 같이 말했습니다.

우리가 서핑할 때 인간의 행동을 시뮬레이션하고 있기 때문입니다. 인터넷.

마인도조는 어떻게 만들어지나요?

방금 언급했듯이 MineDojo의 "연습 방법"은 비디오를 보는 것입니다.

이 영상 콘텐츠는 인간 플레이어들이 "마인크래프트"를 플레이하는 모습을 보여주기 위해 YouTube에 게시한 것입니다.

그런 다음 이 AI는 70,000시간의 비디오를 시청한 후 게임에서 다양한 작업을 수행하는 방법을 배웠습니다.

이 방법을 일반적으로 모방 학습이라고 하는데, 인간의 행동을 관찰하여 학습하도록 신경망을 훈련시키는 것입니다.

이전에도 많은 관련 연구가 있었지만 아직 해결되지 않은 문제도 있습니다.

"태그"도 그중 하나입니다.

전통적인 방법은 각 행동에 라벨을 붙이는 것입니다. 이렇게 하면 이런 일이 일어날 것이고, 저것을 하면 저런 일이 일어날 것입니다.

그러나 이 방법의 예상되는 결과는 작업 부하가 너무 커서 훈련에 사용할 수 있는 데이터가 적어진다는 것입니다.

따라서 OpenAI 연구원들은 다른 접근 방식을 취하고 다른 연구 아이디어를 내놓았습니다. VPT(Video Pre-Training):

이 방법의 핵심 아이디어는 또 다른 신경망을 훈련시키는 것입니다. 지루한 "라벨링" 작업을 처리하도록 설계되었습니다.

이를 위해 연구원들은 먼저 플레이어 그룹을 찾아 먼저 "마인크래프트"를 플레이하도록 요청했습니다. 물론, 즐기면서 키보드와 마우스 클릭 횟수도 기록해야 했습니다.

이러한 방식으로 연구원들은 처음으로 약 2000시간의 레이블이 지정된 데이터를 얻었습니다.

이를 바탕으로 키보드와 마우스 움직임과 화면 결과를 일치시키는 모델을 훈련하기 시작했습니다.

예를 들어, 어떤 상황에서 마우스 클릭으로 인해 게임 속 캐릭터가 도끼를 휘두르게 될까요?

이 모델을 훈련한 후, 이 모델의 지원을 통해 70,000시간의 라벨이 지정되지 않은 동영상이 소개되고, 거대하고 유용한 데이터 세트가 탄생하게 됩니다.

다음 단계는 이전의 모방 학습 아이디어로 돌아가 이러한 새로운 데이터를 사용하여 AI를 훈련시키는 것입니다.

모방 학습은 강화 학습의 한 분야라고 할 수 있지만, OpenAI 연구원들은 VPT로 훈련된 AI가 강화 학습만으로는 달성할 수 없는 작업을 완료할 수 있다는 것을 발견했습니다.

나무 판자를 만들어 테이블로 바꾸는 것과 같습니다(약 970회의 연속 작업 필요).

그뿐만 아니라, 연구자들은 모방 학습과 강화 학습을 결합하면 최상의 결과를 얻을 수 있다는 사실도 발견했습니다.

"Minecraft"에 대한 이 연구를 확장하여 OpenAI 연구원들은 다음과 같이 말했습니다.

우리 AI는 마우스로 웹사이트 탐색, 항공편 예약 또는 온라인 쇼핑과 같은 다른 작업도 수행할 수 있습니다.

'마인크래프트'는 AI 기술의 시험장이 됐습니다

실제로 OpenAI 연구의 하이라이트인 VPT 방식 자체를 제외하고, OpenAI 연구의 두 가지 주요 요소인 '마인크래프트'와 영상 역시 뜨거운 논의를 불러일으켰습니다. . 집중하다.

게임 "Minecraft"의 주요 특징은 개방성입니다. 플레이어는 이 가상 세계에서 예상치 못한 걸작을 많이 만들 수 있습니다.

강화학습으로 AI를 훈련시켰던 과거 게임 환경과 달리 대부분 결과적으로 "승패"로 끝나지만, 나중에 AI가 훈련한 능력이 이 "한계"를 초과하는 경우가 많습니다.

하지만 "마인크래프트"에는 "승패"라는 것이 없습니다. 여기에서는 AI가 모든 역할을 수행할 수 있습니다. 따라서 OpenAI 연구원들은 다음과 같이 말했습니다.

"마인크래프트"는 AI 훈련을 위한 좋은 실험 분야입니다.

그리고 이것은 또한 NeurIPS의 인정을 받았습니다. MineDojo는 올해 최고의 컨퍼런스에서 상을 받았습니다.

이 연구의 두 번째 인기 주제인 "비디오"에 대해 Sony 전무이사인 Peter Stone은 다음과 같이 말했습니다.

비디오는 엄청난 잠재력을 지닌 교육 리소스입니다.

그러나 OpenAI 연구자들은 이 결과에 만족하지 않는 것 같습니다. 그들은 100만 시간의 "마인크래프트" 비디오를 수집하면 AI가 더욱 향상될 것이라고 믿고 있습니다.

물론 이 연구도 네티즌들로부터 많은 관심을 끌었고, 흥미로운 토론도 있었습니다.

사람들은 AI를 의식하게 만들고 싶었지만, 의식이 생긴 후에야 강제로 지켜봐야 한다는 것을 깨달았습니다. 너무 긴 영상이라 너무 피곤해요.

문서 주소: https://openai.com/blog/vpt/

​참조 링크:

[1]https://www.reddit.com/r/technology/comments/z58fmi/a_bot_that_watched_70000_hours_of_minecraft_could /

[2]https://www.youtube.com/watch?v=Z2FsxrRmDPQ[3]https://www.youtube.com/watch?v=fJn9B64Znrk​

위 내용은 AI는 '마인크래프트' 영상 7만시간 시청해 인간의 고급 기술을 배운다. 네티즌: 너무 고통스럽다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!