찾다
기술 주변기기일체 포함구글은 5620억 개의 매개변수를 갖고 터미네이터에서 가장 강력한 두뇌로 알려져 있으며 이미지를 통해 로봇과 상호작용할 수 있는 역사상 최대 규모의 범용 모델인 PaLM-E를 출시했다.

대형 언어 모델의 급속한 '돌연변이'로 인해 인류 사회의 방향은 점점 공상과학화되었습니다. 이 기술 트리를 조명한 후, '터미네이터'의 현실이 우리에게 점점 더 가까워지는 것 같습니다.

며칠 전 Microsoft는 ChatGPT를 사용하여 로봇과 드론을 제어할 수 있는 실험적 프레임워크를 발표했습니다.

물론 Google도 그리 뒤처지지 않았습니다. 월요일에 Google과 베를린 기술 대학 팀이 역사상 가장 큰 시각적 언어 모델인 PaLM-E를 출시했습니다.

구글은 5620억 개의 매개변수를 갖고 터미네이터에서 가장 강력한 두뇌로 알려져 있으며 이미지를 통해 로봇과 상호작용할 수 있는 역사상 최대 규모의 범용 모델인 PaLM-E를 출시했다.

논문 주소: https://arxiv.org/abs/2303.03378

PaLM-E는 다중 모드 VLM(embodied Visual Language Model)으로 이미지를 이해할 수 있을 뿐만 아니라 이미지도 이해할 수 없습니다. 또한 언어를 이해하고 생성할 수 있으며, 두 언어를 결합하여 복잡한 로봇 명령을 처리할 수도 있습니다.

PaLM-540B 언어 모델과 ViT-22B 시각적 Transformer 모델을 결합하면 PaLM-E의 최종 매개변수 수가 5,620억 개에 달합니다.

구글은 5620억 개의 매개변수를 갖고 터미네이터에서 가장 강력한 두뇌로 알려져 있으며 이미지를 통해 로봇과 상호작용할 수 있는 역사상 최대 규모의 범용 모델인 PaLM-E를 출시했다.

로봇공학 및 비전 언어 분야를 포괄하는 "일반" 모델

Pathways Language Model with Embodied의 전체 이름인 PaLM-E는 구체화된 시각적 언어 모델입니다.

그 힘은 시각적 데이터를 사용하여 언어 처리 능력을 향상시키는 능력에 있습니다.

구글은 5620억 개의 매개변수를 갖고 터미네이터에서 가장 강력한 두뇌로 알려져 있으며 이미지를 통해 로봇과 상호작용할 수 있는 역사상 최대 규모의 범용 모델인 PaLM-E를 출시했다.

가장 큰 시각적 언어 모델을 학습시키고 이를 로봇과 결합하면 어떻게 될까요? 그 결과 PaLM-E는 로봇 공학, 비전 및 언어 전반에 걸쳐 5620억 개의 매개변수를 가진 보편적이고 구현된 시각적 언어 일반 전문가입니다.

논문에 따르면 PaLM-E는 디코더 전용 LLM입니다. 또는 프롬프트를 사용하면 자동 회귀 방식으로 텍스트 완성이 생성될 수 있습니다.

훈련 데이터는 시각적, 연속적 상태 추정 및 텍스트 입력 인코딩을 포함하는 다중 모드 문장입니다.

단일 이미지 프롬프트로 훈련한 후 PaLM-E는 로봇이 다양하고 복잡한 작업을 완료하도록 안내할 수 있을 뿐만 아니라 이미지를 설명하는 언어도 생성할 수 있습니다.

PaLM-E는 전례 없는 유연성과 적응성을 보여주며 특히 인간-컴퓨터 상호 작용 분야에서 큰 도약을 나타낸다고 할 수 있습니다.

더 중요한 것은 연구원들이 여러 로봇과 일반 시각적 언어의 다양한 혼합 작업 조합에 대한 교육을 통해 시각적 언어에서 로봇이 작업을 계획하고 데이터를 효과적으로 사용할 수 있도록 구현된 의사 결정으로 전환하는 여러 방법을 가져올 수 있음을 입증했습니다. .

구글은 5620억 개의 매개변수를 갖고 터미네이터에서 가장 강력한 두뇌로 알려져 있으며 이미지를 통해 로봇과 상호작용할 수 있는 역사상 최대 규모의 범용 모델인 PaLM-E를 출시했다.

PaLM-E의 특히 뛰어난 점은 강력한 포지티브 마이그레이션 능력을 가지고 있다는 것입니다.

인터넷 규모의 일반 시각-언어 작업을 포함한 다양한 영역에서 훈련된 PaLM-E는 단일 작업을 수행하는 로봇 모델에 비해 크게 향상된 성능을 달성합니다.

구글은 5620억 개의 매개변수를 갖고 터미네이터에서 가장 강력한 두뇌로 알려져 있으며 이미지를 통해 로봇과 상호작용할 수 있는 역사상 최대 규모의 범용 모델인 PaLM-E를 출시했다.

그리고 연구원들은 모델 규모에서 상당한 이점을 발견했습니다.

언어 모델이 클수록 시각적 언어 및 로봇 작업 훈련 중에 언어 능력이 더 강력하게 유지됩니다.

모델 규모의 관점에서 보면 5,620억 개의 매개변수를 갖춘 PaLM-E는 거의 모든 언어 기능을 유지합니다.

단일 이미지에 대해서만 교육을 받았지만 PaLM-E는 다중 모드 사고 연쇄 추론 및 다중 이미지 추론과 같은 작업에서 뛰어난 능력을 보여줍니다.

PaLM-E는 OK-VQA 벤치마크에서 새로운 SOTA를 달성했습니다.

구글은 5620억 개의 매개변수를 갖고 터미네이터에서 가장 강력한 두뇌로 알려져 있으며 이미지를 통해 로봇과 상호작용할 수 있는 역사상 최대 규모의 범용 모델인 PaLM-E를 출시했다.

평가 결과

테스트에서 연구원들은 PaLM-E를 사용하여 서로 다른 두 개체에 대한 계획 및 장기 작업을 수행하는 방법을 보여주었습니다.

이 모든 결과는 동일한 데이터에 대해 훈련된 동일한 모델을 사용하여 얻은 것입니다.

과거에는 로봇이 장기간 작업을 완료하려면 일반적으로 인간의 도움이 필요했습니다. 하지만 이제 PaLM-E는 독립적인 학습을 통해 이를 수행할 수 있습니다.

구글은 5620억 개의 매개변수를 갖고 터미네이터에서 가장 강력한 두뇌로 알려져 있으며 이미지를 통해 로봇과 상호작용할 수 있는 역사상 최대 규모의 범용 모델인 PaLM-E를 출시했다.

예를 들어 "서랍에서 감자칩을 꺼내세요"와 같은 지시에는 여러 계획 단계와 로봇 카메라의 시각적 피드백이 포함됩니다.

엔드투엔드(end-to-end) 학습을 거친 PaLM-E는 픽셀에서 직접 로봇을 계획할 수 있습니다. 모델이 제어 루프에 통합되어 있기 때문에 로봇은 감자칩을 집어들 때 방해가 되는 것에 대해 견고합니다.

인간: 칩 좀 가져와주세요.

로봇: 1. 서랍으로 이동합니다. 2. 상단 서랍을 엽니다. 3. 상단 서랍에서 녹색 감자칩을 집습니다. 4. 카운터에 놓습니다.

구글은 5620억 개의 매개변수를 갖고 터미네이터에서 가장 강력한 두뇌로 알려져 있으며 이미지를 통해 로봇과 상호작용할 수 있는 역사상 최대 규모의 범용 모델인 PaLM-E를 출시했다.

마찬가지로 로봇에게 사과를 달라고 하면 그림을 준 후 로봇은 다음과 같이 작업을 수행합니다. -

인간:사과를 줘.

로봇: 1. 사과를 향해 걸어갑니다. 2. 사과를 집습니다. 3. 교환원에게 가져갑니다. 4. 사과를 내려 놓습니다. 5. 끝났습니다.

구글은 5620억 개의 매개변수를 갖고 터미네이터에서 가장 강력한 두뇌로 알려져 있으며 이미지를 통해 로봇과 상호작용할 수 있는 역사상 최대 규모의 범용 모델인 PaLM-E를 출시했다.

PaLM-E를 사용하면 로봇은 장거리 작업을 수행하는 것 외에도 빌딩 블록 배열과 같은 계획 작업을 수행할 수 있습니다.

연구원들은 시각적 및 언어적 입력을 기반으로 하고 장기적인 시각적 피드백을 결합하여 다단계 계획을 성공적으로 수행했으며, 이를 통해 모델은 "블록을 색상별로 다양한 카테고리로 분류"하는 장기 작업을 성공적으로 계획할 수 있었습니다. . 모서리".

아래와 같이 배열과 조합 면에서는 로봇이 만능형으로 변신하여 색별로 블록을 분류해 줍니다.

구글은 5620억 개의 매개변수를 갖고 터미네이터에서 가장 강력한 두뇌로 알려져 있으며 이미지를 통해 로봇과 상호작용할 수 있는 역사상 최대 규모의 범용 모델인 PaLM-E를 출시했다.

모델을 일반화하면 PaLM-E가 제어하는 ​​로봇은 빨간색 빌딩 블록을 커피 컵 옆으로 이동할 수 있습니다.

데이터세트에는 커피 컵이 포함된 데모가 3개만 포함되어 있지만 그 중 빨간색 빌딩 블록이 포함되어 있지 않다는 점을 언급할 가치가 있습니다.

구글은 5620억 개의 매개변수를 갖고 터미네이터에서 가장 강력한 두뇌로 알려져 있으며 이미지를 통해 로봇과 상호작용할 수 있는 역사상 최대 규모의 범용 모델인 PaLM-E를 출시했다.

마찬가지로 모델은 이전에 거북이를 본 적이 없지만 여전히 녹색 블록을 거북이에게 부드럽게 밀어 넣을 수 있습니다.

구글은 5620억 개의 매개변수를 갖고 터미네이터에서 가장 강력한 두뇌로 알려져 있으며 이미지를 통해 로봇과 상호작용할 수 있는 역사상 최대 규모의 범용 모델인 PaLM-E를 출시했다.

PaLM - E는 이미지를 통해 농담을 할 수 있으며 지각, 비전 기반 대화, 계획 등의 능력을 보여줍니다.

구글은 5620억 개의 매개변수를 갖고 터미네이터에서 가장 강력한 두뇌로 알려져 있으며 이미지를 통해 로봇과 상호작용할 수 있는 역사상 최대 규모의 범용 모델인 PaLM-E를 출시했다.

PaLM-E는 그림 1(왼쪽)이 그림 2(오른쪽)에 있는 것처럼 여러 그림 간의 관계도 이해할 수 있습니다.

구글은 5620억 개의 매개변수를 갖고 터미네이터에서 가장 강력한 두뇌로 알려져 있으며 이미지를 통해 로봇과 상호작용할 수 있는 역사상 최대 규모의 범용 모델인 PaLM-E를 출시했다.

또한 PaLM-E는 손으로 쓴 숫자가 있는 이미지에 대해 수학 연산을 수행할 수도 있습니다.

예를 들어 아래 손으로 쓴 레스토랑 메뉴 사진의 경우 피자 2판의 가격은 PaLM-E에서 직접 계산할 수 있습니다.

구글은 5620억 개의 매개변수를 갖고 터미네이터에서 가장 강력한 두뇌로 알려져 있으며 이미지를 통해 로봇과 상호작용할 수 있는 역사상 최대 규모의 범용 모델인 PaLM-E를 출시했다.

일반 QA, 주석 및 기타 작업도 가능합니다.

구글은 5620억 개의 매개변수를 갖고 터미네이터에서 가장 강력한 두뇌로 알려져 있으며 이미지를 통해 로봇과 상호작용할 수 있는 역사상 최대 규모의 범용 모델인 PaLM-E를 출시했다.

마지막으로, 연구 결과는 언어 모델을 동결하는 것이 언어 기능을 완전히 유지하는 보편적 구현 다중 모드 모델을 향한 실행 가능한 경로임을 보여줍니다.

그러나 동시에 연구원들은 모델 고정을 해제하는 대체 경로도 발견했습니다. 즉, 언어 모델의 크기를 늘리면 치명적인 망각을 크게 줄일 수 있다는 것입니다.

위 내용은 구글은 5620억 개의 매개변수를 갖고 터미네이터에서 가장 강력한 두뇌로 알려져 있으며 이미지를 통해 로봇과 상호작용할 수 있는 역사상 최대 규모의 범용 모델인 PaLM-E를 출시했다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명
이 기사는 51CTO.COM에서 복제됩니다. 침해가 있는 경우 admin@php.cn으로 문의하시기 바랍니다. 삭제
신속한 엔지니어링에서 생각의 그래프는 무엇입니까?신속한 엔지니어링에서 생각의 그래프는 무엇입니까?Apr 13, 2025 am 11:53 AM

소개 신속한 엔지니어링에서 "Thought of Thought"는 그래프 이론을 사용하여 AI의 추론 과정을 구성하고 안내하는 새로운 접근법을 나타냅니다. 종종 선형 S와 관련된 전통적인 방법과 달리

Genai 에이전트와 함께 조직의 이메일 마케팅을 최적화하십시오Genai 에이전트와 함께 조직의 이메일 마케팅을 최적화하십시오Apr 13, 2025 am 11:44 AM

소개 축하해요! 당신은 성공적인 사업을 운영합니다. 웹 페이지, 소셜 미디어 캠페인, 웹 세미나, 컨퍼런스, 무료 리소스 및 기타 소스를 통해 매일 5000 개의 이메일 ID를 수집합니다. 다음 명백한 단계는입니다

Apache Pinot을 사용한 실시간 앱 성능 모니터링Apache Pinot을 사용한 실시간 앱 성능 모니터링Apr 13, 2025 am 11:40 AM

소개 오늘날의 빠르게 진행되는 소프트웨어 개발 환경에서 최적의 애플리케이션 성능이 중요합니다. 응답 시간, 오류율 및 자원 활용과 같은 실시간 메트릭 모니터링 메인이 도움이 될 수 있습니다.

Chatgpt가 10 억 명의 사용자를 쳤습니까? Openai CEO는'몇 주 만에 두 배가되었습니다Chatgpt가 10 억 명의 사용자를 쳤습니까? Openai CEO는'몇 주 만에 두 배가되었습니다Apr 13, 2025 am 11:23 AM

"얼마나 많은 사용자가 있습니까?" 그는 자극했다. Altman은“마지막으로 우리가 마지막으로 말한 것은 매주 5 억 명의 행위자이며 매우 빠르게 성장하고 있다고 생각합니다. 앤더슨은 계속해서“당신은 나에게 몇 주 만에 두 배가되었다고 말했습니다. “저는 그 개인이라고 말했습니다

Pixtral -12B : Mistral AI의 첫 번째 멀티 모드 모델 -Anuctics VidhyaPixtral -12B : Mistral AI의 첫 번째 멀티 모드 모델 -Anuctics VidhyaApr 13, 2025 am 11:20 AM

소개 Mistral은 최초의 멀티 모드 모델, 즉 Pixtral-12B-2409를 발표했습니다. 이 모델은 Mistral의 120 억 개의 매개 변수 인 NEMO 12B를 기반으로합니다. 이 모델을 차별화하는 것은 무엇입니까? 이제 이미지와 Tex를 모두 가져갈 수 있습니다

생성 AI 응용 프로그램을위한 에이전트 프레임 워크 - 분석 Vidhya생성 AI 응용 프로그램을위한 에이전트 프레임 워크 - 분석 VidhyaApr 13, 2025 am 11:13 AM

쿼리에 응답 할뿐만 아니라 자율적으로 정보를 모으고, 작업을 실행하며, 여러 유형의 데이터 (텍스트, 이미지 및 코드를 처리하는 AI 구동 조수가 있다고 상상해보십시오. 미래처럼 들리나요? 이것에서

금융 부문에서 생성 AI의 응용금융 부문에서 생성 AI의 응용Apr 13, 2025 am 11:12 AM

소개 금융 산업은 효율적인 거래 및 신용 가용성을 촉진함으로써 경제 성장을 주도하기 때문에 모든 국가 개발의 초석입니다. 거래가 발생하는 용이성 및 신용

온라인 학습 및 수동 공격 알고리즘 안내온라인 학습 및 수동 공격 알고리즘 안내Apr 13, 2025 am 11:09 AM

소개 소셜 미디어, 금융 거래 및 전자 상거래 플랫폼과 같은 소스에서 전례없는 속도로 데이터가 생성되고 있습니다. 이 지속적인 정보 스트림을 처리하는 것은 어려운 일이지만

See all articles

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

인기 기사

R.E.P.O. 에너지 결정과 그들이하는 일 (노란색 크리스탈)
3 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 최고의 그래픽 설정
3 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 아무도들을 수없는 경우 오디오를 수정하는 방법
3 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
WWE 2K25 : Myrise에서 모든 것을 잠금 해제하는 방법
4 몇 주 전By尊渡假赌尊渡假赌尊渡假赌

뜨거운 도구

Atom Editor Mac 버전 다운로드

Atom Editor Mac 버전 다운로드

가장 인기 있는 오픈 소스 편집기

ZendStudio 13.5.1 맥

ZendStudio 13.5.1 맥

강력한 PHP 통합 개발 환경

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

WebStorm Mac 버전

WebStorm Mac 버전

유용한 JavaScript 개발 도구

VSCode Windows 64비트 다운로드

VSCode Windows 64비트 다운로드

Microsoft에서 출시한 강력한 무료 IDE 편집기