인공지능과 로봇공학 기술의 급속한 발전으로 로봇공학에서 기능 조작의 중요성이 점점 더 커지고 있습니다. 기존 벤치마크 테스트는 더 이상 복잡한 조작 작업에 대한 로봇의 현재 요구 사항을 충족할 수 없으므로 새로운 조작 벤치마크(기능 조작 벤치마크)의 출현이 필요합니다. 로봇 조작은 로봇이 복잡한 접촉 역학을 지능적으로 처리하는 방법과 다양한 환경 및 물체에 대처하는 방법이라는 두 가지 주요 과제에 직면해 있습니다. 이러한 과제에 대응하기 위해 로봇 학습 기술이 핵심 솔루션으로 꼽히고 있습니다. 따라서 이 분야에는 까다로운 실제 작업, 고품질 데이터, 쉽게 복제할 수 있는 설정 및 기본 결과를 통합하는 관련 방법을 제공하는 포괄적이고 접근 가능한 프레임워크가 필요합니다. 심층 분석. University of California, Berkeley, Robotics Intelligent Laboratory(RAIL) 연구팀은 위에서 언급한 바와 같이 FMB(Functional Manipulation Benchmark for Generalised Robotic Learning)라는 실제 벤치마크를 제안했습니다. 
- 프로젝트 홈페이지: https://functioning-manipulation-benchmark.github.io/
- 논문 주소: https://arxiv.org/abs/2401.08553
- 논문 제목: FMB : 일반화 가능한 로봇 학습을 위한 기능 조작 벤치마크
- 공동저자 홈페이지: https://people.eecs.berkeley.edu/~jianlanluo/
- https://charlesxu0124.github.io/
FMB는 다음과 같은 특징을 가지고 있습니다.
- 혁신적인 디자인: 3D 프린팅 기술은 로봇의 일반화 능력을 테스트하는 작업에서 물체를 생산하는 데 사용됩니다. 이 방법은 다른 연구자도 쉽게 재현할 수 있습니다.
- 다양한 작업: 단일 개체 및 다중 개체 다단계 조작 작업을 포함하여 일상 환경에서 실제로 문제를 시뮬레이션합니다.
- 대규모 데이터 세트: 수많은 인간 시연을 통해 로봇은 풍부한 데이터 세트를 제공받습니다.
- 모방 학습 기준: 최첨단 기계 학습 방법을 사용하여 다른 연구자가 사용할 수 있도록 기준 결과와 모듈식 구성 요소를 제공합니다.
FMB의 작업은 대략 단일 객체 다단계 조작 작업과 다중 객체 다단계 조작 작업의 두 가지 범주로 나뉩니다. 이러한 작업은 전체 작업을 완료하는 데 필요한 잡기, 위치 조정, 조립 등 로봇의 기본 기술을 테스트하도록 설계되었습니다. FMB의 작업에서는 로봇이 단일 제어 기술을 완료할 뿐만 아니라 로봇이 이러한 기술을 결합하여 보다 복잡한 다단계 작업을 완료해야 합니다. FMB의 작업 설계는 유연하고 변경 가능합니다. 연구원은 필요에 따라 단일 기술에 집중하고 로봇의 제어 능력을 깊이 연구하도록 선택하거나 로봇이 오랜 시간 동안 작업해야 하는 완전한 다단계 작업을 연구할 수 있습니다. -기간 계획을 세우고 실패를 복구하는 능력을 가지고 있습니다. 보다 복잡한 다단계 작업에는 적절한 개체를 선택하고 해당 개체를 조작하는 순서를 추론하는 과정이 포함되므로 로봇이 복잡한 실시간 결정을 내려야 합니다. 로봇 학습 과정에서 데이터의 역할은 과소평가될 수 없습니다. 로봇이 복잡한 작업을 더 잘 이해하고 숙달할 수 있도록 연구팀은 위 작업을 다루는 20,000개 이상의 작동 궤적을 포함하는 대규모 전문 인간 시연 데이터 세트를 수집했습니다. 연구팀은 이러한 시연 데이터를 기록하기 위해 4개의 서로 다른 카메라를 사용했는데, 그 중 2개는 로봇의 손목에 장착되었고 그 중 2개는 글로벌 관점을 제공했습니다. 이 카메라는 로봇이 작업 해결 방법을 배우는 데 중요한 RGB 색상 이미지 정보, 깊이 정보 등과 같은 데이터를 캡처합니다. 또한 데이터 세트는 로봇 엔드 이펙터의 힘/토크 정보도 기록하는데, 이는 조립과 같이 많은 수의 물체와 접촉해야 하는 작업에 매우 중요합니다. 이 풍부한 데이터를 통해 로봇은 작업의 모든 세부 사항을 깊이 이해하고 인간의 조작 기술을 보다 정확하게 모방할 수 있습니다. 로봇 학습을 위한 탄탄한 기반을 제공하는 것은 바로 데이터의 깊이와 폭 때문입니다. 이를 통해 로봇은 복잡한 작업을 수행할 때 보다 인간적이고 능숙하게 작업에 대응할 수 있습니다. 
Transformer와 ResNet을 기반으로 하는 두 모델 모두 공유 가중치가 있는 ResNet 인코더를 사용하여 각 이미지 보기를 인코딩한 다음 이를 고유 감각 정보 및 선택적 개체 및 해당 로봇 기술 인코딩 기능과 결합하여 7도로 동작을 예측합니다. 자유의. FMB의 실험 부분에서는 모방 학습 시스템의 성능에 대한 일련의 테스트를 수행하고, 다양한 학습 방법을 비교하고, 다양한 입력 모드와 설계 결정의 영향을 탐색합니다. 실험에 따르면 깊이 정보를 사용하면 파악 전략의 효율성이 향상되고 힘/토크 정보가 조립 작업에 매우 중요하다는 사실이 밝혀졌습니다. 다단계 작업의 경우 기존 ResNet, Transformer 및 Diffusion 방법은 실패했지만 본 논문에서 제안하는 계층적 제어 방법은 잠재력을 보여줍니다. 
실험 결과에 따르면 깊이 정보를 포함하는 ResNet 전략은 RGB 정보만 사용하는 전략보다 크롤링 작업에서 일관되게 더 나은 성능을 발휘하는 것으로 나타났습니다. 데이터 축소 연구를 통해 연구팀은 다양한 양의 훈련 데이터가 크롤링 작업 성능에 미치는 영향을 조사했습니다. 결과는 보이는 객체를 처리할 때 깊이 정보를 통합하는 ResNet 전략의 성능이 훈련 데이터의 양이 증가할수록 향상됨을 보여줍니다. 특히, 이 전략은 보이지 않는 물체에 대해 보이는 물체와 비슷한 성능을 보여 훈련 물체의 다양성이 로봇의 일반화 능력에 크게 기여한다는 것을 나타냅니다. 
조립 작업에서는 힘/토크 정보의 중요성이 확인되었습니다. 힘/토크 정보는 로봇이 물체가 목표 표면에 접촉했는지 여부를 판단하고 검색과 같은 작업을 효과적으로 수행하기 위해 채택하는 전략에 매우 중요합니다. 
그러나 정책이 모든 객체에 대해 훈련되면 로봇이 항상 조립 작업을 성공적으로 완료할 수 있는 것은 아닙니다. 이는 전략이 먼저 물체를 어느 구멍에 끼워야 하는지 결정한 다음 해당 작업을 생성해야 하기 때문에 작업의 복잡성이 크게 증가하기 때문입니다. 연구팀은 이 문제를 해결하기 위해 전략에 객체 선택 메커니즘을 추가하여 전략이 조립해야 할 객체의 모양을 결정하는 데 도움을 주어 올바른 조립 동작을 생성하는 데 중점을 두었습니다. 
FMB의 프레임워크는 두 가지 복잡한 작업으로 구성됩니다. 이러한 복잡한 작업을 수행하려면 로봇도 인간처럼 연속적으로 여러 단계를 완료할 수 있어야 합니다. 기존 방식은 전체 과정을 로봇이 학습하게 하는 방식이었지만, 이 방식은 단일 링크의 오류로 인해 오류가 누적돼 결국 전체 작업이 실패하는 경향이 있었다. 이 접근 방식은 단일 개체 조작 작업과 다중 개체 조작 작업 모두에서 성공률이 0/10입니다. 누적 오류 문제를 해결하기 위해 연구팀은 계층적 제어 전략을 채택했습니다. 계층적 전략은 작업을 여러 개의 작은 조각으로 분해합니다. 완료된 각 조각은 오류가 발생하더라도 후속 링크에 영향을 주지 않도록 신속하게 수정할 수 있습니다. 예를 들어, 로봇이 물체를 잡는 동안 물체를 단단히 잡는 데 실패하면 성공할 때까지 계속 시도합니다. 연구팀은 두 가지 계층적 방법을 테스트했습니다. 첫 번째 방법은 단일 전략에 대한 작업 유형을 나타내는 효과적인 벡터를 제공하는 반면, 두 번째 방법은 운영자 지침 사용을 상위로 사용하여 각 조작 기술에 대해 별도로 서로 다른 전략을 훈련합니다. 수준의 전략을 테스트한 결과 연구팀은 두 가지 방법 모두 좋은 성능을 발휘한다는 사실을 발견했습니다. 테스트 결과는 복잡한 로봇 작업을 처리하는 데 있어 계층적 접근 방식의 효율성을 보여주고 향후 연구를 위한 새로운 연구 방향을 제시합니다. 위 그림과 같이 로봇은 학습 후 자율적으로 기능을 제어할 수 있습니다. 
일반적으로 위 실험은 로봇 학습 분야에서 연구팀의 기술 혁신을 입증하고, FMB가 고급 로봇 학습 방법 개발에 적합한 벤치마크임을 검증합니다. 연구팀은 FMB를 기반으로 로봇 학습의 경계를 더욱 넓힐 수 있는 향후 연구가 기대된다. 위 내용은 Berkeley 오픈 소스 고품질 대규모 로봇 제어 벤치마크, 더 이상 복잡한 자율 제어 작업에 직면하기 어렵지 않음의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
