在机器人顶会 RSS 2024 上，中国的人形机器人研究斩获最佳论文奖

최근 네덜란드 델프트공과대학교에서 로봇공학 분야의 유명 학회인 RSS(Robotics: Science and Systems) 2024가 성공적으로 마무리되었습니다.

컨퍼런스 규모는 NeurIPS, CVPR 등 최고의 AI 컨퍼런스와 비교할 수 없지만 RSS는 지난 몇 년간 큰 발전을 이루었으며 올해는 거의 900명이 참가했습니다.

컨퍼런스 마지막 날에는 Best Paper, Best Student Paper, Best System Paper, Best Demo Paper 등 여러 상이 동시에 발표되었습니다. 또한 컨퍼런스에서는 'Early Career Spotlight Award'와 'Time Test Award'도 선정했습니다.

칭화대학교와 베이징 싱동 시대 과학 기술 유한 회사의 휴머노이드 로봇 연구가 최우수 논문상을 수상했으며, 중국 학자 Ji Zhang이 이번 시험상을 수상했다는 점은 주목할 만합니다.

다음은 수상 논문에 대한 정보입니다.

Best Demo Paper Award

• 논문 제목: CropFollow++ 시연: 키포인트를 사용한 강력한 캐노피 아래 탐색

• 저자: Arun Narenthiran Siv 아쿠마르 , Mateus Valverde Gasparino, Michael McGuire, Vitor Akihiro Hisano Higuti, M. Ugur Akcal, Girish Chowdhary

• 기관: UIUC, Earth Sense

• 논문 링크: https://enriquecoronadozu.github.io/rssproceedings2024/rss20/ p023.pdf

본 논문에서 연구자들은 의미론적 핵심 포인트를 사용하여 농작물 캐노피 농업 로봇을 위한 경험 기반의 강력한 시각적 탐색 시스템을 제안합니다.

작물 캐노피 아래에서 자동 탐색은 작은 작물 행 간격(~0.75미터), 다중 경로 오류로 인한 RTK-GPS 정확도 감소, 과도한 혼란으로 인한 LiDAR 측정 소음으로 인해 어렵습니다. CropFollow라는 초기 작업에서는 학습 기반의 엔드 투 엔드 지각 시각적 탐색 시스템을 제안하여 이러한 문제를 해결했습니다. 그러나 이 접근 방식에는 해석 가능한 표현이 부족하고 신뢰도가 부족하여 폐색 중 이상치 예측에 대한 민감도가 부족하다는 한계가 있습니다.

이 기사의 CropFollow++ 시스템은 모듈식 인식 아키텍처와 학습된 의미론적 핵심 포인트 표현을 소개합니다. CropFollow에 비해 CropFollow++는 더 모듈화되고 해석이 더 쉬우며 폐색 감지에 더 큰 신뢰도를 제공합니다. CropFollow++는 각각 1.9km에 걸쳐 13번 대 33번의 충돌이 필요한 까다로운 후기 시즌 현장 테스트에서 CropFollow보다 훨씬 더 나은 성능을 보였습니다. 또한 다양한 현장 조건에서 여러 개의 작물 아래 캐노피 덮개 자르기 로봇(총 길이 25km)에 CropFollow++를 대규모로 배포하여 배운 주요 교훈에 대해서도 논의합니다.

• 논문 제목: 상태 추정 없이 픽셀에서 민첩한 비행 시연

• 저자: smail Geles, Leonard Bauersfeld, Angel Romero, Jiaxu Xing, Davide Scaramuzza

• 논문 링크: https://enriquecoron 아도즈 .github.io/rssproceedings2024/rss20/p082.pdf

쿼드콥터 드론은 가장 민첩한 비행 로봇 중 하나입니다. 최근 일부 연구에서 학습 기반 제어 및 컴퓨터 비전이 발전했지만 자율 드론은 여전히 ​​명시적인 상태 추정에 의존합니다. 반면에 인간 조종사는 드론에 탑재된 카메라가 제공하는 1인칭 비디오 스트림에만 의존하여 플랫폼을 한계까지 밀어붙이고 보이지 않는 환경에서도 꾸준히 비행할 수 있습니다.

이 기사에서는 픽셀을 제어 명령에 직접 매핑하면서 고속으로 일련의 문을 자율적으로 탐색할 수 있는 최초의 비전 기반 쿼드콥터 드론 시스템을 보여줍니다. 전문 드론 레이서와 마찬가지로 시스템은 명시적인 상태 추정을 사용하지 않고 대신 인간과 동일한 제어 명령(집단 추력 및 신체 속도)을 사용합니다. 연구원들은 최대 40km/h의 속도와 최대 2g의 가속도에서 민첩한 비행을 시연했습니다. 이는 강화 학습(RL)을 통해 비전 기반 정책을 교육함으로써 달성됩니다. 비대칭 Actor-Critic을 사용하면 특권적인 정보를 얻고 훈련을 용이하게 할 수 있습니다. 이미지 기반 RL 훈련 중 계산 복잡성을 극복하기 위해 게이트의 내부 가장자리를 센서 추상화로 사용합니다. 이 간단하면서도 강력한 작업 관련 표현은 훈련 중에 이미지를 렌더링하지 않고도 시뮬레이션할 수 있습니다. 배포 과정에서 연구원들은 Swin Transformer를 기반으로 한 도어 감지기를 사용했습니다.

이 문서의 방법은 표준 기성 하드웨어를 사용하여 자율적이고 민첩한 비행을 달성할 수 있습니다. 이번 시연은 드론 경주에 중점을 두었지만, 이 접근 방식은 경쟁을 넘어서는 의미를 가지며 구조화된 환경에서 실제 응용 프로그램에 대한 향후 연구의 기반이 될 수 있습니다.

최고 시스템 논문상

• 論文のタイトル: ユニバーサル操作インターフェース: 野生ロボットを使用しない野生ロボットの教育

• Cheng Chi、Zhenjia Xu、Chuer Pan、Eric Cousineau、Benjamin Burchfiel、Siyuan Feng、Russ Tedrake、Shuran Song

• 機関: スタンフォード大学、コロンビア大学、トヨタ研究所

• 論文リンク: https://arxiv.org/pdf/2402.10329

この記事では、Universal Manipulation Interface (UMI) を紹介します。野生の人間が実証したスキルを展開可能なロボット ポリシーに直接転送する、データ収集およびポリシー学習フレームワーク。 UMI は、ハンドヘルド グリッパーと慎重なインターフェイス設計を利用して、困難な双腕操作や動的操作のデモンストレーションに、ポータブルで低コストの情報豊富なデータ収集を提供します。展開可能なポリシー学習を促進するために、UMI は、推論時間遅延マッチングおよび相対軌跡アクション表現機能を備えた、慎重に設計されたポリシー インターフェイスを採用しています。学習されたポリシーはハードウェアに依存せず、複数のロボット プラットフォームに展開できます。これらの機能により、UMI フレームワークは新しいロボット操作機能を解放し、各タスクのトレーニング データを変更するだけで、動的、双腕、正確、長視野動作のゼロショット一般化を可能にします。研究者らは、UMI Zero RFで学習したポリシーが、さまざまな人間のデモンストレーションでトレーニングされたときに新しい環境やオブジェクトに一般化されるという包括的な実世界の実験を通じて、UMIの多用途性と有効性を実証しました。

• 論文タイトル: Khronos: A Unified Approach for Spatio-Temporal Metric-Semantic SLAM in Dynamic Environs

• 著者: Lukas Schmid、Marcus Abate、Yun Chang、Luca Carlone

• 論文リンク: https://arxiv.org/pdf/2402.13817

非常に動的で変化する環境を認識して理解することは、ロボットの自律性にとって重要な能力です。ロボットのポーズを正確に推定できる動的 SLAM 手法の開発ではかなりの進歩が見られましたが、ロボット環境の高密度の時空間表現の構築には十分な注意が払われてきませんでした。シナリオとその時間の経過に伴う進化を詳細に理解することは、ロボットの長期的な自律性にとって重要であり、人間や他のエージェントと共有される環境で効果的に動作するなど、長期的な推論を必要とするタスクにも重要です。したがって、短期および長期の制約を受けることになります。

この課題に対処するために、この研究では時空間計量意味論的 SLAM (SMS) 問題を定義し、問題を効果的に分解して解決するためのフレームワークを提案します。我々は、提案された因数分解が、時空間知覚システムの自然な組織化を示唆していることを示します。この場合、高速なプロセスはアクティブな時間枠内の短期的なダイナミクスを追跡し、別の遅いプロセスは因子グラフを使用して環境の長期的な変化への応答を表現します。推論。研究者らは、効率的な時空間認識方法であるクロノスを提供し、それが短期および長期のダイナミクスの既存の説明を統合し、リアルタイムで高密度の時空間マップを構築できることを実証しました。

論文で提供されているシミュレーションと実際の結果は、クロノスによって構築された時空間マップが 3 次元シーンの時間的変化を正確に反映でき、クロノスが複数の指標でベースラインを上回っていることを示しています。

最優秀学生論文賞

• 論文タイトル: Controlled Slidingによる動的オンパームマニピュレーション

• 著者: William Yang、Michael Posa

• 機関: ペンシルバニア大学

• 論文リンク: https://arxiv.org/pdf/2405.08731

現在、非掴み動作を実行するロボットの研究は、滑りによって引き起こされる可能性のある問題を回避するために主に静的接触に焦点を当てています。しかし、「手の滑り」の問題を根本的に解消する、つまり接触時の滑りを制御することができれば、ロボットの新たな行動領域が広がります。

この論文では、研究者らは、さまざまな混合接触モードを包括的に考慮する必要がある、挑戦的な動的非把握操作タスクを提案しています。研究者らは、最新の暗黙的接触モデル予測制御 (MPC) テクノロジーを使用して、ロボットがさまざまなタスクを完了するためのマルチモーダルな計画を実行できるようにしました。この論文では、MPC の単純化されたモデルを低レベルの追跡コントローラーと統合する方法と、暗黙的接触 MPC を動的タスクのニーズに適応させる方法について詳しく説明します。

印象的なのは、摩擦および剛体接触モデルは不正確であることが多いことが知られているにもかかわらず、この論文のアプローチはタスクを迅速に完了しながら、これらの不正確さに敏感に対応することができます。さらに、研究者らは、ロボットがタスクを完了するのを支援するために、基準軌道やモーションプリミティブなどの一般的な補助ツールを使用しなかった。これは、この方法の多用途性をさらに強調している。暗黙的接触 MPC テクノロジーが 3 次元空間での動的操作タスクに適用されたのはこれが初めてです。

• Papiertitel: Agile But Safe: Learning Collision-Free High-Speed ​​​​Legged Locomotion

• Autoren: Tairan He, Chong Zhang, Wenli Xiao, Guanqi He, Changliu Liu, Guanya Shi

• Institution: CMU, ETH Zürich, Schweiz

• Link zum Papier: https://arxiv.org/pdf/2401.17583

Wenn vierbeinige Roboter durch unübersichtliche Umgebungen reisen, müssen sie sowohl Flexibilität als auch Sicherheit bieten. Sie müssen in der Lage sein, Aufgaben schnell zu erledigen und dabei Kollisionen mit Personen oder Hindernissen zu vermeiden. Die bestehende Forschung konzentriert sich jedoch oft nur auf einen Aspekt: ​​Entweder wird aus Sicherheitsgründen eine konservative Steuerung mit einer Geschwindigkeit von nicht mehr als 1,0 m/s entworfen, oder man strebt nach Flexibilität, ignoriert aber das Problem potenziell tödlicher Kollisionen.

Dieses Papier schlägt ein Kontrollrahmenwerk namens „Agile and Secure“ vor. Dieser Rahmen ermöglicht es vierbeinigen Robotern, Hindernissen und Menschen sicher auszuweichen und gleichzeitig ihre Flexibilität zu bewahren, wodurch ein kollisionsfreies Gehen erreicht wird.

ABS umfasst zwei Sätze von Strategien: Eine besteht darin, dem Roboter beizubringen, flexibel und flink zwischen Hindernissen zu wechseln, und die andere darin, dem Roboter beizubringen, wie er sich schnell erholen kann, wenn er auf ein Problem stößt, um sicherzustellen, dass der Roboter nicht herunterfällt oder etwas treffen. Die beiden Strategien ergänzen sich.

Im ABS-System wird der Strategiewechsel durch ein Kollisionsvermeidungs-Wertenetzwerk gesteuert, das auf der Theorie der lernenden Steuerung basiert. Dieses Netzwerk bestimmt nicht nur, wann die Strategie gewechselt werden muss, sondern stellt auch eine Zielfunktion für die Wiederherstellungsstrategie bereit und stellt sicher, dass der Roboter im geschlossenen Regelsystem immer sicher bleibt. Auf diese Weise können Roboter flexibel auf verschiedene Situationen in komplexen Umgebungen reagieren.

Um diese Strategien und Netzwerke zu trainieren, haben Forscher umfangreiche Schulungen in Simulationsumgebungen durchgeführt, darunter agile Strategien, Wertnetzwerke zur Kollisionsvermeidung, Wiederherstellungsstrategien und Netzwerke zur Darstellung externer Wahrnehmung usw. Diese trainierten Module können direkt auf die reale Welt angewendet werden. Mit den eigenen Wahrnehmungs- und Rechenfähigkeiten des Roboters kann er schnell und sicher handeln, egal ob er sich drinnen oder in einem begrenzten Außenbereich befindet, egal ob er auf unbewegliche oder bewegliche Hindernisse trifft ABS-Rahmen.

Wenn Sie weitere Einzelheiten erfahren möchten, können Sie sich die vorherige Einleitung zu diesem Dokument auf dieser Website ansehen.

• Papiertitel: ScrewMimic: Bimanual Imitation from Human Videos with Screw Space Projection

• Autoren: Arpit Bahety, Priyanka Mandikal, Ben Abbatematteo, Roberto Martín-Martín

• Institution: Texas University of Austin

• Link zum Papier: https://arxiv.org/pdf/2405.03666

Wenn Sie einem Roboter beibringen möchten, wie man etwas mit zwei Händen gleichzeitig macht, beispielsweise eine Kiste öffnen Gleichzeitig ist es tatsächlich eine sehr schwierige Schwierigkeit. Da der Roboter viele Gelenke gleichzeitig steuern muss, muss er auch dafür sorgen, dass die Bewegungen der beiden Hände koordiniert werden. Für den Menschen lernt der Mensch neue Handlungen, indem er andere beobachtet, sie dann selbst ausprobiert und sich kontinuierlich verbessert. In diesem Artikel beziehen sich Forscher auf menschliche Lernmethoden, damit Roboter durch das Ansehen von Videos neue Fähigkeiten erlernen und diese in der Praxis verbessern können.

Forscher ließen sich von psychologischen und biomechanischen Studien inspirieren. Sie stellten sich die Bewegungen der beiden Hände als eine spezielle Kette vor, die sich wie eine Schraube drehen kann, was als „Spiralbewegung“ bezeichnet wird. Darauf aufbauend entwickelten sie ein System namens ScrewMimic. Dieses System kann Robotern helfen, menschliche Demonstrationen besser zu verstehen und Aktionen durch Selbstüberwachung zu verbessern. Durch Experimente fanden die Forscher heraus, dass das ScrewMimic-System dem Roboter helfen kann, anhand eines Videos komplexe Zweihandbedienungsfähigkeiten zu erlernen, und in der Leistung diejenigen Systeme übertrifft, die direkt im ursprünglichen Aktionsraum lernen und sich verbessern.

Methodendiagramm, die die humanoide Fortbewegung vorantreiben: Beherrschung herausfordernder Terrains mit demoinieren Weltrundmodell Learning Institution: Beijing Xingdong Era Technology Co., Ltd., Tsinghua-Universität

Lien papier : https://enriquecoronadozu.github.io/rssproceedings2024/rss20/p058.pdf

La technologie actuelle ne peut permettre aux robots humanoïdes de marcher que sur un sol plat et un terrain aussi simple. Cependant, il reste difficile de les laisser se déplacer librement dans des environnements complexes, comme de véritables scènes extérieures. Dans cet article, les chercheurs proposent une nouvelle méthode appelée apprentissage de modèle mondial de débruitage (DWL).

DWL est un cadre d'apprentissage par renforcement de bout en bout pour le contrôle des mouvements des robots humanoïdes. Ce cadre permet au robot de s'adapter à une variété de terrains inégaux et difficiles, tels que la neige, les pentes et les escaliers. Il convient de mentionner que ces robots ne nécessitent qu’un seul processus d’apprentissage et peuvent relever divers défis de terrain dans le monde réel sans formation spéciale supplémentaire.

Cette recherche a été réalisée conjointement par Beijing Xingdong Era Technology Co., Ltd. et l'Université Tsinghua. Fondée en 2023, Xingdong Era est une entreprise technologique incubée par l'Institut de recherche en informations croisées de l'Université Tsinghua qui développe des technologies et des produits d'intelligence incarnée et de robots humanoïdes généraux. Le fondateur est Chen Jianyu, professeur adjoint et directeur de doctorat à l'Institut de recherche en informations croisées de l'Université Tsinghua. , axé sur l'application de pointe de l'intelligence artificielle générale (AGI), s'engage dans le développement de robots humanoïdes universels capables de s'adapter à un large éventail de domaines, de scénarios multiples et d'une intelligence élevée.

• Titre de l'article : Détection d'anomalies en temps réel et planification réactive avec de grands modèles de langage

• Auteurs : Rohan Sinha, Amine Elhafsi, Christopher Agia, Matt Foutter, Edward Schmerling, Marco Pavone

• Institution :Stanford University

• Lien papier : https://arxiv.org/pdf/2407.08735

Les grands modèles de langage (LLM), dotés de capacités de généralisation sans tir, ce qui les rend prometteurs pour les robots de détection et d'exclusion. Techniques pour défaillance hors distribution des systèmes. Cependant, pour que les modèles de langage à grande échelle fonctionnent réellement, deux problèmes doivent être résolus : premièrement, LLM nécessite que de nombreuses ressources informatiques soient appliquées en ligne ; deuxièmement, le jugement de LLM doit être intégré dans le système de contrôle de sécurité du robot.

Dans cet article, les chercheurs ont proposé un cadre de raisonnement en deux étapes : pour la première étape, ils ont conçu un détecteur d'anomalies rapide qui peut analyser rapidement les observations du robot dans l'espace de compréhension du LLM si des problèmes sont détectés, la suivante ; l’étape de sélection alternative est entrée. À ce stade, les capacités d'inférence de LLM sont utilisées pour effectuer une analyse plus approfondie.

L'étape entrée correspond au point de branchement de la stratégie de contrôle prédictif du modèle, qui peut suivre et évaluer simultanément différents plans alternatifs pour résoudre le problème de latence des raisonneurs lents. Une fois que le système détecte une anomalie ou un problème, cette stratégie sera activée immédiatement pour garantir la sécurité des actions du robot.

Le classificateur d'anomalies rapide présenté dans cet article surpasse l'inférence autorégressive utilisant des modèles GPT de pointe, même lors de l'utilisation de modèles de langage relativement petits. Cela permet au moniteur en temps réel proposé dans l'article d'améliorer la fiabilité des robots dynamiques avec des ressources et un temps limités, comme dans les quadricoptères et les voitures sans conducteur.

• Titre du papier: Configuration Espace Distance Fields for Manipulation Planning

• author: Yiming Li, Xuemin Chi, Amirreza Razmjoo, Sylvain Calion

• Institution: Suisse I Diap Institute, Lausanne, Institut fédéral de technologie de Suisse, Université du Zhejiang

• Lien papier : https://arxiv.org/pdf/2406.01137

Le champ de distance signé (SDF) est une représentation de forme implicite populaire en robotique, qui fournit des informations géométriques sur objets et obstacles et peut être facilement combiné avec des techniques de contrôle, d’optimisation et d’apprentissage. SDF est généralement utilisé pour représenter les distances dans l'espace des tâches, ce qui correspond à la notion de distance perçue par les humains dans le monde 3D.

Dans le domaine des robots, SDF est souvent utilisé pour représenter l'angle de chaque articulation du robot. Les chercheurs savent généralement quelles zones de l'espace angulaire des articulations du robot sont sûres, c'est-à-dire que les articulations du robot peuvent pivoter vers ces zones sans collision. Cependant, ils n’expriment pas souvent ces zones de sécurité en termes de champs de distance.

在这篇论文中，研究者们提出了用 SDF 优化机器人配置空间的潜力，他们称之为配置空间距离场（简称为 CDF）。与使用 SDF 类似，CDF 提供了高效的关节角度距离查询和直接访问导数（关节角速度）。通常，机器人规划会分成两步：先在任务空间里看看动作离目标有多远，再用逆运动学算出关节怎么转。但 CDF 让这两步合成一步，直接在机器人的关节空间里解决问题，这样更简单，效率也更高。研究者在论文中提出了一种高效的算法来计算和融合 CDF，可以推广到任意场景。

他们还提出了一种使用多层感知器（MLPs）的相应神经 CDF 表示，用以获得紧凑且连续的表示，提高了计算效率。论文中提供了一些具体示例来展示 CDF 的效果，比如让机器人避开平面上的障碍物，一级让一个 7 轴的机器人 Franka 完成一些动作规划任务。这些示例都说明了 CDF 的有效性。

                              ^{应用 CDF 方法的机械臂做抬盒子任务}

早期职业 Spotlight

大会还评选出了早期职业 Spotlight 奖，本次获奖者为 Stefan Leutenegger，他的研究重点是机器人在潜在未知环境中的导航。

Stefan Leutenegger 是慕尼黑工业大学（TUM）计算、信息与技术学院（CIT）助理教授（终身教职），并与慕尼黑机器人与机器智能研究所（MIRMI）、慕尼黑数据科学研究所（MDSI）和慕尼黑机器学习中心（MCML）有所关联，曾是戴森机器人实验室的成员。他领导的智能机器人实验室（SRL）致力于感知、移动机器人、无人机和机器学习的交叉研究。此外，Stefan 还是伦敦帝国理工学院计算机系的客座讲师。

他参与创办了 SLAMcore 公司，这是一家以机器人和无人机的定位和绘图解决方案的商业化为目标的衍生公司。Stefan 获得了苏黎世联邦理工学院机械工程学士学位和硕士学位，并在 2014 年获得了博士学位，学位论文主题为《无人太阳能飞机：高效稳健自主运行的设计与算法》。

时间检验奖

RSS 时间考验奖授予至少十年前在 RSS 上发表的影响力最大的论文（也可能是其期刊版本）。影响力可以从三个方面理解：比如改变了人们对问题或机器人设计的思考方式，使新问题引起了社区的注意，或者是开创了机器人设计或问题解决的新方法。

通过这个奖项，RSS 希望促进对本领域长期发展的讨论。今年的时间检验奖颁给了 Ji Zhang 和 Sanjiv Singh 的研究《LOAM：激光雷达测距和实时测绘》。

论文链接：https://www.ri.cmu.edu/pub_files/2014/7/Ji_LidarMapping_RSS2014_v8.pdf

这篇十年前的论文提出了一种利用以 6-DOF 运动的双轴激光雷达的测距数据进行里程测量和绘图的实时方法。这个问题难以解决的原因是测距数据是在不同时间接收到的，而运动估计中的误差会导致所得到的点云的错误配准。相干的三维地图可以通过离线批处理方法建立，通常使用闭环来校正随时间的漂移。而本文方法无需高精度测距或惯性测量，即可实现低漂移和低计算复杂度。

获得这种性能水平的关键在于将复杂的同步定位和测绘问题分为两种算法，以同时优化大量变量。一种算法以高频率但低保真的方式进行测距，以估算激光雷达的速度；另一种算法以低一个数量级的频率运行，用于点云的精细匹配和注册。这两种算法的结合使该方法能够实时绘图。研究者通过大量实验以及 KITTI 测速基准进行了评估，结果表明该方法可以达到离线批量方法的 SOTA 精度水平。

更多大会及奖项信息，可参考官网内容：https://roboticsconference.org/

以上是在机器人顶会 RSS 2024 上，中国的人形机器人研究斩获最佳论文奖的详细内容。更多信息请关注PHP中文网其他相关文章！