La recherche sur les robots Tencent est en tête du débat ! Cela peut aider les programmeurs à installer des moniteurs et à travailler ensemble comme de vraies personnes.

Nouvelle avancée dans le domaine des robots domestiques :

Deux bras robotiques indépendants peuvent déjà coopérer en douceur !

Si vous n'y croyez pas, regardez ceciTournez le bouchon de la bouteille avec les deux mains:

Après avoir tourné, prenez la tasse et versez de l'eau:

C'est aussi vivant que une vraie personne.

Maintenant, vous pouvez également donner un coup de main pour aider le programmeur

à installer l'écran  :

Il a même repris la

big box du "collègue" :

Il peut On peut dire que tout le monde Les objets ayant diverses propriétés géométriques et physiques peuvent être maintenus de manière stable.

(Que puis-je faire d'autre ensuite, je n'ose pas y penser)

C'est la dernière réalisation de

Tencent Robotics Il a été publié dans la la meilleure revue dans le domaine de la robotique"IEEE Transactions on Robotics". Puisqu'il s'agit d'un travail,

Anti-interférence

la capacité doit être :

Puisqu'il s'agit d'un travail à deux mains, les deux bras ne peuvent pas être "remués" ensemble :

Cette "chaise" non identifiée « Opération de retournement en dessous de 360° » démontre sa capacité entièrement autonome

« bras pour éviter l'auto-collision ».

Enfin, s'il rencontre occasionnellement des humains méchants, il peut facilement l'obtenir,

reconnaissance complète des intentions et interaction dynamique

 :

(Donnez-moi, donnez-moi, hé, oubliez ça, j'arrêterai )

Les détails techniques spécifiques sont révélés~

La réalisation universelle du système humanoïde à double bras

Les robots humanoïdes universels sont sans aucun doute un point chaud de la recherche à l'intersection des robots et de l'IA ces dernières années.

Parmi eux, le

système humanoïde à double bras

porte directement les capacités d'exécution de ce type de tâches d'exploitation de robot.

La capacité de saisir et de manipuler arbitrairement n'importe quel objet ayant diverses propriétés géométriques et physiques est une manifestation technique de la généralisation de ce type de système.

La plupart des travaux de recherche existants se concentrent sur la résolution de problèmes à un niveau spécifique, comme la perception environnement-objet, le raisonnement et la génération de stratégies, la planification ou le contrôle du fonctionnement des systèmes robotisés. Et les solutions sont généralement fortement liées aux objets ou tâches spécifiques opérés, ce qui rend difficile leur transfert et leur généralisation.

Tencent Robotique

Tout d'abord

, comment obtenir une préhension optimale d'objets inconnus avec deux bras basée sur la perception visuelle.

Deuxièmement, comment garantir la sécurité du système des robots à deux bras avec des espaces de travail fortement superposés lors d'une collaboration dynamique.

Enfin, comment transférer de riches compétences humaines dans des systèmes robotiques avec seulement des types d'interfaces de suivi limités.

Ici, la modélisation probabiliste de Tencent Robotics permet une saisie collaborative optimale d'objets non modélisés. 2. Le

Sous-cadre de contrôle multifonctionnel

basé sur l'optimisation adopte un cadre d'optimisation hiérarchique multi-priorité et intègre des fonctions de substitution de distance légères générées sur la base de la technologie d'apprentissage et de contrôle de suivi du niveau de vitesse sur les variétés riemanniennes. Dans le même temps, il permet d'éviter les auto-collisions de haute précision des deux bras et de suivre l'ellipsoïde à double bras très réaliste, garantissant la sécurité intrinsèque du système à double bras et ouvrant l'interface de suivi de l'ellipsoïde de fonctionnement.

En outre, cette recherche a également résolu pour la première fois systématiquement la saisie optimale coopérative à deux bras d'objets inconnus basée sur la perception visuelle, obtenant ainsi la sécurité intrinsèque d'un robot à deux bras avec des espaces de travail fortement superposés et ouvrant les bras doubles qui peut être utilisé pour l’apprentissage du transfert de compétences homme-machine. Interface de suivi ellipsoïde interopérable.

En fin de compte, le système fournit des interfaces riches en termes de couche de perception, de préhension à deux mains, de planification des opérations collaboratives et de contrôle sous-jacent, et présente une grande polyvalence, évolutivité et compatibilité.

Les détails techniques sont les suivants :

Sous-cadre de détection agile et accessible

S'articulant autour du sous-cadre de détection intelligente accessible, afin de parvenir à une saisie coopérative à deux bras d'objets inconnus, il est nécessaire de générer indépendamment un exécutable intelligent optimal. saisir le système à deux bras Obtenez le bon.

Les chercheurs sont partis de trois niveaux : génération d'ensembles de données, réseau d'évaluation de la qualité de saisie et modélisation probabiliste de l'accessibilité des robots à deux bras, et ont systématiquement conçu un sous-cadre de préhension à double bras de détection adroite et accessible pour obtenir une perception visuelle du système. -cartographie finale entre les nuages ​​de points 3D d'objets obtenus et des paires de poses de préhension 6D à deux bras optimales et adroites.

1. Ensemble de données de préhension de détection de dextérité à double bras

Afin d'établir une relation de cartographie précise entre le nuage de points d'entrée et la qualité de préhension à double bras de sortie et de former efficacement le réseau d'évaluation de préhension, les chercheurs proposé Le premier ensemble de données synthétiques de préhension à double bras prenant en compte la dextérité à grande échelle de l'industrie (ensemble de données DA2).

Cet ensemble de données contient un maillage de 6327 objets et plus de 9 millions de groupes de paires de préhensions. Chaque groupe de préhensions est marqué à l'aide de trois indicateurs : singularité de préhension - stabilité de préhension - compatibilité des forces de préhension.

2. Réseau d'évaluation de la qualité de préhension coopérative bras-bras

Dans des scénarios réels, des techniques telles que l'échantillonnage heuristique peuvent généralement être utilisées pour générer des paires de préhension candidates sur le nuage de points 3D perçu de l'objet, car La qualité de ces paires de préhension candidates est évaluée en ligne en temps réel et la solution optimale est générée.

Les chercheurs ont conçu Dual-PointNetGPD, un réseau d'évaluation de la qualité pour la préhension collaborative à deux bras, et ont utilisé l'ensemble de données DA2 pour la formation.

Par rapport aux méthodes d'analyse traditionnelles basées sur des modèles de force de contact simplifiés et s'appuyant sur des caractéristiques géométriques précises des objets, le Dual-PointNetGPD basé sur l'apprentissage peut traiter directement les nuages ​​de points 3D bruyants et déterminer la dextérité des configurations de préhension à deux bras candidates et l'évaluation de la fiabilité.

Donc plus robuste au bruit de perception visuelle généralisé.

3. Modélisation de l'accessibilité à deux bras et allocation de préhension optimale

Dual-PointNetGPD génère la structure d'évaluation de la qualité de la paire de préhension du point de vue de la perception visuelle. Pour un système robot à deux bras spécifique, elle doit également être obtenue à partir de. l'ontologie du robot. Les perspectives considèrent le problème d'accessibilité des paires de préhension candidates dans l'espace de fonctionnement du robot et le problème d'allocation des paires de préhension entre les bras.

Les chercheurs ont utilisé la technologie de modélisation de modèle de mélange gaussien de quaternions unitaires pour modéliser l'espace de travail à 6 degrés de liberté des deux bras et ont conçu une stratégie d'allocation de maximisation de probabilité pour réaliser l'évaluation de l'accessibilité et de la dextérité de préhension des deux bras. unité.

Sous-châssis de contrôle des opérations coopératives multifonctionnel

Pour le sous-châssis de contrôle des opérations coopératives multifonctionnel, la capacité de saisir de manière coopérative des objets inconnus est la première étape pour parvenir à l'universalisation des deux bras, et la planification des mouvements d'opération coopérative avec conscience de la sécurité du corps est la deuxième étape consiste à connectez l'exploration universelle et implémentez des opérations universelles.

Étant donné que les espaces de travail des deux bras manipulateurs du système robot humanoïde à deux bras se chevauchent souvent fortement, Pour le corps du robot qui effectue des tâches dynamiques à deux bras, l'évitement des auto-collisions doit avoir la plus haute priorité en mouvement. planification. En plus de la précision de l'évitement des collisions, il est également nécessaire de réduire le coût de calcul en ligne pour garantir l'évitement des collisions en temps réel. De plus, en tant qu'un des indicateurs importants de performance opérationnelle et de caractérisation des compétences du robot, l'ellipsoïde d'opération collaborative à double bras doit être contrôlé en continu pour obtenir une optimisation en temps réel de la configuration du bras robotique, améliorant ainsi la dextérité opérationnelle du double -arm et éviter l'échec de la mission en raison de la singularité opérationnelle.

Les chercheurs ont conçu à cet effet un nouveau sous-cadre multifonctionnel de contrôle des opérations collaboratif.

Ce cadre est basé sur un cadre d'optimisation hiérarchique multi-objectifs multi-priorités, qui intègre la fonction de substitution de distance minimale légère à deux bras apprise et la tâche de suivi de vitesse multiple riemannienne dans différentes priorités sous la forme de contraintes d'inégalité.

Cela permet d'obtenir la sécurité intrinsèque de la planification des mouvements des opérations à double bras et la haute fidélité de l'optimisation de la configuration à double bras dans l'apprentissage du transfert de compétences homme-machine.

1. Évitement d'auto-collision de haute précision des deux bras

△ Un robot humanoïde à deux bras avec des espaces de travail très superposés

Pour obtenir une fonction de distance minimale précise et fiable qui décrit la limite de collision des deux bras consiste à intégrer les contraintes d'évitement des collisions dans une étape clé du cadre d'optimisation multiprioritaire pour parvenir à l'évitement d'auto-collision avec les deux bras.

En raison de la grande dimensionnalité de l'espace de configuration à deux bras et des espaces de travail qui se chevauchent, la répartition du sous-espace de sécurité et du sous-espace de collision est sérieusement déséquilibrée et difficile à séparer.

Les chercheurs proposent une nouvelle méthode d'échantillonnage basée sur l'apprentissage actif pour générer des ensembles de données de collision à double bras à grande échelle, équilibrés et riches en informations.

Utilisez ensuite l'apprentissage automatique pour ajuster la relation de cartographie entre la distance minimale des bras et la configuration des bras, obtenant ainsi efficacement une fonction de substitution de distance minimale de haute précision.

△Diagramme schématique de l'algorithme d'échantillonnage basé sur l'apprentissage actif

2. Suivi d'ellipsoïde d'opération collaborative à deux bras basé sur la géométrie riemannienne

En plus de l'évitement d'auto-collision, le suivi d'ellipsoïde d'opération est lié aux compétences opérationnelles. Ceci est fortement lié à la configuration de fonctionnement et constitue également un problème clé qui doit être traité lors du contrôle du système à double bras.

L'ellipsoïde de degré de fonctionnement à double bras est décrit par une matrice définie positive (SPD) symétrique. En concevant le terme de rétroaction de vitesse dans l'espace collecteur et en le combinant avec le principe de contrôle des erreurs, les chercheurs ont obtenu un suivi et un suivi en temps réel. l'ellipsoïde à degré de fonctionnement à double bras. La convergence exponentielle globale de l'erreur est donnée, ainsi qu'une analyse théorique et une preuve complètes.

La tâche de suivi ellipsoïde à double bras est intégrée dans le cadre d'optimisation multi-priorités sous la forme de contraintes d'égalité et présentée sous la forme d'une interface de suivi ellipsoïde à double bras.

3. Optimisation multi-priorité et conception de contrôleurs

Les chercheurs ont utilisé des variables d'espace de tâches collaboratives (mouvement absolu des deux bras et mouvement relatif des deux bras) pour décrire tous les systèmes collaboratifs-non-coopératifs/synchrones-asynchrones à double bras. tâches, et sur la base du cadre multi-objectifs et multi-priorités, un cadre système pour le contrôle opérationnel collaboratif universel des deux armes est conçu.

Ce cadre intègre de manière organique les multiples tâches mentionnées ci-dessus telles que l'évitement d'auto-collision des deux bras et le suivi ellipsoïdal du fonctionnement des deux bras, éliminant ainsi les obstacles à la généralisation des deux bras au niveau de la planification et du contrôle des mouvements.

Excellent dans la préhension collaborative et l'évitement des auto-collisions

Afin de vérifier l'efficacité de la préhension collaborative optimale des deux bras, de l'évitement des auto-collisions des deux bras et du suivi ellipsoïde de l'opération collaborative des deux bras, les chercheurs réalisé Le réseau Dual-PointNetGPD conçu, la fonction de substitution de distance minimale générée par l'apprentissage pour les deux bras et l'erreur de suivi du collecteur SPD ont été analysés quantitativement.

1. Préhension coopérative optimale des deux bras Les chercheurs ont mené des expériences d'ablation à grande échelle dans le moteur de simulation physique. Les résultats ont montré que le réseau Dual-PointNetGPD conçu et formé a efficacement amélioré la saisie d'objets non modélisés de grande taille. Le taux de réussite de la coopération à deux bras dans la tâche .

2. Évitement d'auto-collision avec les deux bras
Analysez principalement les deux dimensions de génération de l'ensemble de données de collision à double bras et la fonction proxy de distance minimale des deux bras, étant donné que l'espace de configuration à double bras est. 14 dimensions, 20-30° est l'étape d'échantillonnage pour l'échantillonnage de faible précision, et chaque dimension est divisée en 10 parties égales. La taille de l'ensemble de données requise atteint également 1014.

Les chercheurs ont utilisé une technologie d'échantillonnage basée sur l'apprentissage actif pour générer un ensemble de données sur les collisions à double bras. Avec une échelle de données de 2 millions, une précision de prédiction élevée de plus de 95 % peut être obtenue par rapport à celle actuellement largement utilisée. apprentissage d'ensembles de données déséquilibrés, des technologies telles que b-SMOTE ont une efficacité de données et une précision de prédiction plus élevées.

△Analyse de l'erreur de prédiction moyenne et de la précision de la prédiction

De plus, le temps de calcul de la distance minimale des deux bras pour une fonction proxy générée sur la base de l'entraînement d'apprentissage est d'environ 0,072 ms, ce qui est nettement inférieur à cela des 5,36 ms largement utilisés requis par la bibliothèque d'algorithmes FCL, et la variance est plus petite.

Cela améliore considérablement les performances en temps réel de la méthode lors du déploiement réel et garantit une planification stable et prévisible de l'ensemble de la planification coordonnée des mouvements à double bras.

De plus, la fonction de substitution présente une excellente continuité et différenciabilité, ce qui est très important pour intégrer l'évitement d'auto-collision dans le cadre d'optimisation multi-objectifs fluide sous la forme de contraintes d'inégalité.

△ Analyse comparative du temps de calcul de la table

△ Analyse comparative de la douceur

3. Suivi ellipsoïde d'opération coopérative à double bras

La conception a été vérifiée par des expériences d'ablation et intégrée dans le multi-objectif. cadre d'optimisation Les opérations dans la contrainte de suivi ellipsoïde réduisent efficacement la différence entre la configuration réelle et la configuration attendue des bras, vérifiant ainsi l'efficacité de l'interface de suivi du collecteur SPD.

4. Expérience de retournement coopératif bras-bras :

Afin de vérifier la capacité à éviter de manière autonome l'auto-collision, les chercheurs ont conçu une expérience de retournement coopératif qui nécessite une torsion extrême.

Dans cette expérience, le système à deux bras a complété indépendamment la planification des mouvements de trajectoire entrelacés et sans collision, et a réalisé le fonctionnement de retournement à 360° de la chaise sans changer la configuration de la poignée.

Le mouvement absolu de l'objet maintient toujours un suivi de haute précision dans le sens de rotation et se détend de manière dynamique et autonome dans d'autres degrés de liberté. L'erreur de mouvement relatif des bras est inférieure à 0,003 (m ou rad) et la collision. la distance de sécurité d'évitement est efficacement comprimée à 2,5 cm.

Dans le même temps, le temps de calcul typique de l'ensemble du sous-cadre de contrôle des opérations collaboratives multifonctionnel utilisant le modèle de grille de haute précision du bras robotique est de 8,318 ms, ce qui résout le dilemme de la haute précision et du temps réel élevé. les performances ne sont pas atteintes en même temps.

Les résultats ci-dessus montrent également que les tâches à tous les niveaux sont exécutées strictement selon les priorités données.

Dans l'expérience de réarrangement à long horizon, le système robot à deux bras a saisi et manipulé en continu trois objets non modélisés : une bibliothèque de bureau, un panier de rangement et un support d'écran qui sont courants dans les environnements de vie humains.

Les résultats expérimentaux montrent que le robot à deux bras peut saisir de manière coopérative des objets de grande taille dans le cadre universel conçu et peut éviter l'auto-collision avec entièrement autonome et de haute précision lors de l'exécution de tâches d'opération collaboratives complexes.

Résumé :

Comme vous pouvez le constater, cette recherche a systématiquement résolu pour la première fois la saisie optimale collaborative à deux bras d'objets inconnus basée sur la perception visuelle, obtenant ainsi la sécurité intrinsèque d'un robot à deux bras avec un chevauchement élevé. espaces de travail et leur ouverture Une interface de suivi ellipsoïde pour un fonctionnement collaboratif à deux bras qui peut être utilisée pour l'apprentissage par transfert de compétences homme-machine.

Cette étude descendante de l'intelligence incorporée et ascendante de la planification et du contrôle des opérations des robots contribuera à combler le fossé technique entre l'IA et la robotique et à améliorer l'application des stratégies opérationnelles générées par l'IA dans le monde physique. d'exécution accélèrent l'arrivée d'une généralisation totalement autonome des systèmes à double bras.

Adresse papier : https://ieeexplore.ieee.org/document/10449470

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!