Want to understand Li Feifei's entrepreneurial direction? Here is a list of papers on Robotics + 3D

More than 80 papers to understand the research progress of "Robot + 3D".

Some time ago, multiple media reported that World Labs, a startup company founded by famous AI scholar and Stanford University professor Li Feifei, had completed two rounds of financing in just three months, with the latest round of financing With approximately US$100 million raised, the company has been valued at over US$1 billion, making it a new unicorn.

World Labs’ development direction focuses on “spatial intelligence”, that is, developing models that can understand the three-dimensional physical world and simulate the physical properties, spatial location and functions of objects. Li Feifei believes that "spatial intelligence" is a key part of the development of AI. Her team is training computers and robots to take actions in the three-dimensional world in the Stanford University laboratory. For example, using a large language model to allow a robotic arm to open doors and do things according to verbal instructions. Sandwiches and other tasks. (For details, please see "Li Feifei explains the entrepreneurial direction of "spatial intelligence", allowing AI to truly understand the world")

^{In order to explain the concept of "spatial intelligence", Li Feifei showed a picture of a cat extending its paws. Picture of a glass being pushed to the edge of a table. In a split second, she says, the human brain can assess "the geometry of this glass, its position in three-dimensional space, its relationship to the table, the cat, and all these other things," then predict what will happen and take action to fix it. Prevent.}

In fact, in addition to Li Feifei, many research teams are now paying attention to the direction of 3D vision + robots. These teams believe that many of the limitations of current AI are due to models lacking a deep understanding of the 3D world. If we want to complete this puzzle, we must invest more research energy in the direction of 3D vision. In addition, 3D vision provides depth perception and spatial understanding of the environment, which is critical for robot navigation, operation, and decision-making in a complex three-dimensional world.

So, is there any systematic research information that researchers in this direction can refer to? This site recently found one:

Project link: https://github.com/zubair-irshad/Awesome-Robotics-3D

This one is called "Awesome-Robotics-3D" The GitHub repository has collected a total of more than 80 papers in the "3D Vision + Robotics" direction. Most of the papers provide corresponding papers, projects, and code links.

These papers can be divided into the following topics:

• Strategy Learning
• Pre-training
• VLM and LLM
• Representation
• Simulation, data set and benchmarks

These papers include arXiv preprints, as well as papers from top robotics conferences such as RSS, ICRA, IROS, and CORL, as well as top conference papers in the fields of computer vision and machine learning such as CVPR, ICLR, and ICML. They are very valuable. high.

Die Liste der Beiträge für jeden Teil ist wie folgt:

#🎜🎜 #1. Strategielernen

2, Vortraining

# 🎜🎜#3, VLM und LLM

4 , Darstellung#🎜🎜 #

5, Simulationen, Datensätze und Benchmarks

# 🎜🎜## 🎜🎜#

Darüber hinaus stellt der Autor auch zwei Übersichtsartikel zur Verfügung, auf die Sie sich beziehen können:

#🎜🎜 #

Aufsatz 1: Wenn LLMs in die 3D-Welt eintreten: Eine Übersicht und Metaanalyse von 3D-Aufgaben über multimodale große Sprachmodelle

#🎜 🎜##🎜🎜 #
Papierlink: https://arxiv.org/pdf/2405.10255

#🎜 🎜#Papiereinführung: Dieses Papier bietet einen umfassenden Überblick über die Methoden, die es LLM ermöglichen, 3D-Daten zu verarbeiten, zu verstehen und zu generieren, und hebt die einzigartigen Vorteile von LLM hervor, wie z. B. kontextbezogenes Lernen, schrittweises Denken und offenes Vokabular Fähigkeiten und umfassendes Weltwissen, von denen erwartet wird, dass die Vorteile das räumliche Verständnis und die Interaktion in verkörperten Systemen der künstlichen Intelligenz erheblich verbessern werden. Die Forschung umfasst verschiedene 3D-Datendarstellungsmethoden von Punktwolken bis hin zu Neural Radiation Fields (NeRF) und untersucht deren Integration mit LLM für das Verständnis von 3D-Szenen, die Generierung von Beschreibungen, die Beantwortung von Fragen und den Dialog sowie LLM-basierte Agenten für räumliche Aufgaben wie z Argumentation, Planung und Navigation. Darüber hinaus geht der Artikel kurz auf andere Methoden zur Integration von 3D und Sprache ein. Durch eine Metaanalyse dieser Studien zeigt das Papier die erzielten erheblichen Fortschritte auf und unterstreicht die Notwendigkeit, neue Methoden zu entwickeln, um das Potenzial von 3D-LLM voll auszuschöpfen.

Zur Unterstützung dieser Umfrage hat der Autor eine Projektseite zum Organisieren und Auflisten von Beiträgen zum Thema eingerichtet: https://github com/ActiveVisionLab /Awesome-LLM-3D

Papier 2: Eine umfassende Studie zur 3D-Vision-basierten Robotermanipulation# 🎜🎜#

Papierlink: https://ieeexplore.ieee.org/document/9541299

#🎜🎜 #
• Papiereinführung: Dieser Artikel analysiert umfassend die neuesten Fortschritte der 3D-Vision im Bereich der Robotersteuerung, insbesondere bei der Nachahmung menschlicher Intelligenz und der Bereitstellung flexiblerer Arbeitsfähigkeiten für Roboter. Der Artikel erörtert das 2D-Bildverarbeitungssystem, auf das die herkömmliche Robotersteuerung normalerweise angewiesen ist, und seine Grenzen. Er weist auch auf die Herausforderungen hin, mit denen 3D-Bildverarbeitungssysteme in der offenen Welt konfrontiert sind, wie etwa die allgemeine Objekterkennung in unübersichtlichen Hintergründen, die Schätzung der Verdeckung und die menschenähnliche Flexibilität Kontrolle. Der Artikel behandelt Schlüsseltechnologien wie 3D-Datenerfassung und -darstellung, Roboter-Vision-Kalibrierung, 3D-Objekterkennung/-erkennung, Posenschätzung mit 6 Freiheitsgraden, Greifschätzung und Bewegungsplanung. Darüber hinaus werden einige öffentliche Datensätze, Bewertungskriterien, vergleichende Analysen und aktuelle Herausforderungen vorgestellt. Abschließend untersucht der Artikel die damit verbundenen Anwendungsfelder der Robotersteuerung und diskutiert zukünftige Forschungsrichtungen und offene Fragen.
• Interessierte Leser können auf den Projektlink klicken, um mit dem Lernen zu beginnen.

The above is the detailed content of Want to understand Li Feifei's entrepreneurial direction? Here is a list of papers on Robotics + 3D. For more information, please follow other related articles on the PHP Chinese website!