Rangka kerja anggaran pose objek 6D sampel sifar SAM-6D, satu langkah lebih dekat kepada kecerdasan yang terkandung

Anggaran pose objek memainkan peranan penting dalam banyak aplikasi dunia nyata, seperti kecerdasan yang terkandung, manipulasi robot yang cekap dan realiti tambahan.

Dalam medan ini, tugas pertama yang mendapat perhatian ialah Anggaran pose 6D peringkat contoh, yang memerlukan data beranotasi tentang objek sasaran untuk latihan model, menjadikan objek model dalam khusus dan tidak dapat dipindahkan ke pada objek baru. Kemudian, tumpuan penyelidikan beransur-ansur bertukar kepada anggaran pose 6D peringkat kategori, yang digunakan untuk memproses objek ghaib, tetapi memerlukan objek itu tergolong dalam kategori minat yang diketahui.

Dan anggaran pose 6D tangkapan sifar ialah tetapan tugas yang lebih umum, memandangkan model CAD bagi sebarang objek, bertujuan untuk mengesan objek sasaran dalam adegan dan menganggarkan pose 6Dnya. Walaupun kepentingannya, tetapan tugasan sifar ini menghadapi cabaran yang ketara dalam kedua-dua pengesanan objek dan anggaran pose. . SAM mencapai pembahagian ketepatan tinggi melalui pelbagai isyarat, seperti piksel, kotak sempadan, teks dan topeng, dsb., yang turut menyediakan sokongan yang boleh dipercayai untuk tugas anggaran pose objek 6D sampel sifar, yang menunjukkan potensinya yang menjanjikan.

Oleh itu, penyelidik dari Interdimensional Intelligence, Universiti China Hong Kong (Shenzhen) dan Universiti Teknologi China Selatan bersama-sama mencadangkan rangka kerja anggaran pose objek 6D sifar sampel yang inovatif SAM-6D. Penyelidikan ini telah dimasukkan dalam CVPR 2024.

Pautan kertas: https://arxiv.org/pdf/2311.15707.pdf

pautan D: https://arxiv.org/pdf
SAM-6D mencapai anggaran pose objek 6D sampel sifar melalui dua langkah, termasuk pembahagian contoh dan anggaran pose. Sejajar dengan itu, memandangkan objek sasaran sewenang-wenangnya, SAM-6D menggunakan dua sub-rangkaian khusus, iaitu
• Model Segmentasi Instance (ISM) dan Model Anggaran Pose (PEM) , untuk mencapai sasaran daripada imej adegan RGB-D di mana, ISM Menggunakan SAM sebagai titik permulaan yang sangat baik, digabungkan dengan skor pemadanan objek yang direka dengan teliti untuk mencapai pembahagian contoh objek arbitrari, PEM menyelesaikan masalah pose objek melalui proses pemadanan set titik dua peringkat tempatan ke tempatan. Gambaran keseluruhan SAM-6D ditunjukkan dalam Rajah 2. . anggaran Rangka kerja, diberikan model CAD bagi sebarang objek, mencapai pembahagian contoh dan menganggarkan objek sasaran daripada imej RGB-D, dan berprestasi cemerlang pada tujuh set data teras BOP [2].
SAM-6D memanfaatkan keupayaan pembahagian pukulan sifar model Semua Segmen untuk menjana semua calon yang mungkin dan mereka bentuk skor pemadanan objek baharu untuk mengenal pasti calon yang sepadan dengan objek sasaran.

SAM-6D menganggap anggaran pose sebagai masalah padanan set titik setempat-ke-tempatan, menggunakan reka bentuk Token Latar Belakang yang mudah tetapi berkesan, dan mencadangkan model padanan set titik dua peringkat untuk objek sewenang-wenangnya Peringkat pertama melaksanakan padanan set titik kasar untuk mendapatkan pose objek awal, dan peringkat kedua menggunakan transformer set titik jarang ke padat novel untuk melakukan padanan set titik halus untuk mengoptimumkan lagi pose.

Model Segmentasi Instance (ISM)

SAM-6D menggunakan Model Segmentasi Instance (ISM) untuk mengesan dan membahagikan topeng objek arbitrari.

Memandangkan pemandangan berantakan yang diwakili oleh imej RGB, ISM memanfaatkan keupayaan pemindahan tangkapan sifar Model Semua Segmentasi (SAM) untuk menjana semua calon yang mungkin. Bagi setiap objek calon, ISM mengira skor padanan objek untuk menganggar sejauh mana ia sepadan dengan objek sasaran dari segi semantik, rupa dan geometri. Akhir sekali, dengan hanya menetapkan ambang yang sepadan, contoh yang sepadan dengan objek sasaran boleh dikenal pasti.

Skor padanan objek dikira dengan jumlah wajaran tiga item padanan:

Padanan Semantik - Untuk objek sasaran, ISM memaparkan templat objek daripada pelbagai perspektif dan menggunakan DINOv2 [3] Model ViT yang telah dilatih mengekstrak ciri semantik objek calon dan templat objek, dan mengira skor korelasi antara mereka. Skor padanan semantik diperoleh dengan purata skor tertinggi K teratas, dan templat objek yang sepadan dengan skor korelasi tertinggi dianggap sebagai templat padanan terbaik.

Padanan rupa - Untuk templat padanan terbaik, model ViT digunakan untuk mengekstrak ciri blok imej dan mengira korelasi antaranya dan ciri blok objek calon untuk mendapatkan skor padanan penampilan, yang digunakan untuk membezakan semantik Objek yang serupa tetapi mempunyai rupa yang berbeza.

Padanan Geometri - Mengambil kira faktor seperti bentuk dan perbezaan saiz objek yang berbeza, ISM turut mereka bentuk skor padanan geometri. Purata putaran yang sepadan dengan templat padanan terbaik dan awan titik objek calon boleh memberikan pose objek kasar, dan kotak sempadan boleh diperolehi dengan mengubah dan menayang model CAD objek menggunakan pose ini secara tegar. Kira nisbah persilangan atas kesatuan (IoU) antara kotak pembanding dan kotak pembanding calon untuk mendapatkan skor padanan geometri.

Model Anggaran Pose (PEM)

Untuk setiap objek calon yang sepadan dengan objek sasaran, SAM-6D menggunakan Model Anggaran Pose (PEM) untuk meramalkan pose 6Dnya berbanding model CAD objek.

denote Titik pensampelan set objek calon yang tersegmentasi dan model CAD objek sebagai dan masing -masing, di mana N_M dan N_O mewakili bilangan mata mereka; dinyatakan sebagai dan , C mewakili bilangan saluran ciri tersebut. Matlamat PEM adalah untuk mendapatkan matriks tugasan yang mewakili surat-menyurat setempat-ke-tempatan daripada P_m ke P_o disebabkan oleh oklusi, P_o hanya padanan sebahagiannya P_m dan disebabkan oleh ketidaktepatan segmentasi dan hingar penderia, P_m hanya padanan separa DAN padanan. P_o.

Untuk menyelesaikan masalah menetapkan mata tidak bertindih antara dua set titik, ISM melengkapkan mereka dengan Token Latar Belakang, direkodkan sebagai dan , yang boleh mewujudkan surat-menyurat tempatan-ke-tempatan dengan berkesan berdasarkan persamaan ciri. Secara khusus, matriks perhatian boleh dikira terlebih dahulu seperti berikut:



Kemudian matriks pengedaran



dan operasi masing-masing mewakili lajur mewakili pemalar. Nilai setiap baris dalam

(kecuali baris pertama) mewakili kebarangkalian padanan setiap titik P_m dalam set titik P_m dengan latar belakang dan titik tengah P_o Dengan mencari indeks skor maksimum, titik sepadan P_m boleh didapati (termasuk latar belakang). 🎜🎜

Setelah dikira, semua pasangan mata padanan {(P_m,P_o)} dan markah padanan mereka boleh dikumpulkan, dan akhirnya SVD berwajaran digunakan untuk mengira pose objek.



Rajah 3. Gambarajah skematik Model Anggaran Pose (PEM) dalam SAM-6D

Menggunakan strategi berasaskan Token Latar Belakang yang disebutkan di atas, dua peringkat padanan set mata direka bentuk, dan peringkat struktur modelnya adalah seperti yang ditunjukkan dalam rajah Seperti yang ditunjukkan dalam 3, ia mengandungi tiga modul: pengekstrakan ciri, padanan set titik kasar dan padanan set titik halus.

Modul padanan set titik kasar melaksanakan surat-menyurat jarang untuk mengira pose objek awal, dan kemudian menggunakan pose ini untuk mengubah set titik objek calon untuk mencapai pembelajaran pengekodan kedudukan.

Modul padanan set titik halus menggabungkan pengekodan kedudukan set titik sampel objek calon dan objek sasaran, dengan itu menyuntik korespondensi kasar pada peringkat pertama dan seterusnya mewujudkan korespondensi padat untuk mendapatkan pose objek yang lebih tepat. Untuk mempelajari interaksi padat secara berkesan pada peringkat ini, PEM memperkenalkan pengubah set titik jarang ke padat novel, yang melaksanakan interaksi pada versi jarang ciri padat, dan menggunakan Pengubah Linear [5] untuk mengubah ciri jarang dipertingkatkan kepada Diffusion back. menjadi ciri padat.

Hasil eksperimen

Untuk dua sub-model SAM-6D, model segmentasi instance (ISM) dibina berdasarkan SAM tanpa memerlukan latihan semula rangkaian dan finetune, manakala model anggaran pose (PEM) Set data sintetik ShapeNet-Objects dan Google-Scanned-Objects yang disediakan oleh MegaPose [4] digunakan untuk latihan.

Untuk mengesahkan keupayaan sampel sifarnya, SAM-6D telah diuji pada tujuh set data teras BOP [2], termasuk LM-O, T-LESS, TUD-L, IC-BIN, ITODD, HB dan YCB -V. Jadual 1 dan 2 menunjukkan perbandingan pembahagian contoh dan keputusan anggaran pose kaedah berbeza pada tujuh set data ini, masing-masing. Berbanding dengan kaedah lain, SAM-6D berprestasi sangat baik pada kedua-dua kaedah, menunjukkan sepenuhnya keupayaan generalisasi yang kuat.



Jadual 1. Perbandingan hasil segmentasi contoh kaedah berbeza pada tujuh set data teras BOP



Jadual 2. Hasil perbandingan tujuh set data teras pada kaedah pose berbeza BOP

Rajah 4 menunjukkan hasil visualisasi segmentasi pengesanan dan anggaran pose 6D SAM-6D pada tujuh set data BOP, dengan (a) dan (b) masing-masing adalah imej RGB dan peta kedalaman yang diuji, (c) ialah objek sasaran yang diberikan, manakala (d) dan (e) masing-masing adalah hasil visualisasi segmentasi pengesanan dan pose 6D.



Rajah 4. Hasil visualisasi SAM-6D pada tujuh set data teras BOP.

Untuk butiran pelaksanaan lanjut SAM-6D, dialu-alukan untuk membaca kertas asal.

Atas ialah kandungan terperinci Rangka kerja anggaran pose objek 6D sampel sifar SAM-6D, satu langkah lebih dekat kepada kecerdasan yang terkandung. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!