NTU mencadangkan model RAM baharu, menggunakan Meta untuk membahagikan segala-galanya untuk mendapatkan perhubungan, dan kesan serangan menyelinap menyanyi dan menari adalah sangat baik!

Pada awal bulan ini, Meta melancarkan model "Split Everything", yang mengejutkan seluruh bulatan CV.

Dalam beberapa hari lalu, model pembelajaran mesin yang dipanggil "Relate-Anything-Model (RAM)" telah muncul. Ia memberikan Model Apa-apa Segmen (SAM) keupayaan untuk mengenal pasti pelbagai hubungan visual antara konsep visual yang berbeza.

Difahamkan model itu dibangunkan oleh pasukan MMLab Universiti Teknologi Nanyang dan pelajar dari Makmal VisCom King's College London dan Universiti Tongji sebagai ganti mereka masa.

Alamat demo: https://huggingface.co/spaces/mmlab-ntu/ relate-anything-model

Alamat kod: https://github.com/Luodian/RelateAnything

Alamat set data: https://github.com/Jingkang50/OpenPSG

Demonstrasi Kesan

Mula-mula, mari kita ambil lihat contoh aplikasi "Relate-Anything-Model (RAM)"!

Sebagai contoh, hasil analisis imej berikut bagi pelaksanaan model RAM bermain bola sepak, menari dan berkawan sangat mengagumkan dan dipamerkan dengan baik prestasi dan potensi untuk pelbagai aplikasi.

Pengetahuan awal: Penjanaan graf adegan penuh Tugas PSG

Model RAM berdasarkan ECCV'22 SenseHuman Workshop & Pertandingan Contoh Algoritma Antarabangsa "Penjanaan Graf Pemandangan Panotik" Juara trek program.

Alamat kertas: https://arxiv.org/abs/2302.02651

Cabaran PSG mempunyai hadiah bernilai jutaan dolar dan menerima pelbagai penyelesaian yang dikemukakan oleh 100 pasukan dari seluruh dunia, termasuk menggunakan kaedah pembahagian imej lanjutan dan menyelesaikan masalah long-tail. Selain itu, pertandingan itu juga menerima beberapa pendekatan inovatif, seperti teknik penambahan data khusus graf tempat kejadian.

Selepas penilaian, berdasarkan pertimbangan seperti petunjuk prestasi, kebaharuan dan kepentingan penyelesaian, GRNet pasukan Xiaohongshu menonjol sebagai kaedah kemenangan.

Butiran peraduan: https://github.com/Jingkang50/OpenPSG

Sebelum memperkenalkan penyelesaian, kami mula-mula memperkenalkan dua kaedah asas PSG klasik, satu daripada kaedah dua peringkat dan satu lagi kaedah satu peringkat.

Untuk kaedah garis dasar dua peringkat, seperti yang ditunjukkan dalam Rajah a, pada peringkat pertama, model segmentasi panorama pra-terlatih FPN Panoptic digunakan untuk mengekstrak ciri, pembahagian dan ramalan pengelasan daripada imej . Ciri-ciri setiap objek individu kemudiannya disalurkan kepada penjana graf adegan klasik seperti IMP untuk penjanaan graf adegan yang disesuaikan dengan tugas PSG di peringkat kedua. Pendekatan dua peringkat ini membolehkan kaedah SGG klasik disesuaikan dengan tugas PSG dengan pengubahsuaian yang minimum.

Seperti yang ditunjukkan dalam Rajah b, kaedah garis dasar satu peringkat PSGTR mula-mula menggunakan CNN untuk mengekstrak ciri imej, dan kemudian menggunakan penyahkod pengekod transformer seperti DETR untuk belajar secara langsung Triple representation. Penjodoh Hungaria digunakan untuk membandingkan tiga kali ganda yang diramalkan dengan tiga kali ganda kebenaran tanah. Kemudian, objektif pengoptimuman adalah untuk memaksimumkan kos pengiraan pemadan, dan jumlah kerugian dikira menggunakan kehilangan DICE/F-1 entropi silang untuk pelabelan dan pembahagian.

Seni bina model RAM

Dalam proses reka bentuk model RAM , Penulis merujuk kepada paradigma struktur dua peringkat skim juara PSG GRNet. Walaupun penyelidikan dalam artikel PSG asal menunjukkan bahawa model satu peringkat pada masa ini menunjukkan prestasi yang lebih baik daripada model dua peringkat, namun, model satu peringkat biasanya tidak dapat mencapai prestasi segmentasi sebaik model dua peringkat.

Selepas memerhati struktur model yang berbeza, adalah spekulasi bahawa prestasi cemerlang model satu peringkat dalam meramalkan tiga kali ganda hubungan mungkin disebabkan oleh pengawasan langsung daripada imej peta ciri Isyarat bagus untuk menangkap perhubungan.

Berdasarkan pemerhatian ini, reka bentuk RAM, seperti GRNet, bertujuan untuk mencari pertukaran antara kedua-dua mod, dengan memfokuskan pada dua peringkat paradigma dan memberikannya yang serupa Ini dicapai dengan keupayaan untuk mendapatkan konteks global dalam paradigma satu peringkat.

Secara khusus, Segmen Anything Model (SAM) mula-mula digunakan sebagai pengekstrak ciri untuk mengenal pasti dan membahagikan objek dalam imej, dan ciri khusus daripada segmenter SAM adalah Peta ciri perantaraan objek digabungkan dengan pembahagian yang sepadan untuk mendapatkan ciri peringkat objek.

Selepas itu, Transformer digunakan sebagai modul konteks global, dan ciri peringkat objek yang diperoleh dimasukkan ke dalamnya selepas pemetaan linear. Melalui mekanisme perhatian silang dalam pengekod Transformer, ciri objek output mengumpul lebih banyak maklumat global daripada objek lain.

Akhir sekali, untuk setiap output ciri peringkat objek oleh Transformer, mekanisme perhatian kendiri digunakan untuk memperkayakan lagi maklumat kontekstual dan melengkapkan interaksi antara setiap objek.

Perhatikan bahawa pembenaman kategori juga ditambahkan di sini untuk menunjukkan kategori objek, dan daripada ini kita mendapat ramalan pasangan objek dan hubungannya .

Klasifikasi Perhubungan RAM

Semasa proses latihan, bagi setiap kategori perhubungan, tugas pengelasan binari perhubungan perlu dilakukan untuk menentukan objek berpasangan sama ada terdapat hubungan antara mereka.

Sama seperti GRNet, terdapat beberapa pertimbangan khas untuk tugas pengelasan binari hubungan. Sebagai contoh, set data PSG biasanya mengandungi dua objek dengan berbilang hubungan, seperti "orang melihat gajah" dan "orang memberi makan gajah" wujud serentak. Untuk menyelesaikan masalah berbilang label, penulis menukar ramalan perhubungan daripada masalah pengelasan label tunggal kepada masalah pengelasan berbilang label.

Tambahan pula, memandangkan set data PSG Pencarian ketepatan dan korelasi mungkin tidak sesuai untuk mempelajari hubungan sempadan (seperti "dalam" dan "berhenti di" sebenarnya wujud pada masa yang sama). Untuk menyelesaikan masalah ini, RAM menggunakan strategi latihan kendiri yang menggunakan label suling sendiri untuk klasifikasi perhubungan dan menggunakan purata bergerak eksponen untuk mengemas kini label secara dinamik.

Reka bentuk RAM yang lain

Apabila mengira kehilangan klasifikasi binari hubungan, setiap objek yang diramalkan mesti dipasangkan dengan objek kebenaran tanah yang sepadan. Algoritma padanan Hungary digunakan untuk tujuan ini.

Walau bagaimanapun, algoritma ini terdedah kepada ketidakstabilan, terutamanya pada peringkat latihan awal apabila ketepatan rangkaian adalah rendah. Ini boleh membawa kepada hasil padanan yang berbeza untuk input yang sama, membawa kepada arah pengoptimuman rangkaian yang tidak konsisten dan menjadikan latihan lebih sukar.

Dalam RAM, tidak seperti penyelesaian sebelumnya, penulis boleh melakukan segmentasi lengkap dan terperinci bagi hampir semua gambar dengan bantuan model SAM yang berkuasa, dalam Dalam proses memadankan ramalan dan GT, RAM secara semula jadi mereka bentuk kaedah pemadanan GT baharu: menggunakan set data PSG untuk melatih model.

Untuk setiap imej latihan, SAM membahagikan berbilang objek, tetapi hanya beberapa yang sepadan dengan topeng ground truth (GT) PSG. Pengarang melakukan padanan mudah berdasarkan skor intersection-union (IOU) mereka supaya (hampir) setiap topeng GT diperuntukkan kepada topeng SAM. Selepas itu, penulis menjana semula rajah hubungan berdasarkan topeng SAM, yang secara semula jadi sepadan dengan ramalan model.

Ringkasan model RAM

Dalam model RAM, pengarang menggunakan Segment Anything Model (SAM) untuk mengenal pasti dan membahagikan objek dalam imej , dan Ekstrak ciri setiap objek tersegmen. Modul Transformer kemudiannya digunakan untuk berinteraksi antara objek tersegmen untuk mendapatkan ciri baharu. Akhir sekali, selepas ciri-ciri ini dibenamkan ke dalam kategori, keputusan ramalan dikeluarkan melalui mekanisme perhatian kendiri.

Semasa proses latihan, khususnya, penulis mencadangkan kaedah pemadanan GT baharu dan berdasarkan kaedah ini, mengira hubungan pasangan antara ramalan dan GT dan dikelaskan hubungan sesama mereka. Dalam proses pembelajaran klasifikasi hubungan yang diselia, penulis menganggapnya sebagai masalah klasifikasi pelbagai label dan menggunakan strategi latihan kendiri untuk mempelajari hubungan sempadan label.

Akhir sekali, saya harap model RAM dapat membawa lebih banyak inspirasi dan inovasi kepada anda. Jika anda juga ingin melatih model pembelajaran mesin yang boleh mencari perhubungan, anda boleh mengikuti kerja pasukan ini dan memberi maklum balas serta cadangan pada bila-bila masa.

Alamat projek: https://github.com/Jingkang50/OpenPSG

Atas ialah kandungan terperinci NTU mencadangkan model RAM baharu, menggunakan Meta untuk membahagikan segala-galanya untuk mendapatkan perhubungan, dan kesan serangan menyelinap menyanyi dan menari adalah sangat baik!. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!