ICLR 2024 Lisan: Pembelajaran korelasi bunyi dalam video panjang, latihan kad tunggal hanya mengambil masa 1 hari

Dalam ceramah di Forum Ekonomi Dunia 2024, pemenang Anugerah Turing Yann LeCun mencadangkan model yang digunakan untuk memproses video harus belajar membuat ramalan dalam ruang perwakilan abstrak, bukannya ruang piksel tertentu [1]. Pembelajaran perwakilan video multimodal dengan bantuan maklumat teks boleh mengekstrak ciri yang bermanfaat untuk pemahaman video atau penjanaan kandungan, yang merupakan teknologi utama untuk memudahkan proses ini.

Walau bagaimanapun, fenomena korelasi hingar yang meluas antara video semasa dan penerangan teks secara serius menghalang pembelajaran perwakilan video. Oleh itu, dalam artikel ini, penyelidik mencadangkan penyelesaian pembelajaran video panjang yang mantap berdasarkan teori penghantaran optimum untuk menangani cabaran ini. Kertas kerja ini telah diterima oleh ICLR 2024, persidangan pembelajaran mesin teratas, untuk Oral.

• Tajuk kertas: Multi-granularity Correspondence Belajar daripada Video Bising Jangka Panjang
• Alamat kertas: https://openreview.net/pdf?id=9Cu8MRmhq2
  :Projek: https://openreview.net/pdf //lin-yijie.github.io/projects/Norton
• Alamat kod: https://github.com/XLearning-SCU/2024-ICLR-Norton

Tapak dan cabaran

Pembelajaran perwakilan video adalah salah satu masalah paling hangat dalam penyelidikan pelbagai mod. Pra-latihan bahasa video berskala besar telah mencapai hasil yang luar biasa dalam pelbagai tugas pemahaman video, seperti pengambilan video, menjawab soalan visual, pembahagian segmen dan penyetempatan, dsb. Kebanyakan kerja pra-latihan bahasa video semasa tertumpu terutamanya pada pemahaman segmen video pendek, mengabaikan hubungan jangka panjang dan kebergantungan yang wujud dalam video panjang.

Seperti yang ditunjukkan dalam Rajah 1 di bawah, kesukaran utama dalam pembelajaran video panjang ialah cara mengekod dinamik temporal dalam video, terutamanya tertumpu pada mereka bentuk pengekod rangkaian video tersuai untuk menangkap kebergantungan jangka panjang [2], tetapi Biasanya menghadapi overhed sumber yang besar.

Rajah 1: Contoh data video panjang [2]. Video ini mengandungi jalan cerita yang kompleks dan dinamik temporal yang kaya. Setiap ayat hanya boleh menerangkan serpihan pendek dan memahami keseluruhan video memerlukan keupayaan penaakulan korelasi jangka panjang.

Memandangkan video panjang biasanya menggunakan pengecaman bahasa automatik (ASR) untuk mendapatkan sari kata teks yang sepadan, perenggan teks (Perenggan) yang sepadan dengan keseluruhan video boleh dibahagikan kepada beberapa tajuk teks pendek berdasarkan cap waktu teks ASR ( Kapsyen), dan video panjang (Video) boleh dibahagikan kepada beberapa klip video (Klip) dengan sewajarnya. Strategi gabungan peringkat akhir atau penjajaran klip video dan tajuk adalah lebih cekap daripada pengekodan terus keseluruhan video, dan merupakan penyelesaian yang optimum untuk pembelajaran persatuan temporal jangka panjang. . Seperti yang ditunjukkan dalam Rajah 2 di bawah, akan terdapat masalah korelasi hingar berbutiran berbilang antara video dan teks.

^{Rajah 2: Korelasi hingar berbutir-butir. Dalam contoh ini, kandungan video dibahagikan kepada 6 keping berdasarkan tajuk teks. (Kiri) Garis masa hijau menunjukkan bahawa teks boleh diselaraskan dengan kandungan video, manakala garis masa merah menunjukkan bahawa teks tidak boleh diselaraskan dengan kandungan keseluruhan video. Teks hijau dalam t5 menunjukkan bahagian yang berkaitan dengan kandungan video v5. (Gambar kanan) Garis putus-putus menunjukkan hubungan penjajaran asal yang diberikan, merah menunjukkan hubungan penjajaran yang salah dalam penjajaran asal, dan hijau menunjukkan hubungan penjajaran sebenar. Garis pepejal mewakili hasil penjajaran semula oleh algoritma Pembalut Masa Dinamik, yang juga tidak mengendalikan cabaran korelasi hingar dengan baik.}

• NC berbutir kasar (antara Klip-Kapsyen). NC berbutir kasar termasuk dua kategori: asynchronous (Asynchronous) dan tidak relevan (Irrelevant) Perbezaannya terletak pada sama ada klip video atau tajuk boleh sepadan dengan tajuk atau klip video yang sedia ada. "Asynchronous" merujuk kepada ketidakjajaran masa antara klip video dan tajuk, seperti t1 dalam Rajah 2. Ini mengakibatkan ketidakpadanan antara urutan pernyataan dan tindakan, seperti yang diterangkan oleh narator sebelum dan selepas tindakan sebenarnya dilakukan. "Tidak berkaitan" merujuk kepada tajuk tidak bermakna yang tidak boleh diselaraskan dengan klip video (seperti t2 dan t6), atau klip video yang tidak berkaitan. Menurut penyelidikan yang berkaitan oleh Oxford Visual Geometry Group [5], hanya kira-kira 30% daripada klip video dan tajuk dalam set data HowTo100M dijajarkan secara visual, dan hanya 15% pada asalnya diselaraskan; Bingkai-Perkataan)
  . Untuk klip video, hanya sebahagian daripada huraian teks mungkin berkaitan dengannya. Dalam Rajah 2, tajuk t5 "Taburkan gula padanya" sangat berkaitan dengan kandungan visual v5, tetapi tindakan "Perhatikan sayu mengelupas" tidak berkaitan dengan kandungan visual. Perkataan atau bingkai video yang tidak berkaitan mungkin menghalang pengekstrakan maklumat penting, menjejaskan penjajaran antara segmen dan tajuk.

kaedah

Kertas ini mencadangkan

Masa Pengangkutan Optimum Masa (Norton)

, melalui pembelajaran perbandingan peringkat video dan perenggan-tajuk pembelajaran perwakilan daripada pelbagai butiran dalam cara pasca gabungan, dengan ketara menjimatkan overhed masa latihan.

                                                                                                                                                                                         .

1) Video - Perbandingan Perenggan

. Seperti yang ditunjukkan dalam Rajah 3, penyelidik menggunakan strategi halus ke kasar untuk melaksanakan pembelajaran persatuan berbilang butiran. Pertama, korelasi rangka-kata digunakan untuk mendapatkan korelasi segmen-tajuk, dan pengagregatan selanjutnya digunakan untuk mendapatkan korelasi perenggan video, dan akhirnya korelasi jangka panjang ditangkap melalui pembelajaran kontrastif peringkat video. Untuk cabaran korelasi bunyi berbutiran berbilang butiran, respons khusus adalah seperti berikut:

untuk NC berbutir halus

. Para penyelidik menggunakan anggaran log-sum-exp sebagai pengendali maksimum lembut untuk mengenal pasti kata kunci dan bingkai utama dalam penjajaran rangka-perkataan dan rangka perkataan, merealisasikan pengekstrakan maklumat penting dalam cara interaktif yang terperinci dan mengumpul persamaan tajuk segmen. seks.

• Untuk NC tak segerak berbutir kasar
  . Para penyelidik menggunakan jarak penghantaran optimum sebagai metrik jarak antara klip video dan tajuk. Memandangkan matriks persamaan tajuk klip video
, dengan
• mewakili bilangan klip dan tajuk Matlamat penghantaran optimum adalah untuk memaksimumkan persamaan penjajaran keseluruhan, yang secara semula jadi boleh mengendalikan pemasaan tak segerak atau satu-ke-banyak (seperti t3 dan. v4, v5 sepadan) situasi penjajaran kompleks.
  
  di mana ialah pengagihan seragam yang memberikan berat yang sama kepada setiap segmen dan tajuk, ialah penugasan penghantaran atau momen penjajaran semula, yang boleh diselesaikan oleh algoritma Sinkhorn.
  • Berorientasikan kepada NC yang tidak berkaitan berbutir kasar. Diilhamkan oleh SuperGlue [6] dalam padanan ciri, kami mereka bentuk baldi pembayang boleh diselaraskan penyesuaian untuk cuba menapis segmen dan tajuk yang tidak berkaitan. Baldi gesaan ialah vektor dengan nilai yang sama dalam satu baris dan satu lajur, disambung pada matriks persamaan , dan nilainya mewakili ambang persamaan sama ada ia boleh diselaraskan. Baldi Petua disepadukan dengan lancar ke dalam penyelesai Sinkhorn Pengangkutan Optimum.

  

  Mengukur jarak jujukan melalui transmisi optimum dan bukannya memodelkan video panjang secara langsung boleh mengurangkan jumlah pengiraan dengan ketara. Fungsi kehilangan perenggan video terakhir adalah seperti berikut, di mana mewakili matriks persamaan antara video panjang ke dan perenggan teks ke .

  

  2) Coretan - Perbandingan tajuk . Kehilangan ini memastikan ketepatan penjajaran segmen ke tajuk dalam perbandingan perenggan video. Memandangkan pembelajaran kontrastif yang diselia sendiri akan tersilap mengoptimumkan sampel yang serupa secara semantik sebagai sampel negatif, kami menggunakan pemindahan optimum untuk mengenal pasti dan membetulkan sampel negatif palsu yang berpotensi:

  

  di mana mewakili semua klip video dan tajuk dalam nombor kelompok latihan, identiti matriks mewakili sasaran penjajaran standard dalam kehilangan rentas entropi pembelajaran kontras, mewakili sasaran penjajaran semula selepas memasukkan sasaran pembetulan penghantaran optimum , dan ialah pekali berat.
  
  
  Eksperimen
  
  
  Artikel ini bertujuan untuk mengatasi korelasi hingar untuk meningkatkan keupayaan model memahami video yang panjang. Kami mengesahkannya melalui tugasan khusus seperti pengambilan video, soal jawab dan pembahagian tindakan Beberapa keputusan percubaan adalah seperti berikut.
  
  
  1) Pencapaian video panjang
  
  
  Matlamat tugasan ini adalah untuk mendapatkan semula video panjang yang sepadan dengan perenggan teks. Pada set data YouCookII, penyelidik menguji dua senario: pengekalan latar belakang dan penyingkiran latar belakang, bergantung pada sama ada untuk mengekalkan klip video bebas teks. Mereka menggunakan tiga kriteria ukuran persamaan: Purata Kapsyen, DTW dan OTAM. Purata Kapsyen sepadan dengan klip video optimum untuk setiap tajuk dalam perenggan teks, dan akhirnya mengingati semula video panjang dengan bilangan padanan terbesar. DTW dan OTAM mengumpul jarak antara video dan perenggan teks dalam susunan kronologi. Keputusan ditunjukkan dalam Jadual 1 dan 2 di bawah.

  

                                                                                                                                                                                                                                                                                   ^{Jadual 1, 2 Perbandingan prestasi pengambilan video panjang}
  
  
  2) Analisis keteguhan korelasi bunyi
  
  
  Video dalam HowTo100M yang dikendalikan oleh anotasi semula Manual Oxford Visual Geometry Group telah dilakukan untuk menganotasi semula setiap tajuk teks dengan cap masa yang betul. Dataset HTM-Align [5] yang terhasil mengandungi 80 video dan 49K teks. Pendapatan semula video pada set data ini terutamanya mengesahkan sama ada model itu mengatasi korelasi hingar, dan keputusan ditunjukkan dalam Jadual 9 di bawah.

  

                                                                                                                                                                                                                               ini pembelajaran perkaitan[3][4 ]——Sambungan mendalam tentang ketidakpadanan data/korelasi ralat, mengkaji masalah korelasi hingar berbilang butiran yang dihadapi oleh pra-latihan teks video berbilang mod, kaedah pembelajaran video panjang yang dicadangkan boleh diperluaskan kepada julat data video yang lebih luas dengan bahagian tengah atas sumber yang lebih rendah.
  Melihat masa depan, penyelidik dapat meneroka korelasi antara pelbagai modaliti. (BLIP). -2) Untuk membersihkan dan menyusun semula korpus teks; dan meneroka kemungkinan menggunakan hingar sebagai rangsangan positif untuk latihan model, dan bukannya hanya menekan kesan negatif bunyi.
  
  Rujukan:
  
  
  1 Tapak ini, "Yann LeCun: Model generatif tidak sesuai untuk memproses video, AI perlu membuat ramalan dalam ruang abstrak", 2024.
  
  2 Sun, Y., Xue, H., Song, R., Liu, B., Yang, H., & Fu, J. (2022). dengan pembelajaran kontrastif temporal multimodal dalam sistem pemprosesan maklumat saraf, 35, 38032-38045.
  3. Huang, Z., Niu, G., Liu, X., Ding, W., Xiao, X . , Wu, H., & Peng, X. (2021 Pembelajaran dengan surat-menyurat yang bising untuk pemadanan silang modal dalam Sistem Pemprosesan Neural, 34, 29406-29419.
  ^{4 , Yang, M. , Yu, J., Hu, P., Zhang, C., & Peng, X. (2023 Padanan graf dengan surat-menyurat bising dwi-peringkat Dalam Prosiding persidangan antarabangsa IEEE/CVF tentang penglihatan komputer.}
  . ^{5.Han, T., Xie, W., & Zisserman, A. (2022 Rangkaian penjajaran sementara untuk video jangka panjang Dalam Prosiding Persidangan IEEE/CVF tentang Penglihatan Komputer dan Pengecaman Corak (ms. 2906-2916) Persidangan IEEE/CVF mengenai penglihatan komputer dan pengecaman corak (ms 4938-4947).}

Atas ialah kandungan terperinci ICLR 2024 Lisan: Pembelajaran korelasi bunyi dalam video panjang, latihan kad tunggal hanya mengambil masa 1 hari. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!