Penerokaan dan amalan model besar penderiaan jauh pelbagai mod, Wang Jian, ketua model besar penderiaan jauh Kumpulan Ant, membawa tafsiran yang mendalam

Pada 5 Julai, di bawah bimbingan Pejabat Jawatankuasa Penganjur Persidangan Kecerdasan Buatan Sedunia dan Kerajaan Rakyat Daerah Xuhui, Shanghai, Anugerah WAIC Yunfan dan Pertandingan Kepintaran Buatan 2024 telah dihoskan oleh Makmal Kepintaran Buatan Shanghai, tapak ini dan Global University Artificial Intelligence Academic Alliance Forum Belia Pintar telah berjaya diadakan. Forum itu menghimpunkan lebih 30 graduan Yunfan yang lalu dan baharu dari universiti, institusi penyelidikan dan perusahaan di dalam dan luar negara, termasuk Universiti Stanford, Universiti Oxford, UCLA, Universiti California, ETH Zurich, Universiti Hong Kong, Universiti Tsinghua, Universiti Peking , Universiti Shanghai Jiao Tong, dsb. Pemenang anugerah menghadiri persidangan itu secara luar talian, mengumpulkan kebijaksanaan saintis AI muda antarabangsa, meneroka secara aktif sempadan keupayaan AI, dan menyumbang tenaga baharu kepada pelan tindakan pembangunan AI China. Wang Jianzuo, orang yang bertanggungjawab ke atas model besar penderiaan jauh Kumpulan Ant, sebagai salah seorang wakil Anugerah Yunfan WAIC 2024, menyampaikan ucaptama di forum bertajuk "Penerokaan dan Amalan Model Besar Penderiaan Jauh Multimodal".

Wang Jian meringkaskan peluang untuk pembangunan model besar penderiaan jauh dan kemajuan semasa industri, dan berkongsi model penderiaan jauh berbilang mod parameter 2 bilion SkySense yang dibangunkan oleh Ant Group berdasarkan model besar Ant Bailing platform, serta pelan sumber terbuka SkySense. Melalui inovasi teknologi dalam data, seni bina model dan algoritma pra-latihan tanpa pengawasan, SkySense menduduki tempat pertama dalam 17 penilaian untuk tujuh tugas penderiaan jauh biasa, termasuk pemantauan penggunaan tanah dan pengesanan perubahan ciri permukaan. Pada masa yang sama, Wang Jian juga memperkenalkan aplikasi SkySense dalam kewangan luar bandar, perlindungan hutan hutan semut dan senario lain.

Berikut ialah transkrip ucapan Wang Jian:

Selamat tengah hari semua! Saya Wang Jian daripada Kumpulan Semut. Saya sangat gembira untuk berkongsi penerokaan dan amalan Kumpulan Ant ke arah model besar penderiaan jauh pelbagai mod di Forum Anugerah Yunfan. Perkongsian saya akan bermula daripada tiga aspek berikut: pertama, latar belakang penyelidikan, kedua, model besar penderiaan jauh pelbagai mod SkySense yang dibangunkan oleh Ant Group, dan ketiga, aplikasi berdasarkan SkySense.

Kemunculan model besar telah membawa kepada perkembangan pesat kecerdasan buatan generatif, tetapi kini dalam dunia perindustrian, aplikasi berskala besar masih sangat jauh. Walaupun kemunculan model besar telah membuka pintu kepada dunia baharu AI, kami percaya bahawa hanya dengan menyepadukan aplikasi inovatif secara mendalam berdasarkan model besar ke dalam beribu-ribu industri dan merealisasikan perubahan dalam produktiviti, nilai intrinsik paradigma AI baharu boleh benar-benar wujud. dilepaskan. Dengan pemikiran seperti ini, Kumpulan Ant sedang aktif menggunakan teknologi dan aplikasi model besar.

Dari segi keupayaan asas, kami telah membina sistem pengkomputeran kelompok Wanka dan memfokuskan kepada keselamatan dan pengetahuan model besar. Pertama sekali, dari segi keselamatan, Ant Group telah membangunkan platform Ant Tianjiannya sendiri untuk menyediakan penyelesaian bersepadu bagi keselamatan model besar, dengan itu memastikan model besar Ant Group adalah selamat dan boleh dipercayai. Di samping keupayaan asas kami, kami telah membina model besar bahasa Bailing dan model besar multimodal Bailing Berdasarkan dua model besar asas ini, dan mengikut ciri perniagaan Kumpulan Ant, kami menumpukan pada aplikasi model besar dalam kewangan. , penjagaan perubatan, mata pencarian rakyat, Aplikasi dalam keselamatan, penderiaan jauh, pengekodan dan industri lain untuk memberi perkhidmatan kepada pengguna dan pelanggan korporat, dengan itu menggalakkan pembangunan industri perisikan dan perkhidmatan yang dipercayai. Keseluruhan sistem masih sangat besar Seterusnya, saya akan menggunakan aplikasi model besar dalam penderiaan jauh sebagai titik masuk untuk berkongsi dengan anda beberapa pemikiran dan amalan kami dalam keseluruhan bidang model besar.

Pembangunan bahasa dan model besar visual menyediakan banyak rujukan penting untuk pembangunan model penderiaan jauh yang besar. Sebagai contoh, model bahasa yang besar, apabila dikembangkan ke medan berbilang modal, telah menunjukkan hasil yang baik dalam beberapa tugas visual sebelumnya, seperti OCR, VQA dan tugasan lain. Dari segi model besar visual tulen, algoritma seperti SAM menunjukkan prestasi yang kukuh dalam tugas pengelasan, pengesanan dan pembahagian. Tugas utama yang diselesaikan dalam bidang penderiaan jauh juga adalah pengelasan, pengesanan, dan pembahagian Idea semula jadi adalah untuk menggunakan pengalaman yang berjaya model visual besar dalam bidang penderiaan jauh.

Sebaliknya, dengan perkembangan pesat teknologi penderiaan jauh, bidang penderiaan jauh terus menghasilkan sejumlah besar data penderiaan jauh berbilang masa Data ini termasuk imej cahaya nampak yang lebih serupa dengan imej semula jadi, data berbilang spektrum dengan lebih banyak maklumat spektrum, dan imej Radar SAR, data ini datang daripada satelit yang berbeza dan penderia yang berbeza, dan kami boleh menganggapnya sebagai data mod yang berbeza. Data ini tidak dilabelkan, dan pelabelan data ini bukan sahaja memakan masa dan intensif buruh, tetapi juga hanya boleh dilakukan dengan bergantung pada pengalaman pakar dalam banyak kes. Hanya dengan bantuan algoritma tanpa seliaan nilai data ini boleh digunakan sepenuhnya. Dalam beberapa tahun kebelakangan ini, banyak saluran untuk mendapatkan data imej penderiaan jauh telah muncul dalam industri, seperti platform Copernicus Agensi Angkasa Eropah, platform GEE Google dan platform data Pusat Satelit Sumber China Semua platform ini memberikan kemudahan kepada kami untuk mendapatkan alat kawalan jauh data penderiaan. Ringkasnya, terdapat banyak data yang mudah diperoleh dalam bidang penderiaan jauh Digabungkan dengan pengalaman yang berjaya dalam model visual berskala besar, faktor ini memberikan peluang dan motivasi yang baik untuk pembangunan model penderiaan jauh berskala besar. .

Gambar ini menunjukkan model penderiaan jauh besar yang dikeluarkan dalam beberapa tahun kebelakangan ini. Seperti yang anda lihat, mulai tahun 2021, industri telah menggunakan algoritma pra-latihan tanpa pengawasan untuk pengecaman imej penderiaan jauh, termasuk model seperti SeCo. Selepas itu, semakin banyak syarikat dan institusi telah mengambil bahagian, dan terdapat banyak karya perwakilan, seperti model RingMo yang dikeluarkan oleh Institut Aeronautik dan Astronautik Akademi Sains China pada 2022, model Satlas pada 2023, dan model GRAFT dikeluarkan tidak lama dahulu oleh Universiti Fudan. Beberapa arah aliran yang jelas juga boleh dilihat dalam gambar ini Skala data model dan parameter semakin besar dan prestasinya semakin kuat dan kukuh. Daripada sokongan terawal untuk data mod tunggal kepada gabungan data berbilang mod semasa, daripada sokongan terawal untuk imej daripada sumber data tunggal hingga kini untuk gabungan imej daripada berbilang sumber data, daripada sokongan awal untuk hanya satu tafsiran imej statik untuk menggabungkan maklumat keseluruhan imej siri masa. Keseluruhan aliran ini konsisten dengan aliran pembangunan model bahasa dan visual yang besar. Model penderiaan jauh yang besar dengan prestasi yang lebih kukuh dan bilangan parameter yang lebih besar pasti akan muncul pada masa hadapan.

Berbalik kepada semut, kenapa semut membuat model penderiaan jauh yang besar? Kerana Ant mempunyai banyak perniagaan kewangan, salah satunya adalah kewangan luar bandar. Dalam industri kewangan, jika anda bertanya apa yang paling sukar, saya percaya 99% orang akan mengatakan bahawa kewangan luar bandar adalah yang paling sukar. Pelanggan utama kewangan luar bandar ialah petani, tidak seperti pekerja kolar putih korporat, mempunyai data kredit yang baik. Berbanding dengan pemilik perniagaan kecil dan mikro, petani tidak mempunyai cagaran yang diiktiraf oleh bank. Di samping itu, bank mempunyai sangat sedikit cawangan luar bandar dan tidak boleh menjalankan tinjauan luar talian berskala besar untuk menentukan aset petani. Perkara yang paling menyakitkan di sebalik ini ialah nilai tanah, aset utama petani, tidak boleh didigitalkan secara besar-besaran.

Sebagai tindak balas kepada titik kesakitan ini, bank saudagar dalam talian Ant membangunkan sistem penilaian aset pada tahun 2019 yang menggunakan penderiaan jauh satelit dan pengecaman imej AI Secara khususnya, ia menggunakan imej penderiaan jauh satelit digabungkan dengan algoritma kecerdasan buatan untuk mengenal pasti tanaman yang ditanam. ladang petani. Maklumat seperti berapa besar loji itu dan sama ada ia baik atau tidak digunakan untuk menganalisis keadaan penanaman petani secara menyeluruh, dengan itu menentukan nilai aset dan memberinya perkhidmatan kredit. Pada masa awal, ia tertumpu terutamanya pada mengenal pasti tanaman makanan ruji, seperti padi, jagung, gandum, dll., dan memberi perkhidmatan kepada berjuta-juta petani.

Apabila kami menolak sistem ini kepada tanaman tunai seperti epal dan sitrus, kami menghadapi beberapa masalah dalam pengenalan. Kerana berbanding dengan tanaman makanan ruji, tanaman kontan lebih jarang ditanam, kaedah penanamannya lebih pelbagai, dan kategorinya sangat berekor panjang Sebagai contoh, terdapat beberapa jenis tanaman makanan ruji, tetapi terdapat berpuluh-puluh jenis tanaman kontan, jadi terdapat begitu banyak jenis tanaman yang dikenal pasti di seluruh negara. Jenis tanaman adalah masalah yang sukar untuk diselesaikan dalam bidang penderiaan jauh. Dari perspektif teknikal, kita boleh menambah baik kesan model dengan menggunakan beberapa sampel pembelajaran, algoritma jujukan berbilang mod, dan perwakilan universal untuk meningkatkan prestasi generalisasi model ini adalah ciri-ciri model asas, jadi dalam kes ini , kami memutuskan untuk membangunkan model penderiaan jauh yang besar.

Berikut meringkaskan peluang dan motivasi untuk Kumpulan Ant membina model penderiaan jauh berskala besar.

Pada peringkat teknikal, teknologi model asas berkembang pesat dan kini berpotensi untuk dikomersialkan. Pada peringkat data, terdapat sejumlah besar data penderiaan jauh dalam bidang penderiaan jauh, yang meletakkan asas untuk pembangunan model penderiaan jauh yang besar. Di peringkat perniagaan, ia boleh memenuhi keperluan senario berbilang modal, berbilang urutan dan berbilang tugas Ant. Didorong oleh faktor ini, Kumpulan Ant dan Sekolah Penderiaan Jauh Universiti Wuhan membangunkan data besar penderiaan jauh pelbagai mod SkySense.

Untuk melatih model ini, kami mengumpul 21.5 juta set sampel yang diedarkan di seluruh dunia Setiap set sampel mengandungi imej SAR optikal, optik siri masa dan radar. Data ini meliputi lebih daripada 40 negara dan wilayah di seluruh dunia, meliputi 8.78 juta kilometer persegi tanah dan 300TB.

Dari segi struktur model, untuk menyepadukan maklumat dengan lebih baik daripada modaliti yang berbeza, kami mereka bentuk kaedah pembelajaran perbandingan berbilang butiran, dan mencadangkan algoritma pembenaman persepsi spatio-temporal berdasarkan ciri-ciri imej penderiaan jauh. Ini sangat membantu untuk meningkatkan prestasi model penderiaan jauh asas.

Terdapat ciri lain dalam bidang penderiaan jauh Seluruh imej penderiaan jauh biasanya sangat besar, dan tidak ada cara untuk memasukkannya ke dalam GPU untuk latihan pada masa yang sama untuk memotong keseluruhan imej penderiaan jauh kepada kepingan kecil untuk menyesuaikan dengan GPU memori video. Masalah yang jelas dengan ini ialah maklumat kontekstual hilang untuk setiap patch kecil latihan. Sebagai tindak balas kepada situasi ini, kami turut membangunkan algoritma pembelajaran konteks sensitif geospatial yang secara tersirat boleh menjana pengetahuan geosains sensitif spatiotemporal.

Pada masa ini, skala parameter SkySense telah mencapai 2.06 bilion Dari segi kaedah latihan model, sebagai tambahan kepada kaedah pra-latihan pembelajaran kontras tanpa pengawasan yang biasa digunakan, kami juga mencadangkan untuk menggabungkan optik resolusi tinggi melalui spatio-. penyahgandingan temporal berdasarkan ciri-ciri imej penderiaan jauh , pembelajaran yang diselia bersama dan kaedah pembelajaran generatif untuk optik siri masa, SAR siri masa dan saluran data lain untuk menyokong secara fleksibel tugas tafsiran penderiaan jauh hiliran modaliti yang berbeza dan kombinasi siri masa yang berbeza. Pada masa ini, SkySense telah mencapai keputusan yang baik dalam 17 jenis set data penilaian, termasuk pemantauan dan penggunaan tanah, pengesanan sasaran, dsb., dan kertas berkaitan telah dimasukkan dalam CVPR2024 (IEEE International Conference on Computer Vision and Pattern Recognition).

Melatih model ini memerlukan banyak pelaburan dalam storan, kuasa pengkomputeran dan sumber manusia Kami sangat berharap untuk berkongsi SkySense dengan industri untuk mengeluarkan nilainya dan menggalakkan pembangunan keseluruhan bidang tafsiran penderiaan jauh. Pada 15 Jun tahun ini, kami telah mula mencuba model penderiaan jauh yang besar untuk beberapa institusi penyelidikan saintifik. Semasa proses penggunaan, semua orang juga menerima banyak maklum balas Sebagai contoh, beberapa maklum balas mengatakan bahawa 2 bilion parameter adalah terlalu besar, dan banyak senario tidak memerlukan model dengan parameter yang begitu besar. Sebagai tindak balas kepada situasi ini, kami telah membangunkan satu set algoritma yang boleh menjana model kecil berbilang saiz melalui satu pra-latihan, dan untuk setiap model kecil, kesannya adalah lebih baik daripada melatih secara langsung model saiz ini.

Dalam aplikasi industri sebenar, tidak cukup dengan hanya mempunyai parameter berat model juga mesti ada sistem data dan sistem produk yang sepadan untuk benar-benar menonjolkan nilai model besar. Ini adalah gambaran besar teknologi penderiaan jauh Kumpulan Ant Pada peringkat data, kami telah membangunkan pangkalan data spatio-temporal untuk mengurus data dalam modaliti dan sumber yang berbeza untuk menyokong latihan yang cekap dan inferens model penderiaan jauh yang besar. Di samping itu, kami telah bekerjasama dengan Sekolah Penderiaan Jauh Universiti Wuhan untuk membangunkan sistem prapemprosesan data penderiaan jauh domestik untuk meningkatkan kualiti data domestik melalui teknologi fotogrametri bersepadu dan penderiaan jauh. Dari segi produk, kami telah membangunkan meja kerja penderiaan jauh pintar mEarth ini boleh melaksanakan pengurusan aset data sehenti, pengeluaran dan pemprosesan data, latihan model dan keupayaan aplikasi perniagaan, supaya ia boleh menyokong pelbagai senario aplikasi hiliran dengan cekap dan fleksibel. akses.

Seterusnya, saya akan kongsikan amalan aplikasi SkySense. Dalam senario kewangan luar bandar yang dinyatakan sebelum ini, melalui penderiaan jauh satelit dan pengecaman model besar penderiaan jauh, kita boleh mengenal pasti dengan tepat jenis tanaman dalam tempoh yang berbeza, serta maklumat seperti sama ada ia terjejas oleh penyakit dan perosak serangga, dan juga menganalisis. apakah kitaran pertumbuhan tanaman itu. , memadankan perkhidmatan kewangan yang pelbagai mengikut kitaran pertumbuhan yang berbeza, dengan itu menyediakan sokongan kredit yang lebih baik kepada petani.

Hutan Semut telah menanam 475 juta pokok dan melindungi 4,800 kilometer persegi kawasan perlindungan kebajikan masyarakat Untuk melindungi begitu banyak tanah hutan, cara teknologi mesti digunakan. Kami menggunakan penderiaan jauh satelit dan fotografi udara dron, digabungkan dengan pengecaman model besar penderiaan jauh, untuk memantau status hutan semut dengan cekap dan mencapai perlindungan dan pemulihan ekologi digital.

Pengiraan dan pengukuran sinki karbon adalah topik yang sangat penting dalam bidang ESG Pengiraan sinki karbon semasa sangat bergantung kepada kerja manual, yang menghalang perkembangan perdagangan sinki karbon penderiaan dan teknologi model besar untuk membangunkan satu set pengiraan sifar buruh Campur tangan atau mengurangkan pelan sistem sink karbon campur tangan buatan, dan cuba membangunkan pemantauan perubahan kawasan hutan dan sistem anggaran kenaikan biojisim.

Ini adalah dalam projek perlindungan hutan Kami menggunakan model besar penderiaan jauh untuk menyokong pengesanan perubahan luluhawa semula jadi dan pengesanan perubahan dalam kemusnahan manusia, dengan itu mencapai pemantauan dan perlindungan tanah hutan berskala besar.

Ini adalah hasil pengecaman tanaman makanan ruji di Bandar Siping, Jilin melalui model penderiaan jauh yang besar dapat dilihat di kawasan yang mempunyai keadaan penanaman yang agak kompleks ini, model penderiaan jauh yang besar juga boleh membuat pengecaman yang tepat. pada tahap piksel.

Ini di Luochuan, Wilayah Shaanxi Di kawasan dengan struktur rupa bumi yang kompleks ini, ketepatan pengenalpastian SkySense mengenai penanaman epal boleh mencapai lebih daripada 95%.

Pada masa yang sama, kami juga menggunakan SkySense untuk menganalisis data lampu malam wilayah global untuk menunjukkan aktiviti ekonomi kawasan yang berbeza Jelas sekali bahawa ekonomi serantau Shanghai sangat aktif.

Di atas adalah perkongsian saya, terima kasih semua!

Atas ialah kandungan terperinci Penerokaan dan amalan model besar penderiaan jauh pelbagai mod, Wang Jian, ketua model besar penderiaan jauh Kumpulan Ant, membawa tafsiran yang mendalam. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!