cari
RumahPeranti teknologiAIRealistik, boleh dikawal dan berskala, platform simulasi pencahayaan pemanduan autonomi LightSim baru dilancarkan

Baru-baru ini, penyelidik dari Waabi AI, University of Toronto, University of Waterloo dan MIT mencadangkan platform simulasi pencahayaan pemanduan autonomi baharu LightSim di NeurIPS 2023. Para penyelidik mencadangkan kaedah untuk menjana data latihan pencahayaan berpasangan daripada data sebenar, menyelesaikan masalah kehilangan data dan kehilangan migrasi model. LightSim menggunakan Medan Sinaran Neural (NeRF) dan rangkaian dalam berasaskan fizik untuk menghasilkan video pemanduan kenderaan, mencapai simulasi pencahayaan adegan dinamik pada data sebenar berskala besar buat kali pertama

Realistik, boleh dikawal dan berskala, platform simulasi pencahayaan pemanduan autonomi LightSim baru dilancarkan

  • Tapak web projek: https: //waabi .ai/lightsim
  • Pautan kertas: https://openreview.net/pdf?id=mcx8IGneYw

Mengapa simulasi pencahayaan pemanduan autonomi diperlukan?

Dalam robotik, simulasi kamera adalah sangat penting, terutamanya untuk kenderaan autonomi untuk melihat pemandangan luar. Walau bagaimanapun, sistem persepsi kamera sedia ada berprestasi buruk apabila menghadapi keadaan pencahayaan luar yang tidak terlatih. Dengan menggunakan simulasi kamera untuk menjana set data perubahan pencahayaan luar yang pelbagai, kestabilan sistem pemanduan autonomi boleh dipertingkatkan

Kaedah simulasi kamera biasa secara amnya berdasarkan enjin fizik. Kaedah ini menjadikan pemandangan dengan menetapkan model 3D dan keadaan pencahayaan. Walau bagaimanapun, kesan simulasi sering kekurangan kepelbagaian dan tidak cukup realistik. Tambahan pula, disebabkan bilangan model 3D berkualiti tinggi yang terhad, hasil pemaparan fizikal tidak betul-betul sepadan dengan adegan dunia sebenar. Ini membawa kepada keupayaan generalisasi yang lemah bagi model terlatih pada data sebenar.

Kaedah lain adalah berdasarkan kaedah simulasi dipacu data. Pendekatan ini menggunakan teknologi pemaparan saraf untuk membina semula kembar digital dunia nyata untuk mereplikasi data yang diperhatikan oleh penderia. Dengan cara ini kita boleh mencipta adegan dengan lebih fleksibiliti dan meningkatkan realisme. Walau bagaimanapun, teknologi semasa membenamkan maklumat pencahayaan pemandangan ke dalam model 3D, yang mengehadkan pengeditan kembar digital, seperti menukar keadaan pencahayaan atau menambah atau memadam objek Dalam karya di NeurIPS 2023, Penyelidik dari Waabi AI menunjukkan a sistem simulasi pencahayaan LightSim berdasarkan enjin fizik dan rangkaian saraf: Simulasi Pencahayaan Neural untuk Pemandangan Bandar

Berbeza daripada kerja sebelumnya, LightSim boleh mencapai mata berikut pada masa yang sama: Realistik, boleh dikawal dan berskala, platform simulasi pencahayaan pemanduan autonomi LightSim baru dilancarkan

Realistik: Buat pertama kalinya, adalah mungkin untuk mensimulasikan pencahayaan pemandangan dinamik luar berskala besar, dan ia boleh mensimulasikan bayang-bayang, kesan pencahayaan antara objek dengan lebih tepat, dsb.

2. Boleh dikawal: Menyokong pengeditan adegan pemanduan dinamik (menambah, memadam objek, kedudukan kamera dan parameter, menukar pencahayaan, menjana adegan kritikal keselamatan, dll.), dengan itu menghasilkan video yang lebih realistik dan konsisten untuk dipertingkat keteguhan sistem terhadap pencahayaan dan keadaan tepi.

3. Berskala: Mudah dikembangkan kepada lebih banyak senario dan set data yang berbeza Ia hanya perlu mengumpul data sekali (laluan tunggal) untuk membina semula dan menjalankan ujian simulasi sebenar dan boleh dikawal.

Membina sistem simulasi

Realistik, boleh dikawal dan berskala, platform simulasi pencahayaan pemanduan autonomi LightSim baru dilancarkan

Stept 1: Membina perintah Digital Twin

in yang tidak dapat dipulihkan untuk mencipta adegan memandu autonomi di dunia digital, Lightsim terlebih dahulu bermula dari Data yang dikumpul dibahagikan kepada objek dinamik dan adegan statik. Langkah ini menggunakan UniSim untuk membina semula pemandangan dan mengalih keluar pergantungan paparan kamera dalam rangkaian. Kemudian gunakan kiub kawad untuk mendapatkan geometri, dan seterusnya menukarnya kepada jaringan dengan bahan asas.

Selain bahan dan geometri, LightSim juga boleh menganggarkan pencahayaan luar berdasarkan matahari dan langit, sumber cahaya utama pemandangan siang hari luar, dan mendapatkan peta persekitaran julat dinamik tinggi (HDR Sky dome). Menggunakan data penderia dan geometri yang diekstrak, LightSim boleh menganggarkan imej panorama yang tidak lengkap dan kemudian melengkapkannya untuk mendapatkan pandangan 360° penuh langit. Imej panorama dan maklumat GPS ini kemudiannya digunakan untuk menjana peta persekitaran HDR yang menganggarkan keamatan matahari, arah matahari dan rupa langit dengan tepat.

Realistik, boleh dikawal dan berskala, platform simulasi pencahayaan pemanduan autonomi LightSim baru dilancarkan


Imbasan semula: Langkah kedua ialah melakukan simulasi pencahayaan saraf bagi pemandangan bandar dinamik

Realistik, boleh dikawal dan berskala, platform simulasi pencahayaan pemanduan autonomi LightSim baru dilancarkan boleh diubah suai lagi, jika boleh diubah suai secara digital, atau boleh diubah suai secara digital lagi objek, menukar trajektori kenderaan, atau menukar pencahayaan, dsb., untuk menjana perwakilan realiti tambahan. LightSim akan melakukan pemaparan berasaskan fizikal, menjana data berkaitan pencahayaan seperti warna asas, kedalaman, vektor biasa dan bayang-bayang untuk mengubah suai pemandangan. Menggunakan data berkaitan pencahayaan ini dan anggaran sumber pemandangan dan keadaan pencahayaan sasaran, aliran kerja LightSim adalah seperti berikut.

Walaupun imej yang dihasilkan berdasarkan fizikal pandai membina semula kesan pencahayaan dalam pemandangan, disebabkan ketidaksempurnaan dalam geometri dan ralat dalam penguraian bahan/cahaya, hasil pemaparan sering kali tidak mempunyai realisme, seperti kabur, pantulan permukaan yang tidak realistik dan artifak sempadan. Oleh itu, penyelidik mencadangkan rendering tertunda saraf untuk realisme yang dipertingkatkan. Mereka memperkenalkan rangkaian sintesis imej yang menjana imej akhir menggunakan imej sumber dalam penimbal prakiraan dan data berkaitan pencahayaan yang dijana oleh enjin pemaparan. Pada masa yang sama, kaedah dalam kertas itu juga menyediakan rangkaian dengan peta persekitaran untuk meningkatkan konteks pencahayaan, dan menjana imej berpasangan melalui kembar digital, menyediakan simulasi berpasangan novel dan skim latihan data sebenar

Keupayaan simulasi Menunjukkan . Seperti yang ditunjukkan dalam video, kedudukan matahari dan penampilan langit yang baharu menyebabkan bayang-bayang dan rupa adegan itu berubah. LightSim boleh secara automatik membatch adegan relight. Ia boleh menjana perubahan pencahayaan baharu, konsisten masa, sedar 3D daripada peta persekitaran HDR yang dianggarkan dan sebenar yang serupa dengan pemandangan asal Perwakilan boleh diedit dan arah matahari boleh diubah, sekali gus mengemas kini perubahan pencahayaan dan bayang-bayang ke arah cahaya matahari. Dengan memutarkan peta persekitaran HDR dan menghantarnya ke modul pemaparan tertunda neural, LightSim menghasilkan video berikut

LightSim juga menyokong penyuntingan kelompok bayang-bayang

Sisipan Aksara Sedar Pencahayaan

Dalam selain mengubah suai pencahayaan, LightSim juga boleh melakukan penambahan yang menyedari pencahayaan pada objek luar biasa seperti halangan seni bina. Objek tambahan ini boleh mengemas kini bayang-bayang pencahayaan objek, menutup objek dengan tepat dan menyesuaikan diri secara spatial kepada keseluruhan konfigurasi kamera.

Pemindahan Simulasi (Generalisasi kepada nuScenes)

Oleh kerana rangkaian pemaparan tertunda neural LightSim dilatih pada berbilang video pemanduan, LightSim boleh digeneralisasikan kepada adegan baharu. Video berikut menunjukkan keupayaan generalisasi LightSim untuk memandu adegan dalam nuScenes. LightSim boleh membina kembar digital peka cahaya bagi setiap adegan, yang kemudiannya digunakan pada model pemaparan tertunda saraf yang telah dilatih pada PandaSet. LightSim mempunyai prestasi migrasi yang baik dan boleh memberikan penyelesaian yang lebih mantap untuk pencahayaan semula pemandangan

Simulasi kamera sebenar dan boleh dikawal

Berdasarkan semua fungsi yang ditunjukkan di atas, LightSim mencapai simulasi kamera yang boleh dikawal, pelbagai dan realistik. Video berikut menunjukkan keupayaan simulasi adegan LightSim. Dalam video tersebut, sebuah kereta berwarna putih membuat pertukaran lorong kecemasan ke lorong SDV, memperkenalkan sekatan jalan raya baharu, yang menyebabkan kereta putih itu memasuki adegan baharu sepenuhnya Kesan yang dihasilkan oleh LightSim di bawah pelbagai keadaan pencahayaan dalam adegan baharu adalah seperti berikut : .

Dalam video di bawah, contoh baharu ditunjukkan. Halangan baru telah dimasukkan ke dalam halangan jalan yang sedia ada dan satu set kenderaan baharu telah ditambah. Dengan menggunakan LightSim untuk pencahayaan simulasi, kenderaan yang baru ditambah boleh disepadukan dengan sempurna ke dalam tempat kejadian

Ringkasan dan Pandangan

LightSim ialah platform simulasi kamera peka cahaya yang menyediakan perkhidmatan untuk memproses adegan pemanduan dinamik berskala besar. Ia boleh membina kembar digital yang menyedari pencahayaan berdasarkan data dunia sebenar dan mengubah suainya untuk mencipta adegan baharu dengan reka letak objek yang berbeza dan perspektif kenderaan autonomi. LightSim mampu mensimulasikan keadaan pencahayaan baharu, membolehkan simulasi kamera yang pelbagai, realistik dan boleh dikawal untuk menghasilkan video yang konsisten dari segi masa/ruang. Perlu diingat bahawa LightSim juga boleh digabungkan dengan pemaparan terbalik, simulasi cuaca dan teknologi lain untuk meningkatkan lagi prestasi simulasi

Atas ialah kandungan terperinci Realistik, boleh dikawal dan berskala, platform simulasi pencahayaan pemanduan autonomi LightSim baru dilancarkan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan
Artikel ini dikembalikan pada:51CTO.COM. Jika ada pelanggaran, sila hubungi admin@php.cn Padam
Bahaya Tersembunyi Penggunaan Dalaman AI: Jurang Tadbir Urus dan Risiko BencanaBahaya Tersembunyi Penggunaan Dalaman AI: Jurang Tadbir Urus dan Risiko BencanaApr 28, 2025 am 11:12 AM

Penyebaran dalaman yang tidak terkawal sistem AI yang canggih menimbulkan risiko yang signifikan, menurut laporan baru dari Apollo Research. Kekurangan pengawasan ini, lazim di kalangan firma AI utama, membolehkan hasil yang berpotensi bencana, mulai dari UNCON

Membina polygraph AIMembina polygraph AIApr 28, 2025 am 11:11 AM

Pengesan kebohongan tradisional sudah lapuk. Bergantung pada penunjuk yang disambungkan oleh gelang tangan, pengesan kebohongan yang mencetak tanda -tanda penting subjek dan tindak balas fizikal tidak tepat dalam mengenal pasti kebohongan. Inilah sebabnya mengapa keputusan pengesanan kebohongan biasanya tidak diterima pakai oleh mahkamah, walaupun ia telah membawa kepada banyak orang yang tidak bersalah yang dipenjara. Sebaliknya, kecerdasan buatan adalah enjin data yang kuat, dan prinsip kerja adalah untuk memerhatikan semua aspek. Ini bermakna saintis boleh menggunakan kecerdasan buatan kepada aplikasi yang mencari kebenaran melalui pelbagai cara. Satu pendekatan adalah untuk menganalisis tindak balas penting orang yang diinterogasi seperti pengesan dusta, tetapi dengan analisis perbandingan yang lebih terperinci dan tepat. Pendekatan lain adalah menggunakan markup linguistik untuk menganalisis apa yang orang katakan dan menggunakan logik dan penalaran. Seperti kata pepatah, satu pembohongan membiak kebohongan yang lain, dan akhirnya

Adakah AI dibersihkan untuk berlepas dalam industri aeroangkasa?Adakah AI dibersihkan untuk berlepas dalam industri aeroangkasa?Apr 28, 2025 am 11:10 AM

Industri aeroangkasa, perintis inovasi, memanfaatkan AI untuk menangani cabaran yang paling rumit. Kerumitan Peningkatan Penerbangan Moden memerlukan automasi dan keupayaan perisikan masa nyata AI untuk keselamatan yang dipertingkatkan, dikurangkan oper

Menonton Perlumbaan Robot Spring BeijingMenonton Perlumbaan Robot Spring BeijingApr 28, 2025 am 11:09 AM

Perkembangan pesat robotik telah membawa kita kajian kes yang menarik. Robot N2 dari Noetix beratnya lebih dari 40 paun dan tinggi 3 kaki dan dikatakan dapat backflip. Robot G1 Unitree berat kira -kira dua kali saiz N2 dan kira -kira 4 kaki tinggi. Terdapat juga banyak robot humanoid yang lebih kecil yang menyertai pertandingan ini, dan terdapat juga robot yang didorong ke hadapan oleh peminat. Tafsiran data Setengah maraton menarik lebih daripada 12,000 penonton, tetapi hanya 21 robot humanoid yang mengambil bahagian. Walaupun kerajaan menegaskan bahawa robot yang mengambil bahagian menjalankan "latihan intensif" sebelum pertandingan, tidak semua robot menyelesaikan keseluruhan persaingan. Champion - Tiangong Ult Dibangunkan oleh Pusat Inovasi Robot Humanoid Beijing

Perangkap Cermin: Etika AI dan keruntuhan imaginasi manusiaPerangkap Cermin: Etika AI dan keruntuhan imaginasi manusiaApr 28, 2025 am 11:08 AM

Kecerdasan buatan, dalam bentuknya sekarang, tidak benar -benar pintar; Ia mahir meniru dan menyempurnakan data sedia ada. Kami tidak mewujudkan kecerdasan buatan, tetapi sebaliknya kesimpulan buatan -merapikan yang memproses maklumat, sementara manusia su

New Google Leak mendedahkan kemas kini ciri Google Photos yang bergunaNew Google Leak mendedahkan kemas kini ciri Google Photos yang bergunaApr 28, 2025 am 11:07 AM

Laporan mendapati bahawa antara muka yang dikemas kini disembunyikan dalam kod untuk Google Photos Android versi 7.26, dan setiap kali anda melihat foto, satu baris lakaran muka yang baru dikesan dipaparkan di bahagian bawah skrin. Thumbnail wajah baru adalah tag nama yang hilang, jadi saya mengesyaki anda perlu mengkliknya secara individu untuk melihat lebih banyak maklumat mengenai setiap orang yang dikesan. Buat masa ini, ciri ini tidak memberikan maklumat selain daripada orang -orang yang ditemui oleh Google Foto dalam imej anda. Ciri ini belum tersedia, jadi kami tidak tahu bagaimana Google akan menggunakannya dengan tepat. Google boleh menggunakan gambar kecil untuk mempercepatkan mencari lebih banyak gambar orang terpilih, atau boleh digunakan untuk tujuan lain, seperti memilih individu untuk mengedit. Mari tunggu dan lihat. Buat masa ini

Panduan untuk Finetuning Pengukuhan - Analytics VidhyaPanduan untuk Finetuning Pengukuhan - Analytics VidhyaApr 28, 2025 am 09:30 AM

Penguatkuasaan penguatkuasaan telah mengguncang pembangunan AI dengan mengajar model untuk menyesuaikan berdasarkan maklum balas manusia. Ia menggabungkan asas pembelajaran yang diawasi dengan kemas kini berasaskan ganjaran untuk menjadikannya lebih selamat, lebih tepat, dan benar-benar membantu

Let's Dance: Gerakan berstruktur untuk menyempurnakan jaring saraf manusia kitaLet's Dance: Gerakan berstruktur untuk menyempurnakan jaring saraf manusia kitaApr 27, 2025 am 11:09 AM

Para saintis telah mengkaji secara meluas rangkaian saraf manusia dan mudah (seperti yang ada di C. elegans) untuk memahami fungsi mereka. Walau bagaimanapun, soalan penting timbul: Bagaimana kita menyesuaikan rangkaian saraf kita sendiri untuk berfungsi dengan berkesan bersama -sama dengan novel AI s

See all articles

Alat AI Hot

Undresser.AI Undress

Undresser.AI Undress

Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover

AI Clothes Remover

Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool

Undress AI Tool

Gambar buka pakaian secara percuma

Clothoff.io

Clothoff.io

Penyingkiran pakaian AI

Video Face Swap

Video Face Swap

Tukar muka dalam mana-mana video dengan mudah menggunakan alat tukar muka AI percuma kami!

Alat panas

SublimeText3 versi Mac

SublimeText3 versi Mac

Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

mPDF

mPDF

mPDF ialah perpustakaan PHP yang boleh menjana fail PDF daripada HTML yang dikodkan UTF-8. Pengarang asal, Ian Back, menulis mPDF untuk mengeluarkan fail PDF "dengan cepat" dari tapak webnya dan mengendalikan bahasa yang berbeza. Ia lebih perlahan dan menghasilkan fail yang lebih besar apabila menggunakan fon Unicode daripada skrip asal seperti HTML2FPDF, tetapi menyokong gaya CSS dsb. dan mempunyai banyak peningkatan. Menyokong hampir semua bahasa, termasuk RTL (Arab dan Ibrani) dan CJK (Cina, Jepun dan Korea). Menyokong elemen peringkat blok bersarang (seperti P, DIV),

DVWA

DVWA

Damn Vulnerable Web App (DVWA) ialah aplikasi web PHP/MySQL yang sangat terdedah. Matlamat utamanya adalah untuk menjadi bantuan bagi profesional keselamatan untuk menguji kemahiran dan alatan mereka dalam persekitaran undang-undang, untuk membantu pembangun web lebih memahami proses mengamankan aplikasi web, dan untuk membantu guru/pelajar mengajar/belajar dalam persekitaran bilik darjah Aplikasi web keselamatan. Matlamat DVWA adalah untuk mempraktikkan beberapa kelemahan web yang paling biasa melalui antara muka yang mudah dan mudah, dengan pelbagai tahap kesukaran. Sila ambil perhatian bahawa perisian ini

Penyesuai Pelayan SAP NetWeaver untuk Eclipse

Penyesuai Pelayan SAP NetWeaver untuk Eclipse

Integrasikan Eclipse dengan pelayan aplikasi SAP NetWeaver.

VSCode Windows 64-bit Muat Turun

VSCode Windows 64-bit Muat Turun

Editor IDE percuma dan berkuasa yang dilancarkan oleh Microsoft