


Realistik, boleh dikawal dan berskala, platform simulasi pencahayaan pemanduan autonomi LightSim baru dilancarkan
Baru-baru ini, penyelidik dari Waabi AI, University of Toronto, University of Waterloo dan MIT mencadangkan platform simulasi pencahayaan pemanduan autonomi baharu LightSim di NeurIPS 2023. Para penyelidik mencadangkan kaedah untuk menjana data latihan pencahayaan berpasangan daripada data sebenar, menyelesaikan masalah kehilangan data dan kehilangan migrasi model. LightSim menggunakan Medan Sinaran Neural (NeRF) dan rangkaian dalam berasaskan fizik untuk menghasilkan video pemanduan kenderaan, mencapai simulasi pencahayaan adegan dinamik pada data sebenar berskala besar buat kali pertama
- Tapak web projek: https: //waabi .ai/lightsim
- Pautan kertas: https://openreview.net/pdf?id=mcx8IGneYw
Mengapa simulasi pencahayaan pemanduan autonomi diperlukan?
Dalam robotik, simulasi kamera adalah sangat penting, terutamanya untuk kenderaan autonomi untuk melihat pemandangan luar. Walau bagaimanapun, sistem persepsi kamera sedia ada berprestasi buruk apabila menghadapi keadaan pencahayaan luar yang tidak terlatih. Dengan menggunakan simulasi kamera untuk menjana set data perubahan pencahayaan luar yang pelbagai, kestabilan sistem pemanduan autonomi boleh dipertingkatkan
Kaedah simulasi kamera biasa secara amnya berdasarkan enjin fizik. Kaedah ini menjadikan pemandangan dengan menetapkan model 3D dan keadaan pencahayaan. Walau bagaimanapun, kesan simulasi sering kekurangan kepelbagaian dan tidak cukup realistik. Tambahan pula, disebabkan bilangan model 3D berkualiti tinggi yang terhad, hasil pemaparan fizikal tidak betul-betul sepadan dengan adegan dunia sebenar. Ini membawa kepada keupayaan generalisasi yang lemah bagi model terlatih pada data sebenar.
Kaedah lain adalah berdasarkan kaedah simulasi dipacu data. Pendekatan ini menggunakan teknologi pemaparan saraf untuk membina semula kembar digital dunia nyata untuk mereplikasi data yang diperhatikan oleh penderia. Dengan cara ini kita boleh mencipta adegan dengan lebih fleksibiliti dan meningkatkan realisme. Walau bagaimanapun, teknologi semasa membenamkan maklumat pencahayaan pemandangan ke dalam model 3D, yang mengehadkan pengeditan kembar digital, seperti menukar keadaan pencahayaan atau menambah atau memadam objek Dalam karya di NeurIPS 2023, Penyelidik dari Waabi AI menunjukkan a sistem simulasi pencahayaan LightSim berdasarkan enjin fizik dan rangkaian saraf: Simulasi Pencahayaan Neural untuk Pemandangan Bandar
Berbeza daripada kerja sebelumnya, LightSim boleh mencapai mata berikut pada masa yang sama:
Realistik: Buat pertama kalinya, adalah mungkin untuk mensimulasikan pencahayaan pemandangan dinamik luar berskala besar, dan ia boleh mensimulasikan bayang-bayang, kesan pencahayaan antara objek dengan lebih tepat, dsb.
2. Boleh dikawal: Menyokong pengeditan adegan pemanduan dinamik (menambah, memadam objek, kedudukan kamera dan parameter, menukar pencahayaan, menjana adegan kritikal keselamatan, dll.), dengan itu menghasilkan video yang lebih realistik dan konsisten untuk dipertingkat keteguhan sistem terhadap pencahayaan dan keadaan tepi.
3. Berskala: Mudah dikembangkan kepada lebih banyak senario dan set data yang berbeza Ia hanya perlu mengumpul data sekali (laluan tunggal) untuk membina semula dan menjalankan ujian simulasi sebenar dan boleh dikawal.
Membina sistem simulasi
Stept 1: Membina perintah Digital Twin
in yang tidak dapat dipulihkan untuk mencipta adegan memandu autonomi di dunia digital, Lightsim terlebih dahulu bermula dari Data yang dikumpul dibahagikan kepada objek dinamik dan adegan statik. Langkah ini menggunakan UniSim untuk membina semula pemandangan dan mengalih keluar pergantungan paparan kamera dalam rangkaian. Kemudian gunakan kiub kawad untuk mendapatkan geometri, dan seterusnya menukarnya kepada jaringan dengan bahan asas.
Selain bahan dan geometri, LightSim juga boleh menganggarkan pencahayaan luar berdasarkan matahari dan langit, sumber cahaya utama pemandangan siang hari luar, dan mendapatkan peta persekitaran julat dinamik tinggi (HDR Sky dome). Menggunakan data penderia dan geometri yang diekstrak, LightSim boleh menganggarkan imej panorama yang tidak lengkap dan kemudian melengkapkannya untuk mendapatkan pandangan 360° penuh langit. Imej panorama dan maklumat GPS ini kemudiannya digunakan untuk menjana peta persekitaran HDR yang menganggarkan keamatan matahari, arah matahari dan rupa langit dengan tepat.
Imbasan semula: Langkah kedua ialah melakukan simulasi pencahayaan saraf bagi pemandangan bandar dinamik
boleh diubah suai lagi, jika boleh diubah suai secara digital, atau boleh diubah suai secara digital lagi objek, menukar trajektori kenderaan, atau menukar pencahayaan, dsb., untuk menjana perwakilan realiti tambahan. LightSim akan melakukan pemaparan berasaskan fizikal, menjana data berkaitan pencahayaan seperti warna asas, kedalaman, vektor biasa dan bayang-bayang untuk mengubah suai pemandangan. Menggunakan data berkaitan pencahayaan ini dan anggaran sumber pemandangan dan keadaan pencahayaan sasaran, aliran kerja LightSim adalah seperti berikut.
Walaupun imej yang dihasilkan berdasarkan fizikal pandai membina semula kesan pencahayaan dalam pemandangan, disebabkan ketidaksempurnaan dalam geometri dan ralat dalam penguraian bahan/cahaya, hasil pemaparan sering kali tidak mempunyai realisme, seperti kabur, pantulan permukaan yang tidak realistik dan artifak sempadan. Oleh itu, penyelidik mencadangkan rendering tertunda saraf untuk realisme yang dipertingkatkan. Mereka memperkenalkan rangkaian sintesis imej yang menjana imej akhir menggunakan imej sumber dalam penimbal prakiraan dan data berkaitan pencahayaan yang dijana oleh enjin pemaparan. Pada masa yang sama, kaedah dalam kertas itu juga menyediakan rangkaian dengan peta persekitaran untuk meningkatkan konteks pencahayaan, dan menjana imej berpasangan melalui kembar digital, menyediakan simulasi berpasangan novel dan skim latihan data sebenar
Keupayaan simulasi Menunjukkan . Seperti yang ditunjukkan dalam video, kedudukan matahari dan penampilan langit yang baharu menyebabkan bayang-bayang dan rupa adegan itu berubah. LightSim boleh secara automatik membatch adegan relight. Ia boleh menjana perubahan pencahayaan baharu, konsisten masa, sedar 3D daripada peta persekitaran HDR yang dianggarkan dan sebenar yang serupa dengan pemandangan asal Perwakilan boleh diedit dan arah matahari boleh diubah, sekali gus mengemas kini perubahan pencahayaan dan bayang-bayang ke arah cahaya matahari. Dengan memutarkan peta persekitaran HDR dan menghantarnya ke modul pemaparan tertunda neural, LightSim menghasilkan video berikut
LightSim juga menyokong penyuntingan kelompok bayang-bayang
Sisipan Aksara Sedar Pencahayaan
Dalam selain mengubah suai pencahayaan, LightSim juga boleh melakukan penambahan yang menyedari pencahayaan pada objek luar biasa seperti halangan seni bina. Objek tambahan ini boleh mengemas kini bayang-bayang pencahayaan objek, menutup objek dengan tepat dan menyesuaikan diri secara spatial kepada keseluruhan konfigurasi kamera.
Pemindahan Simulasi (Generalisasi kepada nuScenes)
Oleh kerana rangkaian pemaparan tertunda neural LightSim dilatih pada berbilang video pemanduan, LightSim boleh digeneralisasikan kepada adegan baharu. Video berikut menunjukkan keupayaan generalisasi LightSim untuk memandu adegan dalam nuScenes. LightSim boleh membina kembar digital peka cahaya bagi setiap adegan, yang kemudiannya digunakan pada model pemaparan tertunda saraf yang telah dilatih pada PandaSet. LightSim mempunyai prestasi migrasi yang baik dan boleh memberikan penyelesaian yang lebih mantap untuk pencahayaan semula pemandangan
Simulasi kamera sebenar dan boleh dikawal
Berdasarkan semua fungsi yang ditunjukkan di atas, LightSim mencapai simulasi kamera yang boleh dikawal, pelbagai dan realistik. Video berikut menunjukkan keupayaan simulasi adegan LightSim. Dalam video tersebut, sebuah kereta berwarna putih membuat pertukaran lorong kecemasan ke lorong SDV, memperkenalkan sekatan jalan raya baharu, yang menyebabkan kereta putih itu memasuki adegan baharu sepenuhnya Kesan yang dihasilkan oleh LightSim di bawah pelbagai keadaan pencahayaan dalam adegan baharu adalah seperti berikut : . Dalam video di bawah, contoh baharu ditunjukkan. Halangan baru telah dimasukkan ke dalam halangan jalan yang sedia ada dan satu set kenderaan baharu telah ditambah. Dengan menggunakan LightSim untuk pencahayaan simulasi, kenderaan yang baru ditambah boleh disepadukan dengan sempurna ke dalam tempat kejadian LightSim ialah platform simulasi kamera peka cahaya yang menyediakan perkhidmatan untuk memproses adegan pemanduan dinamik berskala besar. Ia boleh membina kembar digital yang menyedari pencahayaan berdasarkan data dunia sebenar dan mengubah suainya untuk mencipta adegan baharu dengan reka letak objek yang berbeza dan perspektif kenderaan autonomi. LightSim mampu mensimulasikan keadaan pencahayaan baharu, membolehkan simulasi kamera yang pelbagai, realistik dan boleh dikawal untuk menghasilkan video yang konsisten dari segi masa/ruang. Perlu diingat bahawa LightSim juga boleh digabungkan dengan pemaparan terbalik, simulasi cuaca dan teknologi lain untuk meningkatkan lagi prestasi simulasiRingkasan dan Pandangan
Atas ialah kandungan terperinci Realistik, boleh dikawal dan berskala, platform simulasi pencahayaan pemanduan autonomi LightSim baru dilancarkan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Penyebaran dalaman yang tidak terkawal sistem AI yang canggih menimbulkan risiko yang signifikan, menurut laporan baru dari Apollo Research. Kekurangan pengawasan ini, lazim di kalangan firma AI utama, membolehkan hasil yang berpotensi bencana, mulai dari UNCON

Pengesan kebohongan tradisional sudah lapuk. Bergantung pada penunjuk yang disambungkan oleh gelang tangan, pengesan kebohongan yang mencetak tanda -tanda penting subjek dan tindak balas fizikal tidak tepat dalam mengenal pasti kebohongan. Inilah sebabnya mengapa keputusan pengesanan kebohongan biasanya tidak diterima pakai oleh mahkamah, walaupun ia telah membawa kepada banyak orang yang tidak bersalah yang dipenjara. Sebaliknya, kecerdasan buatan adalah enjin data yang kuat, dan prinsip kerja adalah untuk memerhatikan semua aspek. Ini bermakna saintis boleh menggunakan kecerdasan buatan kepada aplikasi yang mencari kebenaran melalui pelbagai cara. Satu pendekatan adalah untuk menganalisis tindak balas penting orang yang diinterogasi seperti pengesan dusta, tetapi dengan analisis perbandingan yang lebih terperinci dan tepat. Pendekatan lain adalah menggunakan markup linguistik untuk menganalisis apa yang orang katakan dan menggunakan logik dan penalaran. Seperti kata pepatah, satu pembohongan membiak kebohongan yang lain, dan akhirnya

Industri aeroangkasa, perintis inovasi, memanfaatkan AI untuk menangani cabaran yang paling rumit. Kerumitan Peningkatan Penerbangan Moden memerlukan automasi dan keupayaan perisikan masa nyata AI untuk keselamatan yang dipertingkatkan, dikurangkan oper

Perkembangan pesat robotik telah membawa kita kajian kes yang menarik. Robot N2 dari Noetix beratnya lebih dari 40 paun dan tinggi 3 kaki dan dikatakan dapat backflip. Robot G1 Unitree berat kira -kira dua kali saiz N2 dan kira -kira 4 kaki tinggi. Terdapat juga banyak robot humanoid yang lebih kecil yang menyertai pertandingan ini, dan terdapat juga robot yang didorong ke hadapan oleh peminat. Tafsiran data Setengah maraton menarik lebih daripada 12,000 penonton, tetapi hanya 21 robot humanoid yang mengambil bahagian. Walaupun kerajaan menegaskan bahawa robot yang mengambil bahagian menjalankan "latihan intensif" sebelum pertandingan, tidak semua robot menyelesaikan keseluruhan persaingan. Champion - Tiangong Ult Dibangunkan oleh Pusat Inovasi Robot Humanoid Beijing

Kecerdasan buatan, dalam bentuknya sekarang, tidak benar -benar pintar; Ia mahir meniru dan menyempurnakan data sedia ada. Kami tidak mewujudkan kecerdasan buatan, tetapi sebaliknya kesimpulan buatan -merapikan yang memproses maklumat, sementara manusia su

Laporan mendapati bahawa antara muka yang dikemas kini disembunyikan dalam kod untuk Google Photos Android versi 7.26, dan setiap kali anda melihat foto, satu baris lakaran muka yang baru dikesan dipaparkan di bahagian bawah skrin. Thumbnail wajah baru adalah tag nama yang hilang, jadi saya mengesyaki anda perlu mengkliknya secara individu untuk melihat lebih banyak maklumat mengenai setiap orang yang dikesan. Buat masa ini, ciri ini tidak memberikan maklumat selain daripada orang -orang yang ditemui oleh Google Foto dalam imej anda. Ciri ini belum tersedia, jadi kami tidak tahu bagaimana Google akan menggunakannya dengan tepat. Google boleh menggunakan gambar kecil untuk mempercepatkan mencari lebih banyak gambar orang terpilih, atau boleh digunakan untuk tujuan lain, seperti memilih individu untuk mengedit. Mari tunggu dan lihat. Buat masa ini

Penguatkuasaan penguatkuasaan telah mengguncang pembangunan AI dengan mengajar model untuk menyesuaikan berdasarkan maklum balas manusia. Ia menggabungkan asas pembelajaran yang diawasi dengan kemas kini berasaskan ganjaran untuk menjadikannya lebih selamat, lebih tepat, dan benar-benar membantu

Para saintis telah mengkaji secara meluas rangkaian saraf manusia dan mudah (seperti yang ada di C. elegans) untuk memahami fungsi mereka. Walau bagaimanapun, soalan penting timbul: Bagaimana kita menyesuaikan rangkaian saraf kita sendiri untuk berfungsi dengan berkesan bersama -sama dengan novel AI s


Alat AI Hot

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool
Gambar buka pakaian secara percuma

Clothoff.io
Penyingkiran pakaian AI

Video Face Swap
Tukar muka dalam mana-mana video dengan mudah menggunakan alat tukar muka AI percuma kami!

Artikel Panas

Alat panas

SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

mPDF
mPDF ialah perpustakaan PHP yang boleh menjana fail PDF daripada HTML yang dikodkan UTF-8. Pengarang asal, Ian Back, menulis mPDF untuk mengeluarkan fail PDF "dengan cepat" dari tapak webnya dan mengendalikan bahasa yang berbeza. Ia lebih perlahan dan menghasilkan fail yang lebih besar apabila menggunakan fon Unicode daripada skrip asal seperti HTML2FPDF, tetapi menyokong gaya CSS dsb. dan mempunyai banyak peningkatan. Menyokong hampir semua bahasa, termasuk RTL (Arab dan Ibrani) dan CJK (Cina, Jepun dan Korea). Menyokong elemen peringkat blok bersarang (seperti P, DIV),

DVWA
Damn Vulnerable Web App (DVWA) ialah aplikasi web PHP/MySQL yang sangat terdedah. Matlamat utamanya adalah untuk menjadi bantuan bagi profesional keselamatan untuk menguji kemahiran dan alatan mereka dalam persekitaran undang-undang, untuk membantu pembangun web lebih memahami proses mengamankan aplikasi web, dan untuk membantu guru/pelajar mengajar/belajar dalam persekitaran bilik darjah Aplikasi web keselamatan. Matlamat DVWA adalah untuk mempraktikkan beberapa kelemahan web yang paling biasa melalui antara muka yang mudah dan mudah, dengan pelbagai tahap kesukaran. Sila ambil perhatian bahawa perisian ini

Penyesuai Pelayan SAP NetWeaver untuk Eclipse
Integrasikan Eclipse dengan pelayan aplikasi SAP NetWeaver.

VSCode Windows 64-bit Muat Turun
Editor IDE percuma dan berkuasa yang dilancarkan oleh Microsoft
