Tafsiran mendalam Nanda Yu Yang: Apakah itu "model dunia"?

Dengan media yang menggembar-gemburkan Sora, bahan pengenalan OpenAI memanggil Sora sebagai "simulator dunia". Istilah model dunia telah muncul semula, tetapi terdapat beberapa artikel yang memperkenalkan model dunia.

Di sini kami menyemak apa itu model dunia dan membincangkan sama ada Sora ialah simulator dunia.

Apakah model dunia/model dunia

Apabila perkataan dunia/dunia dan persekitaran/persekitaran disebut dalam bidang AI, biasanya untuk membezakannya dengan ejen/ejen.

Bidang yang mempunyai penyelidikan paling banyak tentang ejen ialah pembelajaran pengukuhan dan robotik.

Jadi anda boleh melihat bahawa model dunia dan pemodelan dunia muncul paling awal dan paling kerap dalam kertas dalam bidang robotik.

Perkataan model dunia yang mempunyai impak terbesar hari ini mungkin artikel ini dinamakan "model dunia" yang disiarkan oleh Jurgen di arxiv pada 2018. Artikel itu akhirnya diterbitkan dalam NeurIPS'18.

Makalah itu tidak mentakrifkan apakah model Dunia, tetapi membuat analogi kepada model mental otak manusia dalam sains kognitif, memetik sastera dari tahun 1971.

model mental ialah imej cermin otak manusia tentang dunia sekeliling

Model mental yang diperkenalkan di Wikipedia dengan jelas menunjukkan bahawa ia mungkin mengambil bahagian dalam kognisi, penaakulan dan proses membuat keputusan. Dan apabila ia datang kepada model mental, ia merangkumi dua bahagian: perwakilan mental dan simulasi mental.

representasi dalaman realiti luaran, dihipotesiskan memainkan peranan utama dalam kognisi, penaakulan dan membuat keputusan Istilah ini dicipta oleh Kenneth Craik pada tahun 1943 yang mencadangkan bahawa minda membina "model berskala kecil" realiti yang. ia digunakan untuk menjangka peristiwa.

Ia masih agak mengelirukan pada ketika ini, tetapi gambar rajah struktur dalam kertas itu menerangkan dengan jelas apa itu model dunia.

Dalam rajah, V->z menegak ialah perwakilan dimensi rendah bagi pemerhatian, yang dilaksanakan oleh VAE Mendatar M->h->M->h ialah perwakilan momen seterusnya yang diramalkan bagi jujukan , dilaksanakan dengan RNN, kedua-dua bahagian itu ditambah kepada Model Dunia.

Dalam erti kata lain, model Dunia terutamanya merangkumi perwakilan keadaan dan model peralihan, yang juga sepadan dengan perwakilan mental dan simulasi mental.

Apabila anda melihat gambar di atas, anda mungkin terfikir, bukankah semua ramalan jujukan adalah model dunia?

Sebenarnya, pelajar yang sudah biasa dengan pembelajaran pengukuhan boleh melihat secara sepintas lalu bahawa struktur gambar ini adalah salah (tidak lengkap), dan struktur sebenar adalah gambar di bawah ini bukan sahaja z, tetapi juga tindakan. Ini bukan ramalan jujukan biasa (adakah menambah tindakan membuat perbezaan besar? Ya, menambah tindakan membolehkan pengedaran data berubah secara bebas, yang membawa cabaran besar).

Kertas Jurgen tergolong dalam bidang pembelajaran pengukuhan.

Jadi, bukankah terdapat banyak RL berasaskan model dalam pembelajaran pengukuhan Apakah perbezaan antara model dan model dunia? Jawapannya tiada beza, ia adalah perkara yang sama. Jurgen berkata sesuatu dahulu

Maksud asasnya ialah tidak kira berapa banyak kerja RL berasaskan model yang dilakukan, saya adalah perintis RNN saya mencipta RNN untuk melakukan model, dan saya hanya mahu melakukannya.

Dalam versi awal artikel Jurgen, dia juga menyebut banyak RL berasaskan model Walaupun dia mempelajari model itu, dia tidak melatih RL sepenuhnya dalam model itu.

Hakikat bahawa RL tidak terlatih sepenuhnya dalam model sebenarnya bukanlah perbezaan antara RL berasaskan model dan model, tetapi kekecewaan yang berpanjangan terhadap arah RL berasaskan model: model tidak cukup tepat, dan RL dilatih sepenuhnya dalam model adalah sangat berkesan. Masalah ini hanya dapat diselesaikan dalam beberapa tahun kebelakangan ini.

Smart Sutton menyedari masalah model yang tidak tepat sejak dahulu lagi. Pada tahun 1990, karya Senibina Bersepadu untuk Pembelajaran, Perancangan dan Tindakbalas berdasarkan Pengaturcaraan Dinamik yang mencadangkan rangka kerja Dyna (diterbitkan pada ICML, yang merupakan bengkel pertama yang menjadi persidangan), memanggil model ini sebagai model tindakan, menekankan meramalkan hasil pelaksanaan tindakan.

RL belajar daripada data sebenar (baris 3) sambil belajar daripada model (baris 5) untuk mengelakkan pembelajaran model yang tidak tepat daripada strategi yang lemah.

Anda dapat melihat bahawa model dunia sangat penting untuk membuat keputusan. Jika anda boleh mendapatkan model dunia yang tepat, anda boleh mencari keputusan optimum dalam realiti melalui percubaan dan kesilapan dalam model dunia.

Ini adalah fungsi teras model dunia: penaakulan kontrafaktual, iaitu, walaupun untuk keputusan yang belum dilihat dalam data, keputusan keputusan boleh disimpulkan dalam model dunia.

Pelajar yang memahami penaakulan sebab-sebab akan terbiasa dengan istilah penaakulan kontrafaktual Dalam buku sains popular Judea Pearl yang memenangi Anugerah, sebuah tangga sebab dilukis Peringkat bawah ialah "persatuan", iaitu hari ini. Apa yang kebanyakan model ramalan lakukan terutamanya lapisan tengah ialah "intervensi", dan penerokaan dalam pembelajaran pengukuhan adalah intervensi biasa lapisan atas, menjawab soalan bagaimana jika melalui imaginasi. Gambarajah skematik yang dilukis oleh Judea untuk penalaran kontrafaktual dibayangkan oleh saintis dalam otak mereka, yang serupa dengan gambarajah skematik yang digunakan Jurgen dalam kertas kerjanya.

Kiri: Gambar rajah skema model dunia dalam kertas Jurgen. Kanan: Tangga sebab dan akibat dalam buku Yudea.

Pada ketika ini kita boleh merumuskan bahawa mengejar model dunia oleh penyelidik AI adalah untuk cuba mengatasi data, menjalankan penaakulan berlawanan dan mengejar keupayaan untuk menjawab soalan bagaimana jika. Ini adalah kebolehan yang ada pada manusia secara semula jadi, tetapi AI semasa masih sangat lemah. Sebaik sahaja kejayaan dibuat, keupayaan membuat keputusan AI akan dipertingkatkan dengan sangat baik, membolehkan aplikasi senario seperti pemanduan autonomi sepenuhnya.

Adakah Sora simulator dunia

Perkataan simulator lebih biasa digunakan dalam bidang kejuruteraan Ia berfungsi seperti model dunia dan mencuba percubaan dan kesilapan kos tinggi dan berisiko tinggi yang sukar dilaksanakan dalam bidang. dunia sebenar. OpenAI nampaknya ingin merumuskan semula frasa tetapi mengekalkan makna yang sama.

Video yang dijana oleh Sora hanya boleh dipandu oleh kata-kata gesaan yang samar-samar, menjadikannya sukar dikawal dengan tepat. Oleh itu, ia lebih kepada alat video dan sukar digunakan sebagai alat penaakulan kontrafak untuk menjawab soalan bagaimana jika dengan tepat.

Adalah sukar untuk menilai sejauh mana kebolehan penjanaan Sora, kerana ia sama sekali tidak jelas betapa berbezanya video demo daripada data latihan.

Apa yang lebih mengecewakan ialah demo ini menunjukkan bahawa Sora tidak mempelajari undang-undang fizik dengan tepat. Saya telah melihat seseorang menunjukkan ketidakselarasan dengan undang-undang fizikal dalam video yang dihasilkan oleh Sora [OpenAI mengeluarkan model video Vincent Sora, AI boleh memahami dunia fizikal yang sedang bergerak Adakah ini model dunia? Apakah maksudnya? ]

Saya rasa demo yang dikeluarkan oleh OpenAI harus berdasarkan data latihan yang sangat mencukupi, malah termasuk data yang dijana oleh CG. Walau bagaimanapun, walaupun begitu, undang-undang fizik yang boleh dihuraikan dengan persamaan dengan beberapa pembolehubah masih tidak difahami.

OpenAI percaya bahawa Sora membuktikan laluan kepada simulator dunia fizikal, tetapi nampaknya hanya menyusun data bukanlah laluan kepada teknologi pintar yang lebih maju.

Atas ialah kandungan terperinci Tafsiran mendalam Nanda Yu Yang: Apakah itu "model dunia"?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!