Cadangan paten Qualcomm untuk menambah baik pengesanan objek dan konfigurasi penjejakan untuk interaksi gerak isyarat AR/VR

Pengesanan objek yang dioptimumkan dan konfigurasi penjejakan

(英伟网Nweon 4 Januari 2024) Peranti realiti lanjutan boleh mengesan, menjejak dan mengenal pasti peristiwa atau objek sasaran melalui kamera. Sistem penjejakan tradisional mungkin tidak mengesan gerak isyarat pengguna dengan betul, seperti gerak isyarat yang dilakukan oleh tangan kosong pengguna atau oleh pengguna yang memegang objek.

Dalam aplikasi paten bertajuk "Pengesanan dan penjejakan objek dalam peranti realiti lanjutan", Qualcomm mencadangkan konfigurasi pengesanan dan penjejakan objek yang dioptimumkan.

Dalam satu penjelmaan, peranti pengesanan dan pengesanan objek mungkin termasuk satu atau lebih elemen optik dan mungkin mengesan satu atau lebih objek atau bahagian badan pengguna dalam persekitaran maya untuk mengenal pasti gerak isyarat input yang dilakukan oleh pengguna. Peranti pengesanan dan pengesanan objek boleh mengesan objek dalam medan pandangan kamera dan menentukan bahawa objek itu sepadan dengan pengguna tertentu.

Sebagai contoh, peranti pengesanan dan penjejakan objek boleh menentukan bahawa objek sepadan dengan pengguna dan sedang digunakan untuk memberikan gerak isyarat input. Peranti pengesanan dan penjejakan objek boleh secara tambahan atau secara alternatif menentukan bahawa objek itu tidak sepadan dengan pengguna dan oleh itu tidak akan digunakan untuk memberikan gerak isyarat input.

Dalam penjelmaan lain, peranti pengesanan dan pengesanan objek mungkin termasuk satu atau lebih pemproses yang melaksanakan arahan yang disimpan dalam memori pengesanan objek dan peranti penjejakan untuk melaksanakan pengesanan berdasarkan pengesanan kontur Unik pengguna bagi objek pengguna.

Sebagai contoh, profil unik pengguna mungkin termasuk satu atau lebih bentuk yang mencirikan tangan pengguna, cetakan tapak tangan, kontur tapak tangan, saiz kuku pengguna, bentuk kuku pengguna, warna objek, dsb. Peranti pengesanan dan penjejakan objek boleh melaksanakan arahan untuk menjejak objek berdasarkan profil pengguna untuk mengesan satu atau lebih gerak isyarat input daripada pengguna berdasarkan profil pengguna.

Dalam satu penjelmaan, peranti pengesanan dan penjejakan objek mungkin termasuk satu atau lebih pemproses, dan pemproses melakukan satu atau lebih proses pembelajaran mesin terlatih untuk mengesan objek pengguna untuk menjejak dan menerima satu atau lebih gerak isyarat masuk.

Sebagai contoh, semasa proses permulaan, peranti pengesanan dan pengesan sasaran mungkin menggesa pengguna untuk memilih objek yang dikesan oleh kamera atau penderia peranti pengesanan dan pengesan sasaran sebagai objek untuk mengesan input gerak isyarat pengguna. Peranti pengesanan dan penjejakan objek boleh menggunakan proses pembelajaran mesin terlatih pada data imej yang mencirikan objek yang dipilih untuk menjana pluraliti titik data objek yang dipilih dan model berbilang dimensi objek yang dipilih.

Selain itu, peranti pengesanan dan penjejakan sasaran boleh menggunakan proses pembelajaran mesin terlatih pada model sasaran berbilang dimensi untuk menganggar titik tindakan. Dalam satu contoh, peranti pengesanan dan pengesanan objek boleh melaksanakan mod latihan untuk proses pembelajaran mesin di mana proses pembelajaran mesin boleh mengubah titik tindakan secara berulang dalam ruang tiga dimensi bagi gerak isyarat yang sepadan.

Sebagai contoh, peranti pengesanan dan penjejakan sasaran boleh menentukan gerak isyarat berdasarkan titik tindakan yang dijana dan boleh meminta serta menerima pengesahan daripada pengguna untuk mengesahkan bahawa gerak isyarat yang ditentukan adalah betul.

Satu atau lebih pemproses boleh menggunakan proses pembelajaran mesin pada model berbilang dimensi objek untuk menjana jadual carian. Jadual carian mungkin termasuk senarai gerak isyarat dan jujukan titik penjejakan dalam ruang tiga dimensi yang objek mungkin terbentang semasa gerak isyarat. Titik penjejakan mungkin termasuk koordinat x, y dan z bagi setiap titik penjejakan dalam ruang tiga dimensi.

Apabila proses latihan selesai, satu atau lebih pemproses boleh menyimpan nilai dan jujukan titik penjejakan dan gerak isyarat yang sepadan sebagai jadual carian dalam peranti storan peranti pengesanan dan pengesanan objek. Jadual carian yang sepadan dengan objek mungkin membolehkan satu atau lebih pemproses mengesan dan mengecam gerak isyarat yang dibuat oleh objek semasa menjejaki gerakan objek.

Rajah 1 ialah gambar rajah blok bagi peranti pengesanan dan pengesan sasaran yang boleh dicontohi 100. Seperti yang ditunjukkan dalam penjelmaan Rajah 1 , peranti pengesanan dan pengesanan sasaran 100 mungkin termasuk satu atau lebih penderia imej 112 , seperti penderia imej 112A, lensa 113A dan satu atau lebih pemproses kamera, seperti pemproses kamera 114 .

Peranti pengesanan dan pengesanan objek 100 mungkin termasuk unit pemprosesan pusat 116, pengekod/penyahkod 117, unit pemprosesan grafik 118, memori tempatan 120 GPU 118, antara muka pengguna 122, komputer yang menyediakan akses kepada sistem memori 130 dan memori arahan 132 pengawal memori 124, dan antara muka paparan 126.

Peranti pengesanan dan pengesanan objek 100 mungkin menerima input pengguna melalui antara muka pengguna 122, dan sebagai tindak balas kepada input pengguna yang diterima, CPU 116 dan/atau pemproses kamera 114 boleh mengaktifkan lensa yang sepadan dengan CPU 116 dan/atau pemproses kamera 114. Sebagai contoh, input pengguna yang diterima mungkin sepadan dengan pengesahan bahawa objek/tangan yang dilihat oleh kanta 113A ialah objek/tangan pengguna yang harus dijejaki untuk gerak isyarat input.

Rajah 2A menunjukkan julat penjejakan dalam sistem XR. 2A termasuk pengguna 202 yang mempunyai medan pandangan 204. Seperti yang ditunjukkan dalam Rajah 2A, medan pandangan 202 pengguna 204 mungkin mempunyai sebaran sudut 120 darjah. Medan pandangan 204 mungkin kawasan di mana sistem VR, AR atau XR boleh menjejaki gerak isyarat input pengguna 202 .

Sebagai contoh, sistem VR, AR atau XR boleh menjejak objek dalam medan pandangan 204, iaitu tangan pengguna. Medan pandangan 204 boleh menjangkau dari jejari pertama daripada pengguna ke jejari kedua daripada pengguna. Seperti yang ditunjukkan dalam Rajah 2A, medan pandangan 204 boleh menjangkau dari jejari lebih kurang 10 sentimeter dari mata pengguna 202 hingga jejari 60-80 sentimeter dari pengguna.

Walaupun Rajah 2A menunjukkan tangan pengguna 202 dalam medan pandangan 204, berbilang tangan pengguna berbeza mungkin muncul dalam medan pandangan 204. Sistem VR, AR atau XR boleh mengesan tangan yang dimasukkan ke dalam medan pandangan 204, menentukan sama ada setiap tangan dikaitkan dengan pengguna yang sepadan dan boleh menjejaki tangan yang dikaitkan dengan pengguna yang sepadan. Contohnya, sistem VR, AR atau XR boleh mengesan gerak isyarat input daripada setiap pengguna.

Rajah 2B menunjukkan medan pandangan pengguna 204 dengan kawasan peletakan 206 digunakan untuk memulakan pengesanan dan penjejakan sasaran. 2B termasuk pengguna 202 yang mempunyai medan pandangan 204 dan kawasan peletakan 206 dalam medan pandangan 204.

Dalam satu penjelmaan, semasa permulaan proses pengesanan dan pengesanan objek, pengesanan objek dan peranti penjejakan 100 boleh menjana dan memaparkan sorotan kawasan peletakan 206 dalam persekitaran maya kepada pengguna 202.

Sebagai contoh, CPU 116 boleh melaksanakan arahan yang disimpan dalam unit pengesanan 132A untuk menjana permintaan untuk pengguna 202 memasukkan objek ke dalam kawasan peletakan 206. Unit paparan 208 boleh menyebabkan kawasan peletakan 206 diserlahkan dalam maya persekitaran dan dipaparkan kepada pengguna 202. Selepas pemulaan, peranti pengesanan dan penjejakan objek 100 boleh mengesan objek yang terdapat dalam kawasan peletakan 206 sebagai objek pengguna 202 untuk dijejaki untuk mengecam gerak isyarat input daripada pengguna 202 .

Rajah 3 ialah gambar rajah yang menunjukkan memasukkan objek ke dalam julat penjejakan sistem XR menggunakan peranti pengesanan dan pengesanan objek 100 dalam Rajah 1. FIG. 3 termasuk kawasan peletakan 308 dengan sudut sisipan dan arah sisipan 202 tangan pengguna 310 ke dalam kawasan peletakan 308 diserlahkan kepada pengguna 202 . 3 termasuk peranti unjuran 302) yang boleh mengunjurkan kawasan penempatan 308 yang dikelilingi oleh sempadan 304 dan 306 kawasan penempatan 308.

Peranti tayangan 302 boleh menyerlahkan kepada pengguna sudut di mana pengguna boleh memasukkan tangan 310 ke dalam kawasan peletakan 308 untuk pengesanan oleh peranti pengesanan dan pengesanan objek 100 . Dalam satu contoh, peranti tayangan 302 mungkin menjana dan memaparkan imej dalam persekitaran maya yang mengenal pasti arah pemasukan ke dalam kawasan peletakan 308 dan mengesan tangan 310 .

Dalam satu penjelmaan, peranti pengesanan dan pengesan sasaran 100 boleh menentukan sama ada sudut sisipan tangan 310 berada dalam julat yang telah ditetapkan dan boleh menjana data kontur yang mengenal pasti tangan 310 sebagai tangan pengguna berdasarkan penentuan. Sebagai contoh, julat yang telah ditetapkan mungkin julat nilai sudut berdasarkan medan pandangan 202 pengguna.

Apabila peranti pengesanan dan pengesan sasaran 100 menentukan bahawa sudut sisipan pengesanan tangan 310 berada dalam julat nilai yang telah ditetapkan, peranti pengesanan dan pengesan sasaran 100 boleh mendaftarkan tangan 310 sebagai objek untuk dijejaki pengguna. Begitu juga, peranti pengesanan dan pengesan objek 100 boleh menentukan bahawa arah pemasukan ke dalam kawasan peletakan 308 ialah arah yang sesuai (, dan peranti pengesanan dan pengesan objek 100 boleh mendaftarkan tangan 310 sebagai objek untuk dijejaki untuk pengguna.

Sebagai contoh lain, pengesanan objek dan peranti penjejakan 100 mungkin menentukan bahawa sudut sisipan tangan 310 tidak berada dalam julat berangka yang telah ditetapkan dan mungkin tidak mengaitkan tangan 310 dengan pengguna. Begitu juga, peranti pengesanan dan pengesanan objek 100 boleh menentukan bahawa arah pemasukan ke dalam kawasan peletakan 308 bukanlah arah yang sesuai dan mungkin tidak mengaitkan tangan 310 dengan pengguna.

Dengan cara ini, peranti pengesanan dan pengesanan objek 100 mungkin tidak mendaftarkan tangan 310 sebagai objek untuk dijejaki. Dalam satu penjelmaan, peranti pengesanan dan pengesanan objek 100 boleh meminta pengguna 202 untuk memasukkan semula tangan 310 pada sudut dan/atau arah yang dicadangkan.

Sebagai contoh, peranti pengesanan dan pengesanan objek 100 boleh memberikan isyarat visual melalui unjuran dalam atau berhampiran kawasan peletakan 308 untuk menunjukkan sudut sisipan dan/atau arah sisipan kepada pengguna 202 yang mana pengguna 202 boleh memasukkan Hand 310 berjaya didaftarkan sebagai tangan pengguna 202 melalui sistem XR.

Rajah 4 menunjukkan teknik penandaan yang digunakan untuk mengenal pasti tangan. Rajah 4 termasuk tangan 402 dan 404, setiap satunya termasuk kejamakan tanda tempat 406 dan 408, masing-masing. Pengesanan objek dan peranti penjejakan 100 boleh mengenal pasti tangan pengguna 202 secara unik seperti yang diterangkan di sini berdasarkan tanda tempat 406 dan 408.

Sebagai contoh, setiap tanda tempat 406 dan 408 mungkin satu set titik yang secara unik menggambarkan geometri tangan pengguna 202 402 dan 404, masing-masing. Alat pengesan dan pengesan objek 100 boleh mengesan dan mengenal pasti tangan 402 dan 404 berdasarkan lukisan garisan tangan.

Peranti pengesanan dan pengesan sasaran 100 boleh membandingkan tanda tempat 406 dan 408 kepada set titik yang disimpan dalam ingatan peranti pengesanan dan pengesan sasaran 100 . Selepas berjaya mengesan padanan, pengesanan objek dan peranti penjejakan 100 mungkin menentukan bahawa tangan yang dimasukkan ke dalam kawasan peletakan adalah tangan pengguna 202 dan mendaftarkan objek yang dikesan sebagai objek pengguna 202, dengan itu menjejak dan menerima gerak isyarat input daripada pengguna 202 .

Rajah 5A menggambarkan garis tapak tangan yang boleh digunakan untuk mengenal pasti tangan secara unik. Seperti yang ditunjukkan dalam Rajah 5A, Rajah 5A termasuk cetakan tapak tangan 506 (baris 1-7). Peranti pengesanan dan pengesanan objek 100 secara unik boleh mengenal pasti dan mengesan objek yang mempunyai ciri-ciri yang ditunjukkan dalam RAJAH 5A berdasarkan membandingkan data yang mencirikan garis sawit 506 dengan satu lagi set data yang mencirikan garis sawit dan disimpan dalam ingatan pengesanan objek. dan peranti pengesan 100 .

Selepas menentukan perlawanan itu berjaya, pengesan sasaran dan peranti pengesan 100 boleh menentukan tangan yang dimasukkan ke dalam kawasan peletakan 308 sebagai tangan pengguna 202, dan boleh menjejaki pergerakan tangan, seperti menentukan gerak isyarat pengguna 202. Peranti pengesanan dan pengesanan objek 100 tidak terhad kepada penggunaan garisan sawit 506 seperti yang diterangkan di atas untuk menentukan perlawanan yang berjaya.

Dalam satu penjelmaan, peranti pengesanan dan pengesanan objek 100 mungkin menggunakan ciri unik lain tangan pengguna 202, seperti kontur tapak tangan, bentuk tangan, saiz kuku, bentuk kuku, warna tangan, dll., untuk mengenal pasti tangan secara unik. . untuk tangan pengguna 202. Setelah dikesan, pengesanan objek dan peranti penjejakan 100 boleh menjana data kontur yang mendaftarkan tangan sebagai pengguna 202 sistem XR. Peranti pengesanan dan pengesanan objek 100 boleh menjejaki gerakan tangan untuk menerima gerak isyarat input daripada pengguna 202 berdasarkan data kontur.

Rajah 5B menunjukkan peta kontur tapak tangan yang boleh digunakan untuk mengenal pasti tangan secara unik. Rajah 5B termasuk data imej rangka tapak tangan 504 seperti yang ditunjukkan dalam Rajah 5B. Data imej profil tapak tangan 504 mungkin berdasarkan imej yang ditangkap oleh kamera 115 pengesanan objek dan peranti pengesan 100 . Peranti pengesanan dan pengesanan objek 100 boleh mengenal pasti dan mengesan secara unik tangan yang mempunyai profil tapak tangan yang diwakili oleh data imej profil tapak tangan 504 .

Sebagai contoh, peranti pengesanan dan pengesan sasaran 100 mungkin membandingkan data imej profil tapak tangan 504 dengan data profil tapak tangan yang disimpan dalam memori pengesanan sasaran dan peranti penjejakan 100 yang diterangkan di atas untuk menentukan sama ada profil tapak tangan sepadan.

Dalam satu penjelmaan, memori sistem 132 menyimpan data profil tapak tangan untuk berbilang pengguna. Data kontur tapak tangan boleh mengenal pasti dan mencirikan berbilang lokasi piksel di sepanjang kontur tangan yang ditangkap dalam imej. Peranti pengesanan dan pengesanan objek 100 boleh melakukan operasi untuk menentukan sama ada sebarang data profil tapak tangan untuk pengguna sepadan dengan profil data imej profil tapak tangan 504 untuk mengenal pasti pengguna.

Selepas menentukan perlawanan itu berjaya, peranti pengesanan dan pengesan sasaran 100 boleh menentukan tangan yang dimasukkan ke dalam kawasan peletakan 308 sebagai tangan pengguna 202, dan boleh mengesan dan menjejaki isyarat tangan sebagai isyarat input pengguna 202 .

Rajah 6 menunjukkan teknologi pengesanan dalam sistem XR. Rajah 6 termasuk pengguna 602 yang mempunyai medan pandangan 604. Medan pandangan 602 pengguna 604 mungkin mempunyai lanjutan sudut beberapa darjah, seperti 120 darjah seperti yang ditunjukkan dalam FIG 6 . Lazimnya, medan pandangan 604 mungkin kawasan dalam persekitaran sebenar di mana sistem VR, AR atau XR boleh menjejaki gerak isyarat input pengguna 602.

Seperti yang ditunjukkan dalam Rajah 6, medan pandangan 604 mungkin memanjang dari jejari lebih kurang 10 cm dari 602 mata pengguna ke jejari dalam lingkungan 60-80 cm dari pengguna.

Rajah 7 menunjukkan gambar rajah pengesanan tangan menggunakan 20 mata berbeza pada tangan. Di dalamnya, setiap 20 mata diterangkan oleh kedudukan khusus mereka di tangan biasa. Walau bagaimanapun, apabila tangan pengguna mempunyai bentuk yang tidak sekata, seperti mempunyai empat jari bukannya lima atau pengguna mempunyai penutup di tangan, setiap 20 mata yang ditunjukkan dalam Rajah 7A mungkin tidak wujud atau tidak dapat dikenal pasti.

Sebagai contoh, Rajah 8A ialah gambarajah skematik yang menunjukkan tangan dengan penutup. Rajah 8A termasuk tangan 802 dengan sarung tangan menutupi tangan dan garis besar 804 mewakili bentuk tangan 802.

Berbanding dengan Rajah 7, model 20 mata yang digunakan untuk mengecam dan mengesan tangan pengguna mungkin tidak digunakan untuk mengesan atau menjejaki pergerakan tangan 802 yang digunakan untuk mengecam isyarat input, sekurang-kurangnya kerana tangan 802 tidak boleh dipetakan ke kesemua 20 mata, atau Petakan kepada bilangan mata yang mencukupi untuk mengesan dan menjejak tangan 802 menggunakan teknik 20 mata.

Rajah 8B ialah gambarajah skematik yang menunjukkan tangan dengan bentuk yang tidak sekata. Rajah 8B termasuk tangan 806 yang mempunyai bentuk yang tidak sekata (cth, hilang jari tengah), garis besar 808 yang menerangkan bentuk tangan 806. Berbeza dengan Rajah 7, model 20 mata yang digunakan untuk mengenal pasti dan mengesan tangan pengguna mungkin tidak digunakan untuk mengesan atau menjejaki gerakan tangan 806 yang digunakan untuk mengecam isyarat input, sekurang-kurangnya kerana tangan 802 mungkin tidak dipetakan ke semua 20 mata, atau Petakan kepada bilangan mata yang mencukupi untuk mengesan dan menjejak tangan 802 menggunakan teknik 20 mata.

Walau bagaimanapun, teknik permulaan permulaan yang ditunjukkan dalam Rajah 9 mungkin membenarkan pengesanan objek dan peranti penjejakan 100 untuk mengesan bentuk dan saiz objek yang tidak dijangka.

Secara khusus, Rajah 9 menunjukkan teknik pengesanan tangan untuk mengesan tangan dengan bentuk yang tidak dijangka atau tidak teratur. Rajah 9 termasuk tangan 902 dengan garisan kontur 904. Selepas mengesan tangan bertutup (atau tangan dengan bentuk yang tidak sekata), peranti pengesanan dan pengesanan objek 100 mungkin menjana pluraliti titik data 906 untuk tangan 902 berdasarkan imej tangan 902.

Peranti pengesanan dan pengesanan objek 100 boleh menjana model berbilang dimensi tangan 902 berdasarkan berbilang titik data 906 . Sebagai contoh, peranti pengesanan dan pengesanan objek 100 mungkin menangkap satu atau lebih imej tangan 902 dalam persekitaran sebenar persekitaran hibrid sistem XR dan memplot titik data 906 dalam ruang tiga dimensi untuk menjana model berbilang dimensi. daripada tangan 902 .

Model berbilang dimensi mungkin model 3D tangan 902. Peranti pengesanan dan pengesanan objek 100 juga boleh menjana berbilang titik tindakan berdasarkan model berbilang dimensi tangan 902 dan gerak isyarat yang dikesan. Peranti pengesanan dan pengesanan objek 100 boleh menentukan lebih lanjut kepelbagaian titik pengesanan.

Titik penjejakan boleh menjadi titik dalam ruang tiga dimensi yang dijangkakan oleh tangan 902 semasa membuat gerak isyarat, dan titik penjejakan boleh disimpan dalam jadual carian khusus untuk tangan 902. Setiap jujukan titik penjejakan dalam jadual carian mungkin sepadan dengan gerak isyarat. Apabila tangan 902 bergerak dalam ruang tiga dimensi, pengesanan objek dan peranti penjejakan 100 boleh menentukan gerak isyarat tangan 902 menggunakan jadual carian.

Paten berkaitan: Qualcomm Paten |

https://patent.nweon.com/32609

Aplikasi paten Qualcomm bertajuk "Pengesanan dan pengesanan objek dalam peranti realiti lanjutan" pada asalnya diserahkan pada Jun 2022 dan baru-baru ini diterbitkan oleh Pejabat Paten dan Tanda Dagangan AS.

Perlu diambil perhatian bahawa, secara amnya, selepas permohonan paten A.S. disemak, ia akan diterbitkan secara automatik 18 bulan dari tarikh pemfailan atau tarikh keutamaan, atau ia akan diterbitkan dalam tempoh 18 bulan dari tarikh pemfailan atas permintaan pihak pemohon. Ambil perhatian bahawa penerbitan permohonan paten tidak bermakna paten itu diluluskan. Selepas permohonan paten difailkan, USPTO memerlukan semakan sebenar, yang mungkin mengambil masa antara 1 hingga 3 tahun.

Selain itu, ini hanyalah permohonan paten, tidak bermakna ia akan diluluskan Pada masa yang sama, ia tidak pasti sama ada ia benar-benar akan dikomersialkan dan kesan permohonan sebenar.

---

Pautan asal: https://news.nweon.com/116552

Atas ialah kandungan terperinci Cadangan paten Qualcomm untuk menambah baik pengesanan objek dan konfigurasi penjejakan untuk interaksi gerak isyarat AR/VR. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!