Paten Microsoft AR/VR mencadangkan menggunakan ciri sudut dan garis untuk menjajarkan imej berbilang kamera

Sistem MR boleh menggunakan berbilang kamera, tetapi imej perlu diselaraskan semasa memaparkannya. Walau bagaimanapun, penjajaran imej adalah masalah yang mencabar. Oleh itu, dalam aplikasi paten bertajuk "Kaedah Penjajaran Imej Menggunakan Ciri Sudut dan Garisan", Microsoft mencadangkan penyelesaian

Sudah tentu kaedah menggunakan ciri sudut untuk penjajaran imej telah pun wujud dalam industri. Walau bagaimanapun, mengenal pasti sudut dalam imej dan menjajarkan imej berdasarkan sudut yang dikenal pasti adalah operasi yang memakan masa dan intensif secara pengiraan.

Apa yang dicadangkan oleh Microsoft ialah teknologi peningkatan yang lebih berkesan yang boleh mencapai padanan ciri yang lebih baik. Ciptaan ini terutamanya memperkenalkan kaedah hibrid yang menggunakan ciri sudut dan ciri garisan untuk melakukan penjajaran visual, dan penyelesaian ini menghasilkan lebih sedikit kekangan yang diperlukan dalam proses penjajaran, dengan itu meningkatkan kecekapan pengiraan dan padanan ciri.

Rajah 11 menunjukkan contoh persekitaran 1100 di mana pengguna menggunakan kamera yang dipasang di kepala 1105 dan kamera luaran 1110. Seperti yang dinyatakan sebelum ini, kandungan imej yang dihasilkan daripada kedua-dua kamera ini perlu diselaraskan. Tetapi persekitaran 1100 mungkin persekitaran cahaya malap, atau persekitaran yang mempunyai kontras rendah dari segi kecerunan terma atau kontras.

Sebagai contoh, selepas objek menyejuk pada lewat malam, kecerunan suhu persekitaran biasanya seragam. Dalam kes ini, profil suhu atau kecerunan persekitaran mungkin berada di bawah ambang isoterma tertentu 1115 . Dalam kes ini, teknik tradisional untuk menyelaraskan kandungan mungkin gagal. Penjelmaan yang diterangkan oleh Microsoft menyediakan penyelesaian untuk senario sedemikian.

Rajah 12 menunjukkan contoh proses pengesanan sudut 1200 yang boleh digunakan untuk menjajarkan imej. Rajah 12 menunjukkan imej pertama 1205 yang dihasilkan oleh kamera yang dipasang di kepala 1105 dari Rajah 11, dan imej kedua 1210 yang dihasilkan oleh kamera luaran 1110.

Lakukan operasi pengesanan sudut untuk mengenal pasti "sudut" yang terdapat dalam imej. Sebagai contoh, penjelmaan boleh digunakan untuk mengenal pasti ciri sudut dalam imej pertama. Dalam erti kata lain, adalah mungkin untuk mengenal pasti set piksel dalam imej yang sepadan dengan sudut

Sebuah "sudut" merujuk kepada piksel atau piksel dengan keamatan tidak seragam yang mempunyai blok pertama piksel berdekatan diposisikan secara mendatar berkenaan dengan satu atau lebih piksel tersebut dan blok ketiga piksel diletakkan secara menegak berkenaan dengan satu atau lebih piksel tersebut . Dua blok piksel berdekatan. Dalam erti kata lain, sudut ditakrifkan sebagai satu set satu atau lebih piksel yang berbeza dengan sudut bersebelahan dalam arah X dan Y berbanding set piksel.

Kenal pasti ciri sudut 1215 dalam imej pertama 1205, dan juga kenal pasti ciri sudut dalam imej kedua 1210. Oleh itu, ciri sudut 1225 berjaya dikenal pasti. Perlu diingatkan bahawa ciri sudut 1225 sepadan dengan ciri sudut 1215

Untuk menyelaraskan kandungan imej, penjelmaan ini ditugaskan untuk mengenal pasti ambang 1230 penjuru. Bilangan ambang sudut mesti sepadan antara satu sama lain. Dalam erti kata lain, berbilang sudut yang dikenal pasti dalam imej pertama 1205 mesti dikenal pasti dan mesti sepadan dengan berbilang sudut yang dikenal pasti dalam imej kedua 1210

Jika ambang ini dipenuhi, penjelmaan mungkin melakukan operasi penjajaran imej untuk menjana imej tindanan 1235, iaitu imej yang kandungan daripada imej kedua 1210 dijajarkan dan kemudian ditindih dengan kandungan yang sepadan daripada imej pertama 1205.

Melaksanakan pengesanan dan penjajaran sudut adalah operasi yang intensif dari segi pengiraan, dan jika padanan antara sudut yang dikesan dan imej tidak cukup baik, keseluruhan proses mungkin gagal. Sebagai contoh, kaedah menggunakan hanya titik sudut memerlukan mengenal pasti sekurang-kurangnya 5 titik sudut daripada satu imej dan kemudian memadankannya dengan titik sudut yang sepadan dalam imej kedua. Dalam keadaan kontras yang rendah, mengenal pasti 5 titik sudut yang sepadan boleh menjadi satu cabaran

Selepas mengenal pasti bilangan sudut yang mencukupi, penjelmaan kemudiannya menggunakan model gerakan untuk mengenal pasti putaran 3D untuk menyesuaikan kandungan imej daripada imej pertama atau kedua kepada yang lain dengan melakukan pelbagai putaran dan transformasi untuk menjajarkan 5 penjuru antara satu sama lain imej. Melakukan penjajaran sedemikian adalah intensif dari segi pengiraan.

Oleh itu, kita perlu mengurangkan kekangan yang wujud apabila hanya menggunakan kaedah sudut, dan Rajah 13 menggambarkan teknik sedemikian.

Proses pengesanan titik sudut dan titik garis 1300 ditunjukkan dalam Rajah 13. Proses ini termasuk gabungan operasi pengesanan titik sudut 1200 dan operasi pengesanan titik garis dalam Rajah 12. Perlu diingat bahawa operasi pengesanan sudut dan operasi pengesanan garisan dilakukan pada masa yang sama

Biasanya, adalah lebih mudah untuk mengenal pasti "garisan" yang sepadan dalam imej daripada mengenal pasti sudut, jadi proses pengesanan garisan biasanya lebih cepat daripada proses pengesanan sudut. Memandangkan kedua-dua proses boleh berjalan secara selari dan proses pengesanan talian lebih pantas, penambahan proses pengesanan talian tidak akan memberi kesan negatif ke atas kelajuan proses penjajaran keseluruhan

Dengan menggabungkan penggunaan garisan untuk menjajarkan imej, lebih sedikit sudut boleh digunakan dalam proses penjajaran, menghasilkan kekangan yang santai dan penjajaran yang lebih mudah. Terutama dalam keadaan suhu rendah, memerlukan penggunaan sudut yang lebih sedikit adalah sangat bermanfaat kerana sukar untuk mencari dan memadankan sudut

"garisan" ditakrifkan sebagai satu set satu atau lebih piksel yang mempunyai keamatan seragam berbanding dengan blok piksel berdekatan pertama yang diletakkan secara mendatar bagi set atau set piksel dan mempunyai keamatan seragam berbanding set satu atau lebih piksel. Keamatan tidak sekata bagi blok piksel kedua yang berdekatan secara menegak bagi satu set piksel. Sebagai alternatif, ia mempunyai keamatan tidak sekata berkenaan dengan blok piksel berdekatan pertama yang diposisikan secara mendatar bagi satu atau lebih set piksel dan mempunyai keamatan seragam berkenaan dengan blok piksel berdekatan kedua yang diletakkan secara menegak berkenaan dengan satu atau lebih set piksel #🎜 🎜#

Dalam Rajah 13, imej pertama 1305 dan imej kedua 1310 yang mewakili imej dalam Rajah 12 ditunjukkan. Rajah 13 juga menunjukkan kaedah pelaksanaan yang boleh mengesan ciri sudut 1315

dalam imej pertama 1305

Apabila mengesan ciri sudut pada imej pertama 1305, ciri baris juga akan dikesan pada masa yang sama, seperti yang ditunjukkan dalam ciri baris 1320 dan 1325. Secara umumnya, kami dapat mengesan lebih banyak garis

berbanding bilangan sudut yang boleh dikesan

Lakukan operasi sudut dan garisan pada imej kedua 1310. Untuk tujuan ilustrasi, penjelmaan mengenal pasti ciri sudut 1330. Selari dengan operasi pengesanan sudut, penjelmaan secara serentak mengesan garisan dalam imej kedua 1310, seperti ciri baris 1335 dan ciri baris 1340.

Sila ambil perhatian bahawa ciri sudut 1330 sepadan dengan ciri garisan sudut 1335; Ciri baris 1340 sepadan dengan ciri baris 1325. Penjelmaan boleh mengenal pasti korespondensi ini dan kemudian menjana atau menggunakan model gerakan yang sesuai untuk menjajarkan titik ciri ini antara satu sama lain

Mengikut prinsip ciptaan, kami mentakrifkan ambang pertama sebagai 1345. Ambang pertama merujuk kepada bilangan ciri sudut sepadan yang mesti dikenal pasti dalam dua imej untuk menjajarkannya. Pada masa yang sama, kami juga menentukan ambang kedua 1350. Ambang kedua merujuk kepada bilangan ciri baris yang sepadan yang mesti dikenal pasti dalam kedua-dua imej untuk menjajarkannya

Kepuasan ambang pertama 1345 dan ambang kedua 1350 membolehkan penjelmaan menjajarkan kandungan daripada imej pertama 1305 dan imej kedua 1310 untuk menjana imej tindanan 1355. Perlu diingat bahawa ambang biasanya merujuk kepada jumlah bilangan sudut dan garisan yang mesti dikenali.

Setelah memahami kemudahan dan kelajuan melaksanakan pengesanan ciri baris, anda mungkin mempersoalkan mengapa penjelmaan hanya bergantung pada operasi pengesanan talian dan mengelak daripada melakukan operasi pengesanan sudut. Sebabnya adalah kerana pengesanan garisan dalam imej menyebabkan masalah apertur.

Berikut ialah kandungan yang ditulis semula: Mengikut Rajah 14, kita dapat melihat masalah apertur iaitu kesamaran apertur ialah 1400. Dalam Rajah 14, segmen garisan 1405 adalah sebahagian daripada keseluruhan baris. Kekaburan apertur 1400 merujuk kepada fakta bahawa berbilang bahagian garisan yang berbeza mungkin (tetapi salah) berkaitan dengan segmen garisan yang dikenal pasti 1405

Sebagai contoh, segmen garisan 1410 mungkin merupakan blok piksel yang sepadan dengan segmen garisan 1405 walaupun ia sebenarnya berada di lokasi atau kedudukan yang salah. Begitu juga, segmen baris 1415 atau segmen baris 1420 mungkin mengandungi blok piksel yang mungkin memetakan atau memadankan piksel dalam segmen baris 1405. Senario sedemikian memperkenalkan kekaburan ke dalam proses penjajaran.

Oleh itu, bergantung kepada proses pengesanan talian itu sendiri tidak mencukupi teknologi. Dalam erti kata lain, bergantung pada gabungan garis dan sudut membolehkan penjelmaan menggunakan kekangan santai, dengan itu meningkatkan kecekapan pengiraan.

Contoh aliran proses 1500 ditunjukkan dalam Rajah 15. Pada mulanya, satu set imej diperoleh, seperti imej kamera yang dipasang di kepala 1505 dan imej kamera luaran 1510. Imej ini mungkin imej haba. Kecerunan suhu atau kontras 1520 dalam imej mungkin berada di bawah ambang kontras tertentu 1525. Oleh itu, mengenal pasti bilangan sudut yang mencukupi dalam imej boleh menjadi agak sukar. Dalam kes ini, pendekatan hibrid boleh digunakan untuk mengesan gabungan sudut dan garisan untuk mencapai penjajaran

Hantarkan imej kamera yang dipasang di kepala 1505 dan imej kamera luaran 1510 ke pengesan sudut 1530 dan pengesan garisan 1535. Kedua-dua pengesan ini berjalan serentak dan tidak mempunyai kebergantungan antara satu sama lain

Sila ambil perhatian bahawa pengesan garisan 1535 biasanya lebih pantas dalam mengesan garisan daripada pengesan sudut 1530 pada sudut pengesanan. Dalam erti kata lain, masa tunda pengesan talian 1535 adalah lebih pendek daripada masa tunda pengesan sudut 1530

Pengesan sudut 1530 menganalisis dua imej dan mengenal pasti titik sudut 1545 dalam imej. Begitu juga, pengesan garisan 1535 menganalisis dua imej dan mengenal pasti garisan 1550 dalam imej. Penjelmaan kemudian melakukan penjajaran 1555 dengan mengenal pasti sudut dan garisan yang sepadan dalam dua imej.

Untuk melakukan penjajaran, bilangan ambang garis dan bucu perlu ditentukan. Ambang padanan adalah lebih relevan daripada ambang untuk mengenal pasti bilangan bucu atau garisan. Penjelmaan kemudiannya memuatkan sudut dan garisan yang dikenal pasti ke dalam model 3D 1560 seperti model gerakan. Operasi pemasangan model 1565 kemudiannya dilakukan pada model 1560 untuk memutar, menterjemah dan/atau mengubah satu imej untuk memadankan atau menjajarkan sudut dan garisan yang sepadan dalam imej yang lain.

Dalam erti kata lain, apabila melakukan operasi unjuran semula, penjelmaan menggunakan sudut dan garisan yang dikenal pasti untuk menjajarkan kandungan daripada satu imej dengan kandungan daripada imej lain

Paten berkaitan: Paten Microsoft |

Aplikasi paten Microsoft bertajuk "Penjajaran imej menggunakan ciri sudut dan garisan" pada asalnya diserahkan pada Februari 2022 dan baru-baru ini diterbitkan oleh Pejabat Paten dan Tanda Dagangan AS.

Atas ialah kandungan terperinci Paten Microsoft AR/VR mencadangkan menggunakan ciri sudut dan garis untuk menjajarkan imej berbilang kamera. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!