Algoritma imej membantu meningkatkan kecekapan dan memindahkan semakan produk

1. Pengenalan latar belakang ulasan produk

Zhuanzhuan ialah platform e-dagang yang pakar dalam urus niaga komoditi terpakai. Bergantung pada entiti urus niaga, C2C, C2B, B2C dan perhubungan urus niaga lain boleh dibentuk. Sebagai contoh, ia adalah model C2C untuk pengguna individu untuk menerbitkan barangan untuk dijual di pasaran percuma aplikasi Zhuanzhuan yang turut menyediakan perkhidmatan C2B bagi mel dan kitar semula dari pintu ke pintu dan produk elektronik lain produk B2C terpakai dengan pemeriksaan dan jaminan rasmi serta perkhidmatan selepas jualan. Artikel ini akan menumpukan pada aplikasi algoritma imej dalam proses semakan penyenaraian produk di kedai Zhuanzhuan B2C.

Disebabkan sifat produk terpakai yang tidak standard, terdapat perbezaan kualiti antara produk inventori yang berbeza walaupun di bawah sku yang sama. Untuk meningkatkan pengalaman pengguna dan meningkatkan ketelusan maklumat produk, platform menggunakan imej produk tangkapan nyata apabila memaparkan produk terpakai dan mengelakkan penggunaan imej yang dihasilkan bagi produk standard. Ini melibatkan menyemak gambar paparan yang berkaitan bagi setiap produk di rak dalam pelbagai aspek seperti ketepatan maklumat dan kualiti gambar.

Pada peringkat awal pembangunan perniagaan, gambar paparan produk yang berkaitan di rak disemak secara manual untuk memastikan kualiti dan ketepatan gambar tersebut terutamanya merangkumi aspek berikut:

• Paparkan gambar Sama ada ia konsisten dengan produk sebenar untuk mengelakkan "barangan tiada di papan"
• Sama ada foto gambar paparan jelas, ralat fokus kamera mungkin sekali-sekala; berlaku semasa penggambaran gambar produk dalam operasi yang diperkemas;
• Produk elektronik seperti telefon bimbit dan tablet perlu bebas daripada kotoran dan mempunyai label kalis gangguan yang dilekatkan pada bahagian utama; untuk memaparkan imej produk dalam apl, imej produk mesti dipangkas dengan sewajarnya supaya produk berada dalam apl Berpusat pada gambar.
• Dengan perkembangan perniagaan, semakin banyak produk diletakkan di rak setiap hari, dan semakan manual secara beransur-ansur telah mendedahkan beberapa masalah dalam kecekapan dan ketepatan semakan:

kerja semakan membosankan , terdedah kepada keletihan dan kebarangkalian ralat dalam semakan manual adalah tinggi

• Pertimbangan kejelasan gambar adalah subjektif, dan sukar untuk menyelaraskan piawaian semakan antara pengulas yang berbeza;
Jumlah pemprosesan semakan manual secara beransur-ansur Ia ketinggalan berbanding bilangan produk di rak, mewujudkan kesesakan untuk pengeluaran produk di kedai.
• Untuk kerja berulang dalam kandungan audit, kami menggunakan klasifikasi, regresi, pengesanan dan teknologi lain yang berkaitan dengan medan imej dan menggunakan output model algoritma untuk membantu pertimbangan manual, sambil meningkatkan ketepatan audit keputusan Pada masa yang sama, kecekapan proses semakan telah bertambah baik.

2. Pelan semakan automatik

Kandungan yang perlu disemak termasuk perkara berikut:

Sama ada gambar paparan produk konsisten dengan maklumat SKU yang sepadan .

Sama ada fotografi produk jelas.
• Sama ada produk mempunyai label anti-gangguan yang dilampirkan.
• Sama ada produk itu kotor.
• Sama ada produk berada di tengah-tengah imej.
• Memandangkan keperluan untuk semakan, kami telah mereka bentuk penyelesaian berikut:

Penyelesaian projek yang memerlukan semakan Sama ada gambar paparan produk dan SKU yang sepadan adalah konsisten Sama ada imej sepadan dengan foto produk Pelan pemulangan yang jelas Sama ada produk mempunyai label anti-gangguan Pelan pengesanan Sama ada produk itu kotor Pelan pengesanan Sama ada produk berada di kawasan tengah imej Pelan pengesanan

Angka berikut memberikan gambarajah skema item ulasan utama untuk semakan penyenaraian produk B2C:

Auditi gambar sampel

2.1 dan maklumat sku yang sepadan adalah konsisten

Semua barangan yang dijual di pusat membeli-belah perlu disemak Produk sebenar difoto dan dipamerkan, tetapi semasa proses meletakkan produk di rak di pusat membeli-belah, disebabkan oleh kesilapan manual dan situasi lain, mungkin terdapat ketidakpadanan antara gambar paparan produk dan maklumat SKU yang sepadan. Untuk memberikan contoh mudah, maklumat SKU produk adalah iphone11-merah, tetapi gambar paparan adalah iphoneX-hijau. Masalah ini boleh sepadan dengan masalah klasifikasi imej, yang bersamaan dengan menentukan kategori produk berdasarkan maklumat imej. Walau bagaimanapun, hanya menggunakan algoritma pengelasan tidak dapat menyelesaikan masalah kami dengan baik.

Disebabkan kategori tetap, sku yang baru ditambah tidak boleh diproses.

Disebabkan masalah kaedah pengelasan di atas, kami menukar strategi dan menggunakan penyelesaian padanan imej. Dengan melatih pengekstrak ciri yang lebih baik dan kemudian menggunakan skema padanan imej, kami boleh menyelesaikan masalah menambah kategori baharu dengan lebih baik. Penyelesaian yang kami pilih pada asasnya konsisten dengan penyelesaian akademik dalam Pengecaman Wajah, Pengecaman Semula Orang, Pengambilan Imej dan arah lain Proses utama termasuk pengekstrakan ciri imej, pengiraan persamaan imej, pengisihan dan hasil keluaran. Antaranya, pengekstrakan ciri imej adalah fokus penyelidikan kami Ciri pemadanan imej tradisional termasuk ciri SIFT, SURF, ORB, dll. Pengekstrakan ciri imej berdasarkan pembelajaran mendalam terutamanya menggunakan rangkaian saraf CNN untuk pengekstrakan ciri. Gambar di bawah menunjukkan rancangan kami:

Pelan semakan suk komoditi

Fasa latihan: Fasa latihan terutamanya menggunakan kehilangan entropi silang digabungkan dengan kehilangan tiga kali ganda untuk melatih rangkaian klasifikasi Rangkaian tulang belakang telah mencuba MobileNet, ResNet, ShuffleNet, OSNet, dll. Keputusan percubaan kami menunjukkan bahawa ketepatan model ResNet lebih tinggi sedikit, jadi ResNet dipilih sebagai rangkaian tulang belakang kami.

Tiga contoh

Formula 1 memberikan fungsi kehilangan rentas-entropi binari, di mana mewakili output nilai sampel dan mewakili label yang sepadan dengan sampel. Formula 2 memberikan fungsi kehilangan tiga kali ganda, yang mewakili vektor ciri yang sepadan dengan sampel sauh, mewakili vektor ciri yang sepadan dengan sampel kategori yang sama dengan sampel sauh, dan mewakili vektor ciri yang sepadan dengan sampel kategori yang berbeza daripada sampel sauh. Dalam ruang ciri, jarak antara sampel negatif dan sampel titik anchor tolak jarak antara sampel positif dan titik anchor hendaklah lebih besar daripada.

Fungsi kehilangan entropi silang ialah fungsi kehilangan pengelasan biasa, dan fungsi kehilangan tiga kali ganda ialah fungsi kehilangan yang biasa digunakan dalam pengecaman muka dan pengecaman semula pejalan kaki. Fungsi kehilangan tiga kali ganda boleh membuat ciri muncul dalam kelompok dalam ruang ciri Manfaatnya ialah ciri yang lebih mantap boleh diperolehi. Jika fungsi kehilangan tiga kali ganda digunakan secara bersendirian, model menumpu secara perlahan, jadi kami menggunakan kehilangan entropi silang dan kehilangan tiga kali ganda untuk pembelajaran diselia bersama untuk mempercepatkan penumpuan model dan meningkatkan ketepatan model.

Fasa ujian: Dalam fasa ujian, tulang belakang terlatih dipilih sebagai pengekstrak ciri untuk mengekstrak ciri pembenaman. Ekstrak ciri imej pertanyaan dan kira persamaan kosinus dengan ciri dalam pustaka galeri untuk mendapatkan senarai diisih persamaan, dan kemudian pilih kategori yang sepadan dengan imej teratas1 dalam senarai diisih sebagai output kategori imej pertanyaan. Tetapi semasa kami membina galeri, satu SKU menyimpan tiga imej, sepadan dengan adegan penangkapan yang berbeza, jadi kami melakukan knn pada output top5 dan memperoleh SKU yang sepadan dengan imej pertanyaan.

Operasi dalam talian: Untuk memastikan bahawa output SKU oleh algoritma pemadanan mestilah tepat, kami mengeluarkan persamaan teratas dalam senarai yang diisih Apabila persamaan kurang daripada ambang nilai tertentu, mesej penggera akan menjadi output untuk semakan manual. Strategi ini memastikan ketepatan output maklumat SKU oleh algoritma.

2.2. Adakah produk yang difoto jelas

Semasa proses mengambil gambar produk, produk bergerak atau fokus tidak betul, menyebabkan produk difoto kabur. Untuk memberikan pengguna pengalaman membeli-belah yang lebih baik, kami akan memulangkan produk ini semasa proses semakan dan mengambil semula gambar produk yang memenuhi keperluan sebelum ia boleh diletakkan di rak. Sekadar memberi tumpuan sama ada imej itu jelas atau tidak boleh difahami sebagai masalah klasifikasi imej. Memandangkan pelabelan sama ada imej kabur adalah subjektif, dan klasifikasi binari tidak dapat menggambarkan kekaburan imej dengan baik, dalam proses semakan sebenar, penyemak barisan hadapan sering memberikan hasil pertimbangan yang berbeza untuk imej yang sedikit kabur Keadaan sedemikian sangat mempengaruhi ketekalan keputusan semakan, menghasilkan kesan paparan produk yang baik atau buruk di pusat membeli-belah.

Untuk menyelesaikan masalah di atas, kami membahagikan kekaburan imej kepada tiga tahap Dari tinggi ke rendah, kekaburan jelas kabur, sedikit kabur dan jelas. Dan berikan mata yang sepadan, iaitu 2, 1, dan 0 mata masing-masing. Berbilang orang menilai imej yang sama, dan mengalih keluar imej yang kedua-duanya jelas kabur dan jelas pada masa yang sama. Imej yang selebihnya dinormalkan secara berangka untuk mendapatkan skor kabur imej. Sudah tentu, kita boleh membahagikan tahap kabur kepada empat kategori, seperti kabur jelas, kabur sedikit, kabur halus dan jelas, dan biarkan lebih banyak anotasi menandakan gambar yang sama, supaya kita boleh mendapatkan nilai label yang lebih terperinci, yang juga boleh membawa hasil ramalan yang lebih baik. Walau bagaimanapun, memandangkan sumber yang terhad, kami hanya membahagikan kekaburan itu kepada tiga tahap dan meminta tiga pelajar untuk menjelaskannya. Daripada ini, kami mengubah masalah klasifikasi binari kepada masalah regresi, dan boleh mengasingkan piawaian perniagaan dengan baik. Jadual di bawah menunjukkan cara kita menukar tugas klasifikasi kepada tugas regresi.

Nama gambar Skor Rakan Sekelas 1 Skor Rakan Sekelas 2 Skor Rakan Sekelas 3 Jumlah markah (0-6) Skor ternormal Gambar 1 jelas kabur sedikit kabur jelas kabur 55/6=0.83 Gambar 2 kabur sedikit kabur sedikit Kabur jelas 44/6=0.67 Gambar 3 jelas kabur sedikit jelas 10.17.............

Sama, Kami masih menggunakan rangkaian neural konvolusi , dan kemudian menukar fungsi kehilangan klasifikasi kepada fungsi kehilangan regresi Kami memilih MSE sebagai fungsi kehilangan untuk tugas regresi, yang mewakili nilai ramalan sampel dan mewakili label sampel.

Nilai output model mewakili tahap kabur imej Apabila kita menukar tugas klasifikasi binari kepada tugas regresi, ia boleh membawa banyak faedah. Yang pertama ialah penyahgandingan pembangunan algoritma dan perniagaan, supaya model algoritma tidak akan terbatal disebabkan oleh perubahan dalam piawaian perniagaan pada masa yang sama, pihak perniagaan boleh menetapkan ambang kekaburan yang berbeza mengikut keperluan perniagaan untuk mengawal kejelasan; imej pusat membeli-belah.

2.3 Sama ada produk mempunyai label anti-gangguan, sama ada ia kotor, dan sama ada ia berada di kawasan tengah

Kami menggunakan penyelesaian pengesanan untuk menangani sama ada produk itu mempunyai label anti-gangguan , sama ada ia kotor, dan sama ada di kawasan tengah. Di antara ketiga-tiga item ini, pengesanan label dan item anti-tamper adalah agak mudah. Dalam pengesanan label anti-tamper, ciri-ciri label anti-tamper adalah tunggal, jadi agak mudah untuk melatih model dengan ketepatan pengesanan yang tinggi sama ada produk dipusatkan semasa pengesanan, item adalah besar, dan data adalah mudah untuk mengumpul, ia juga mungkin untuk melatih produk dengan ketepatan yang sangat tinggi.

Pengesan kotoran lebih sukar kerana beberapa sasaran kotoran adalah kecil dan sampel tidak mudah diperolehi. Untuk menangani masalah ini, kami memilih strategi pembelajaran aktif semasa proses pengumpulan data untuk mencari sampel yang lebih positif (sampel positif dalam tugas pengesanan merujuk kepada kelas sampel yang perlu kami kesan). Kaedah ini juga sangat mudah. ​​Kami menggunakan kumpulan data untuk melatih model pengesanan pada peringkat awal, dan kemudian menggunakan model untuk memilih sampel positif yang mencurigakan daripada kumpulan besar data tidak berlabel dengan keyakinan yang sangat rendah, dan kemudian biarkan kumpulan itu. data dilabel secara manual Kemudian model latihan dikemas kini dengan data baharu, iaitu kitaran. Kita boleh mengulangi langkah ini beberapa kali dan akhirnya mendapat model pengesanan yang setanding dengan pengesanan manual.

2.4. Strategi aplikasi algoritma

Untuk pengelasan biasa, pengesanan dan tugas lain dalam penglihatan komputer, kami tidak dapat menjamin bahawa penarikan balik dan ketepatan model mencapai 100% penunjuk pada masa yang sama, jadi dalam amalan sebenar Semasa proses permohonan, adalah perlu untuk mempertimbangkan sama ada model harus dipilih dalam keadaan berketepatan tinggi atau tinggi ingatan berdasarkan perniagaan sebenar. Rajah di bawah menunjukkan graf lengkung hubungan antara kadar ingatan dan ketepatan (gambar berasal daripada buku oleh Cikgu Zhou Zhihua)

Graf lengkung PR

Untuk perniagaan semakan kami, kami menggunakan strategi ingatan tinggi, yang bermaksud untuk memastikan model boleh mencari sebanyak mungkin imej produk yang tidak memenuhi keperluan Kosnya ialah ketepatan akan dikurangkan dengan sewajarnya. Selepas kami menarik balik produk dengan isu fotografi, kami akan campur tangan dan menyemaknya secara manual, jadi contoh yang tersilap ingat tidak akan memberi kesan kepada perniagaan kami.

Dengan bantuan algoritma, beban kerja pelajar yang sedang menyemak item telah dikurangkan sebanyak 50%. Antara imej produk yang telah diproses oleh algoritma, 50% daripada produk melepasi algoritma dan boleh terus diletakkan pada aplikasi pusat membeli-belah Baki produk yang disyaki bermasalah akan dikenal pasti oleh algoritma dan kemudian disemak secara manual.

3. Ringkasan

Dalam bahagian pertama, kami memperkenalkan latar belakang semakan produk, mengapa kami perlu menyemak dan kandungan semakan, dan juga menganalisis beberapa masalah yang dihadapi oleh semakan manual dalam perniagaan semasa diberikan faedah yang dibawa oleh perniagaan yang diperkasakan.

Dalam Bahagian 2, kami memperkenalkan modul algoritma secara terperinci. Bergantung pada item yang disenaraikan untuk semakan, kami telah menggunakan tiga kaedah untuk menyelesaikan tiga tugasan yang berbeza. Ia juga memperkenalkan penyelesaian kadar ingatan yang tinggi dan mengorbankan ketepatan ramalan untuk pelaksanaan algoritma, serta kebolehlaksanaan penyelesaian ini Akhirnya, keputusan yang dicapai oleh algoritma diberikan.

Atas ialah kandungan terperinci Algoritma imej membantu meningkatkan kecekapan dan memindahkan semakan produk. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!