Model dan algoritma berdasarkan pengekodan jarang

Perwakilan jarang ialah kaedah untuk perwakilan data dan pengurangan dimensi, dan digunakan secara meluas dalam bidang seperti penglihatan komputer, pemprosesan bahasa semula jadi dan pemprosesan isyarat. Artikel ini akan memperkenalkan model dan algoritma berdasarkan perwakilan jarang, termasuk pengekodan jarang, pembelajaran kamus dan pengekod auto jarang. Melalui perwakilan yang jarang, kami boleh menangkap ciri penting dalam data dengan berkesan dan mencapai pemprosesan dan analisis data yang cekap. Prinsip perwakilan jarang adalah untuk mencapai pemampatan data dan pengurangan dimensi dengan meminimumkan pekali perwakilan jarang data. Pengekodan jarang dan pembelajaran kamus adalah kaedah yang biasa digunakan dalam perwakilan jarang. Pengekodan jarang boleh

1. pekali. Katakan terdapat set vektor x, dan kita ingin mewakili x dengan gabungan linear set vektor asas D, iaitu, x=Dz, dengan z ialah vektor pekali. Untuk menjadikan z jarang mungkin, kita boleh memperkenalkan istilah regularisasi L1, yang meminimumkan norma L1 bagi z. Masalah pengoptimuman ini boleh dinyatakan dalam bentuk berikut:

min||x-Dz||^2+λ||z||_1

Masalah ini boleh diselesaikan menggunakan kaedah penyelesaian berulang seperti keturunan koordinat atau kaedah Penurunan kecerunan, di mana ||.|| mewakili norma vektor dan λ ialah parameter regularisasi.

2. Pembelajaran kamus

Pembelajaran kamus ialah kaedah pembelajaran tanpa pengawasan yang bertujuan untuk mewakili data dengan mempelajari set vektor asas. Berbeza dengan pengekodan jarang, pembelajaran kamus bukan sahaja memerlukan vektor pekali z menjadi jarang, tetapi juga memerlukan kamus D itu sendiri mempunyai sparsity tertentu. Masalah pembelajaran kamus boleh dinyatakan sebagai masalah pengoptimuman berikut:

min||X-DZ||^2+λ||Z||_1+γ||D||_1

di mana X ialah Matriks data, Z ialah matriks pekali, λ dan γ ialah parameter regularisasi. Masalah ini boleh diselesaikan menggunakan kaedah pengganda arah selang seli, iaitu mengemas kini kamus D dan matriks pekali Z secara berselang-seli. Antaranya, algoritma K-SVD boleh digunakan untuk mengemas kini kamus D, yang mengoptimumkan kamus D dengan mengemas kini secara berulang setiap vektor asas sambil mengekalkan kezaliman matriks pekali Z.

3. Pengekod Auto Jarang

Pengekod automatik Jarang ialah kaedah berasaskan rangkaian saraf yang menggunakan pengekod auto untuk mempelajari perwakilan data yang jarang. Pengekod automatik terdiri daripada pengekod dan penyahkod, di mana pengekod memetakan data input x kepada vektor tersembunyi h, dan penyahkod memetakan vektor tersembunyi h kembali kepada data yang dibina semula x'. Pengekod auto jarang menambah kekangan jarang pada pengekod, iaitu, meminimumkan norma L1 bagi vektor tersembunyi h, dengan itu menyebabkan vektor tersembunyi h menjadi jarang. Khususnya, masalah pengoptimuman autoenkoder jarang boleh dinyatakan sebagai:

min||x-x'||^2+λ||h||_1

di mana x' ialah data yang dibina semula, λ ialah parameter regularisasi. Masalah ini boleh diselesaikan menggunakan algoritma backpropagation, di mana apabila menambah kekangan sparsity dalam pengekod, ia boleh dicapai dengan menambah tempoh penalti jarang.

Atas ialah kandungan terperinci Model dan algoritma berdasarkan pengekodan jarang. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!