Apakah prinsip interaksi antara tensor multidimensi dan lapisan linear?

Lapisan linear ialah salah satu lapisan yang paling biasa digunakan dalam pembelajaran mendalam dan memainkan peranan penting dalam rangkaian saraf. Ia digunakan secara meluas dalam tugas seperti klasifikasi imej, pengesanan objek dan pengecaman pertuturan. Artikel ini akan menumpukan pada peranan lapisan linear pada tensor berbilang dimensi.

Pertama, mari kita semak prinsip asas lapisan linear. Untuk tensor input x, formula pengiraan lapisan linear adalah seperti berikut:

y=Wx+b

di mana, W dan b ialah parameter bagi lapisan linear masing-masing, dan bentuk W ialah (n_out, n_in), b Bentuknya ialah (n_out,). n_in mewakili saiz tensor input, dan n_out mewakili saiz tensor output. Andaikan bahawa tensor input ialah tensor satu dimensi x∈R^n_in, dan tensor output juga ialah tensor satu dimensi y∈R^n_out. Dalam lapisan linear, tensor input diubah secara linear oleh matriks berat W, ditambah vektor pincang b, untuk mendapatkan tensor keluaran y. Penjelmaan linear ini boleh dinyatakan sebagai y = Wx + b. Antaranya, setiap baris W mewakili vektor berat neuron keluaran lapisan linear, dan setiap elemen b mewakili nilai pincang neuron keluaran yang sepadan. Setiap elemen tensor keluaran akhir y diperoleh dengan melakukan hasil darab titik antara vektor berat neuron keluaran yang sepadan dan tensor input, ditambah dengan nilai offset yang sepadan.

Sekarang, katakan kita mempunyai tensor berbilang dimensi X dengan bentuk (n_1,n_2,…,n_k). Kita perlu menghantarnya ke lapisan linear untuk menghasilkan tensor keluaran Y dengan bentuk (m_1,m_2,…,m_l). Pada masa ini, apa yang perlu kita lakukan?

Pertama, kita perlu meratakan X menjadi tensor satu dimensi. Proses ini sering dipanggil operasi "meratakan" dan boleh dilaksanakan menggunakan fungsi pandangan dalam PyTorch. Secara khusus, kita boleh menukar bentuk X kepada (n_1kali n_2kali...kali n_k,), iaitu, susun elemen semua dimensi dalam satu lajur. Dengan cara ini, kita mendapat tensor satu dimensi x, yang saiznya ialah n_{in}=n_1kali n_2kali...kali n_k.

Seterusnya, kita boleh melepasi x ke lapisan linear dan mendapatkan tensor keluaran y. Secara khusus, kita boleh menggunakan formula pengiraan lapisan linear:

y=Wx+b

Di sini, bentuk W ialah (m_{keluar},n_{in}), dan bentuk b ialah (m_{ out},), m_{out} mewakili saiz tensor keluaran. Hasil pendaraban Wx ialah tensor satu dimensi dengan bentuk (m_{out},).

Akhir sekali, kita perlu menukar y kembali kepada bentuk tensor berbilang dimensi. Secara khusus, kita boleh menggunakan fungsi pandangan dalam PyTorch untuk menukar bentuk y kepada (m_1, m_2,...,m_l). Dengan cara ini, kita mendapat tensor keluaran akhir Y.

Perlu diingatkan bahawa apabila meratakan tensor berbilang dimensi menjadi tensor satu dimensi, kita perlu memastikan bahawa susunan elemen dalam tensor kekal tidak berubah. Sebagai contoh, katakan kita mempunyai tensor dua dimensi X bentuk (2,3):

Jika kita menggunakan view(-1) untuk melaksanakan, hasilnya ialah:

x=[1,2,3,4,5,6]

Di sini, kita akan (1,2) dan ( 4,5) Unsur-unsur dalam dua baris ini disusun bersama, menyebabkan susunannya berubah. Oleh itu, operasi yang betul hendaklah menggunakan view(-1) untuk meratakan tensor, dan kemudian gunakan view(1,-1) untuk menukarnya kembali kepada bentuk asalnya:

x=begin{bmatrix}1&2&3&4&5&6end{ bmatrix }

Perlu diingatkan bahawa peranan lapisan linear pada tensor pelbagai dimensi boleh dilihat sebagai transformasi linear bebas untuk setiap sampel. Sebagai contoh, katakan kita mempunyai tensor empat dimensi X dengan bentuk (N, C, H, W), di mana N mewakili bilangan sampel, C mewakili bilangan saluran, dan H dan W mewakili ketinggian dan lebar masing-masing. Kita boleh kembangkan Lapisan linear melakukan transformasi linear bebas pada setiap sampel untuk mendapatkan tensor keluaran Y dengan bentuk (N, m_{out}). Akhir sekali, kita boleh memulihkan Y kepada bentuk asalnya (N,m_1,m_2,…,m_l) di sepanjang dimensi pertama.

Ringkasnya, peranan lapisan linear pada tensor pelbagai dimensi boleh dilihat sebagai transformasi linear bebas untuk setiap sampel. Dalam aplikasi praktikal, kami biasanya meratakan tensor berbilang dimensi menjadi tensor satu dimensi dan menghantarnya ke lapisan linear. Operasi merata perlu memastikan susunan elemen kekal tidak berubah, jika tidak, ia akan membawa kepada hasil pengiraan yang salah. Akhir sekali, kita perlu memulihkan tensor keluaran kepada bentuk asalnya untuk langkah pengiraan seterusnya.

Atas ialah kandungan terperinci Apakah prinsip interaksi antara tensor multidimensi dan lapisan linear?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!