cari
RumahPeranti teknologiAIGambaran keseluruhan prinsip teknologi Transformer

Gambaran keseluruhan prinsip teknologi Transformer

1. Kata Pengantar

Baru-baru ini, AIGC (Kandungan Dijana AI, kandungan terjana kecerdasan buatan) telah berkembang pesat Ia bukan sahaja dicari oleh pengguna, tetapi juga menarik perhatian daripada kalangan teknologi dan industri. Pada 23 September 2022, Sequoia America menerbitkan artikel "Generative AI: A Creative New World", percaya bahawa AIGC akan mewakili permulaan pusingan baharu anjakan paradigma. Pada Oktober 2022, Stability AI mengeluarkan model sumber terbuka Stable Diffusion, yang boleh menjana imej secara automatik berdasarkan perihalan teks (dipanggil gesaan) yang dimasukkan oleh pengguna, iaitu Text-to-Image Diffusion, DALL-E 2 , Midjourney, Wenxin Yige dan model AIGC lain yang boleh menghasilkan gambar telah meledakkan bidang lukisan AI telah menjadi popular, menandakan penembusan kecerdasan buatan ke dalam bidang seni. Gambar di bawah menunjukkan karya bertema "Future Mecha" yang dicipta oleh platform "Wenxin Yige" Baidu.


Gambaran keseluruhan prinsip teknologi Transformer

Rajah 1 AI yang dicipta oleh Lukisan platform “Wenxin Yige” Baidu

Perkembangan pesat bidang AIGC tidak dapat dipisahkan daripada kemajuan rangkaian neural dalam. Khususnya, kemunculan model Transform memberikan rangkaian neural keupayaan pengkomputeran global yang lebih berkuasa, mengurangkan masa yang dihabiskan untuk latihan rangkaian dan meningkatkan prestasi model rangkaian. Model domain AIGC semasa yang berprestasi agak baik termasuk teknologi Perhatian dan Transformasi dalam seni bina teknikal asasnya.

2. Sejarah Perkembangan

2.1 Rangkaian Neural Dalam

Perkembangan teknologi maklumat yang diwakili oleh rangkaian neural dalam telah menggalakkan kemajuan dan pengembangan bidang kecerdasan buatan. Pada tahun 2006, Hinton et al menggunakan pra-latihan pengekodan RBM satu lapisan untuk merealisasikan latihan rangkaian saraf yang mendalam pada tahun 2012, model rangkaian saraf AlexNet yang direka oleh Hinton dan Alex Krizhevsky mencapai pengiktirafan dan pengelasan imej dalam pertandingan ImageNet; pusingan Titik permulaan untuk pembangunan kecerdasan buatan. Rangkaian saraf dalam yang popular pada masa ini dimodelkan pada konsep yang dicadangkan oleh rangkaian saraf biologi. Dalam rangkaian saraf biologi, neuron biologi menghantar maklumat yang diterima lapisan demi lapisan, dan maklumat daripada berbilang neuron diagregatkan untuk mendapatkan hasil akhir. Model matematik yang dibina menggunakan unit saraf logik yang direka secara analog dengan unit saraf biologi dipanggil rangkaian saraf tiruan. Dalam rangkaian saraf tiruan, unit saraf logik digunakan untuk meneroka hubungan tersembunyi antara data input dan data keluaran Apabila jumlah data adalah kecil, rangkaian saraf cetek boleh memenuhi keperluan beberapa tugas meningkat, Rangkaian neural yang mendalam dan meluas mula menunjukkan kelebihan unik mereka.

2.2 Mekanisme Perhatian

Mekanisme Perhatian telah dicadangkan oleh pasukan Bengio pada tahun 2014 dan telah digunakan secara meluas secara mendalam dalam pelbagai bidang dalam pembelajaran, seperti dalam penglihatan komputer untuk menangkap medan penerimaan pada imej, atau dalam NLP untuk mencari token atau ciri utama. Sebilangan besar eksperimen telah membuktikan bahawa model dengan mekanisme perhatian telah mencapai peningkatan yang ketara dalam pengelasan imej, pembahagian, penjejakan, peningkatan dan pengecaman bahasa semula jadi, pemahaman, menjawab soalan dan terjemahan.

Mekanisme perhatian dimodelkan selepas mekanisme perhatian visual. Mekanisme perhatian visual adalah keupayaan semula jadi otak manusia. Apabila kita melihat gambar, kita mula-mula cepat mengimbas gambar dan kemudian fokus pada kawasan sasaran yang perlu difokuskan. Sebagai contoh, apabila kita melihat gambar-gambar berikut, perhatian kita mudah tertumpu pada wajah bayi, tajuk artikel, dan ayat pertama artikel. Cuba bayangkan, jika setiap maklumat tempatan tidak dilepaskan, pastinya ia akan memakan banyak tenaga, yang tidak kondusif untuk kelangsungan dan evolusi manusia. Begitu juga, memperkenalkan mekanisme serupa ke dalam rangkaian pembelajaran mendalam boleh memudahkan model dan mempercepatkan pengiraan. Secara asasnya difahami, Perhatian adalah untuk menapis sejumlah kecil maklumat penting daripada sejumlah besar maklumat, dan menumpukan pada maklumat penting ini, sambil mengabaikan kebanyakan maklumat yang tidak penting.


Gambaran keseluruhan prinsip teknologi Transformer

Rajah 2 Diagram skematik mekanisme perhatian manusia

3. Butiran teknikal

Model Transformer pintar meninggalkan unit CNN dan RNN tradisional, dan keseluruhan struktur rangkaian sepenuhnya terdiri daripada mekanisme perhatian. Dalam bab ini, kami mula-mula akan memperkenalkan proses keseluruhan model Transformer, dan kemudian memperkenalkan secara terperinci maklumat pengekodan kedudukan dan pengiraan Perhatian Kendiri yang terlibat.

3.1 Gambaran Keseluruhan Proses


Gambaran keseluruhan prinsip teknologi Transformer

Rajah 3 Carta alir mekanisme perhatian

Seperti yang ditunjukkan dalam rajah di atas, Transformer terdiri daripada dua bahagian: Modul Pengekod dan Modul Penyahkod dan Penyahkod mengandungi N blok. Mengambil tugas terjemahan sebagai contoh, aliran kerja Transformer adalah secara kasar seperti berikut:

Langkah 1: Dapatkan vektor perwakilan X bagi setiap perkataan ayat input X diperoleh dengan menambah Pembenaman perkataan itu sendiri dan Pembenaman kedudukan perkataan.

Langkah 2: Hantar matriks vektor perwakilan perkataan yang diperoleh ke dalam modul Pengekod Modul Pengekod menggunakan kaedah Perhatian untuk mengira data input. Selepas modul N Encoder, matriks maklumat pengekodan semua perkataan dalam ayat boleh diperolehi Dimensi matriks output oleh setiap modul Pengekod adalah betul-betul sama dengan input.

Langkah 3: Hantar output matriks maklumat pengekodan oleh modul Pengekod kepada modul Penyahkod, dan Penyahkod akan menterjemah perkataan i+1 seterusnya berdasarkan perkataan yang sedang diterjemahkan i. Seperti struktur Pengekod, struktur Penyahkod juga menggunakan kaedah Perhatian untuk pengiraan. Semasa penggunaan, apabila menterjemah kepada perkataan i+1, anda perlu menggunakan operasi Topeng untuk menutup perkataan selepas i+1.

3.2 Pengiraan Perhatian Kendiri

Inti model Transform ialah pengiraan perhatian, yang boleh dinyatakan dengan formula sebagai

Gambaran keseluruhan prinsip teknologi Transformer

Antaranya, Q, K, V masing-masing mewakili Query, Key, dan Value ini diambil daripada sistem pencarian maklumat contoh carian. Apabila anda mencari produk pada platform e-dagang, kandungan yang anda masukkan pada enjin carian ialah Pertanyaan, dan kemudian enjin carian sepadan dengan Kunci untuk anda berdasarkan Pertanyaan (seperti jenis, warna, penerangan, dsb. ) produk, dan kemudian berdasarkan Pertanyaan dan Persamaan Kunci mendapat kandungan yang sepadan (Nilai).

Q, K, V dalam perhatian kendiri juga memainkan peranan yang sama Dalam pengiraan matriks, hasil darab adalah salah satu kaedah untuk mengira kesamaan dua matriks, jadi matriks Q digunakan dalam. formula di atas Darab transpos matriks K untuk mengira persamaan. Untuk mengelakkan produk dalam daripada terlalu besar, ia perlu dibahagikan dengan punca kuasa dua d, dan akhirnya fungsi pengaktifan softmax digunakan pada hasilnya.

3.3 Pengekodan kedudukan

Selain Pembenaman perkataan itu sendiri, Transformer juga perlu menggunakan kedudukan Embedding untuk mewakili kedudukan di mana perkataan itu muncul dalam ayat. Oleh kerana Transformer tidak menggunakan struktur RNN, tetapi menggunakan maklumat global, ia tidak boleh menggunakan maklumat susunan perkataan, dan bahagian maklumat ini sangat penting untuk NLP atau CV. Oleh itu, position Embedding digunakan dalam Transformer untuk menyimpan kedudukan relatif atau mutlak perkataan dalam jujukan.

Pembenaman Kedudukan diwakili oleh PE, dan dimensi PE adalah sama dengan perkataan Pembenaman. PE boleh diperolehi melalui latihan atau dikira menggunakan formula tertentu. Yang terakhir digunakan dalam Transformer, dan formula pengiraannya adalah seperti berikut:

Gambaran keseluruhan prinsip teknologi Transformer

Antaranya, pos mewakili kedudukan perkataan dalam ayat, d mewakili dimensi PE, Saiznya sama dengan Pembenaman perkataan itu sendiri, 2i mewakili nombor genap dimensi, dan 2i+1 mewakili bilangan dimensi ganjil.

4. Ringkasan

Fokus Transformer ialah struktur Perhatian Kendiri Melalui struktur Perhatian berbilang dimensi, rangkaian boleh menangkap hubungan tersembunyi antara perkataan dalam pelbagai dimensi Walau bagaimanapun, Transformer sendiri tidak boleh menggunakan maklumat susunan perkataan, jadi ia perlu yang akan ditambahkan pada input Pembenaman Kedudukan digunakan untuk menyimpan maklumat kedudukan perkataan. Berbanding dengan rangkaian neural berulang, rangkaian Transformer boleh dilatih secara selari dengan lebih baik Berbanding dengan rangkaian neural convolutional, bilangan operasi yang diperlukan oleh rangkaian Transformer untuk mengira perkaitan antara dua kedudukan tidak meningkat dengan jarak, yang boleh pecah. melalui rangkaian neural convolutional Jarak yang dikira adalah terhad kepada saiz medan penerimaan. Pada masa yang sama, rangkaian Transformer boleh menghasilkan lebih banyak model yang boleh ditafsir. Kita boleh memeriksa pengagihan perhatian daripada model, dan setiap ketua perhatian boleh belajar untuk melaksanakan tugas yang berbeza.

Atas ialah kandungan terperinci Gambaran keseluruhan prinsip teknologi Transformer. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan
Artikel ini dikembalikan pada:51CTO.COM. Jika ada pelanggaran, sila hubungi admin@php.cn Padam
Jurang kemahiran AI memperlahankan rantaian bekalanJurang kemahiran AI memperlahankan rantaian bekalanApr 26, 2025 am 11:13 AM

Istilah "tenaga kerja siap sedia" sering digunakan, tetapi apakah maksudnya dalam industri rantaian bekalan? Menurut Abe Eshkenazi, Ketua Pegawai Eksekutif Persatuan Pengurusan Rantaian Bekalan (ASCM), ia menandakan profesional yang mampu mengkritik

Bagaimana satu syarikat secara senyap -senyap bekerja untuk mengubah AI selama -lamanyaBagaimana satu syarikat secara senyap -senyap bekerja untuk mengubah AI selama -lamanyaApr 26, 2025 am 11:12 AM

Revolusi AI yang terdesentralisasi secara senyap -senyap mendapat momentum. Jumaat ini di Austin, Texas, Sidang Kemuncak Endgame Bittensor menandakan momen penting, beralih ke desentralisasi AI (DEAI) dari teori kepada aplikasi praktikal. Tidak seperti iklan mewah

NVIDIA Melepaskan Microservices Nemo Untuk Menyebarkan Pembangunan Agen AINVIDIA Melepaskan Microservices Nemo Untuk Menyebarkan Pembangunan Agen AIApr 26, 2025 am 11:11 AM

Perusahaan AI menghadapi cabaran integrasi data Penggunaan perusahaan AI menghadapi cabaran utama: sistem bangunan yang dapat mengekalkan ketepatan dan kepraktisan dengan terus belajar data perniagaan. Microservices NEMO menyelesaikan masalah ini dengan mewujudkan apa yang NVIDIA menggambarkan sebagai "Flywheel Data", yang membolehkan sistem AI tetap relevan melalui pendedahan berterusan kepada maklumat perusahaan dan interaksi pengguna. Toolkit yang baru dilancarkan ini mengandungi lima microservices utama: Nemo Customizer mengendalikan penalaan model bahasa yang besar dengan latihan yang lebih tinggi. NEMO Evaluator menyediakan penilaian ringkas model AI untuk tanda aras tersuai. Nemo Guardrails Melaksanakan Kawalan Keselamatan untuk mengekalkan pematuhan dan kesesuaian

AI melukis gambar baru untuk masa depan seni dan reka bentukAI melukis gambar baru untuk masa depan seni dan reka bentukApr 26, 2025 am 11:10 AM

AI: Masa Depan Seni dan Reka Bentuk Kecerdasan Buatan (AI) mengubah bidang seni dan reka bentuk dengan cara yang belum pernah terjadi sebelumnya, dan impaknya tidak lagi terhad kepada amatur, tetapi lebih mempengaruhi profesional. Skim karya seni dan reka bentuk yang dihasilkan oleh AI dengan cepat menggantikan imej dan pereka bahan tradisional dalam banyak aktiviti reka bentuk transaksional seperti pengiklanan, generasi imej media sosial dan reka bentuk web. Walau bagaimanapun, artis dan pereka profesional juga mendapati nilai praktikal AI. Mereka menggunakan AI sebagai alat tambahan untuk meneroka kemungkinan estetik baru, menggabungkan gaya yang berbeza, dan membuat kesan visual baru. AI membantu artis dan pereka mengautomasikan tugas berulang, mencadangkan elemen reka bentuk yang berbeza dan memberikan input kreatif. AI menyokong pemindahan gaya, iaitu menggunakan gaya gambar

Bagaimana Zoom merevolusikan kerja dengan Agentic AI: Dari mesyuarat ke tonggakBagaimana Zoom merevolusikan kerja dengan Agentic AI: Dari mesyuarat ke tonggakApr 26, 2025 am 11:09 AM

Zoom, yang pada mulanya dikenali untuk platform persidangan video, memimpin revolusi tempat kerja dengan penggunaan inovatif AIS AI. Perbualan baru -baru ini dengan CTO Zoom, XD Huang, mendedahkan penglihatan yang bercita -cita tinggi syarikat itu. Menentukan Agentic AI Huang d

Ancaman eksistensi ke universitiAncaman eksistensi ke universitiApr 26, 2025 am 11:08 AM

Adakah AI akan merevolusikan pendidikan? Soalan ini mendorong refleksi serius di kalangan pendidik dan pihak berkepentingan. Penyepaduan AI ke dalam pendidikan memberikan peluang dan cabaran. Sebagai Matthew Lynch dari Nota Edvocate Tech, Universit

Prototaip: saintis Amerika mencari pekerjaan di luar negaraPrototaip: saintis Amerika mencari pekerjaan di luar negaraApr 26, 2025 am 11:07 AM

Pembangunan penyelidikan dan teknologi saintifik di Amerika Syarikat mungkin menghadapi cabaran, mungkin disebabkan oleh pemotongan anggaran. Menurut Alam, bilangan saintis Amerika yang memohon pekerjaan di luar negara meningkat sebanyak 32% dari Januari hingga Mac 2025 berbanding dengan tempoh yang sama pada tahun 2024. Pungutan sebelumnya menunjukkan bahawa 75% penyelidik yang ditinjau sedang mempertimbangkan untuk mencari pekerjaan di Eropah dan Kanada. Beratus-ratus geran NIH dan NSF telah ditamatkan dalam beberapa bulan yang lalu, dengan geran baru NIH turun kira-kira $ 2.3 bilion tahun ini, setitik hampir satu pertiga. Cadangan belanjawan yang bocor menunjukkan bahawa pentadbiran Trump sedang mempertimbangkan untuk memotong belanjawan secara mendadak untuk institusi saintifik, dengan kemungkinan pengurangan sehingga 50%. Kegawatan dalam bidang penyelidikan asas juga telah menjejaskan salah satu kelebihan utama Amerika Syarikat: menarik bakat luar negara. 35

Semua Mengenai Keluarga GPT 4.1 Terbuka AI - Analytics VidhyaSemua Mengenai Keluarga GPT 4.1 Terbuka AI - Analytics VidhyaApr 26, 2025 am 10:19 AM

OpenAI melancarkan siri GPT-4.1 yang kuat: keluarga tiga model bahasa lanjutan yang direka untuk aplikasi dunia nyata. Lompat penting ini menawarkan masa tindak balas yang lebih cepat, pemahaman yang lebih baik, dan kos yang dikurangkan secara drastik berbanding t

See all articles

Alat AI Hot

Undresser.AI Undress

Undresser.AI Undress

Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover

AI Clothes Remover

Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool

Undress AI Tool

Gambar buka pakaian secara percuma

Clothoff.io

Clothoff.io

Penyingkiran pakaian AI

Video Face Swap

Video Face Swap

Tukar muka dalam mana-mana video dengan mudah menggunakan alat tukar muka AI percuma kami!

Alat panas

PhpStorm versi Mac

PhpStorm versi Mac

Alat pembangunan bersepadu PHP profesional terkini (2018.2.1).

mPDF

mPDF

mPDF ialah perpustakaan PHP yang boleh menjana fail PDF daripada HTML yang dikodkan UTF-8. Pengarang asal, Ian Back, menulis mPDF untuk mengeluarkan fail PDF "dengan cepat" dari tapak webnya dan mengendalikan bahasa yang berbeza. Ia lebih perlahan dan menghasilkan fail yang lebih besar apabila menggunakan fon Unicode daripada skrip asal seperti HTML2FPDF, tetapi menyokong gaya CSS dsb. dan mempunyai banyak peningkatan. Menyokong hampir semua bahasa, termasuk RTL (Arab dan Ibrani) dan CJK (Cina, Jepun dan Korea). Menyokong elemen peringkat blok bersarang (seperti P, DIV),

MinGW - GNU Minimalis untuk Windows

MinGW - GNU Minimalis untuk Windows

Projek ini dalam proses untuk dipindahkan ke osdn.net/projects/mingw, anda boleh terus mengikuti kami di sana. MinGW: Port Windows asli bagi GNU Compiler Collection (GCC), perpustakaan import yang boleh diedarkan secara bebas dan fail pengepala untuk membina aplikasi Windows asli termasuk sambungan kepada masa jalan MSVC untuk menyokong fungsi C99. Semua perisian MinGW boleh dijalankan pada platform Windows 64-bit.

MantisBT

MantisBT

Mantis ialah alat pengesan kecacatan berasaskan web yang mudah digunakan yang direka untuk membantu dalam pengesanan kecacatan produk. Ia memerlukan PHP, MySQL dan pelayan web. Lihat perkhidmatan demo dan pengehosan kami.

EditPlus versi Cina retak

EditPlus versi Cina retak

Saiz kecil, penyerlahan sintaks, tidak menyokong fungsi gesaan kod