1. Kata Pengantar
Baru-baru ini, AIGC (Kandungan Dijana AI, kandungan terjana kecerdasan buatan) telah berkembang pesat Ia bukan sahaja dicari oleh pengguna, tetapi juga menarik perhatian daripada kalangan teknologi dan industri. Pada 23 September 2022, Sequoia America menerbitkan artikel "Generative AI: A Creative New World", percaya bahawa AIGC akan mewakili permulaan pusingan baharu anjakan paradigma. Pada Oktober 2022, Stability AI mengeluarkan model sumber terbuka Stable Diffusion, yang boleh menjana imej secara automatik berdasarkan perihalan teks (dipanggil gesaan) yang dimasukkan oleh pengguna, iaitu Text-to-Image Diffusion, DALL-E 2 , Midjourney, Wenxin Yige dan model AIGC lain yang boleh menghasilkan gambar telah meledakkan bidang lukisan AI telah menjadi popular, menandakan penembusan kecerdasan buatan ke dalam bidang seni. Gambar di bawah menunjukkan karya bertema "Future Mecha" yang dicipta oleh platform "Wenxin Yige" Baidu.
Rajah 1 AI yang dicipta oleh Lukisan platform “Wenxin Yige” Baidu
Perkembangan pesat bidang AIGC tidak dapat dipisahkan daripada kemajuan rangkaian neural dalam. Khususnya, kemunculan model Transform memberikan rangkaian neural keupayaan pengkomputeran global yang lebih berkuasa, mengurangkan masa yang dihabiskan untuk latihan rangkaian dan meningkatkan prestasi model rangkaian. Model domain AIGC semasa yang berprestasi agak baik termasuk teknologi Perhatian dan Transformasi dalam seni bina teknikal asasnya.
2. Sejarah Perkembangan
2.1 Rangkaian Neural Dalam
Perkembangan teknologi maklumat yang diwakili oleh rangkaian neural dalam telah menggalakkan kemajuan dan pengembangan bidang kecerdasan buatan. Pada tahun 2006, Hinton et al menggunakan pra-latihan pengekodan RBM satu lapisan untuk merealisasikan latihan rangkaian saraf yang mendalam pada tahun 2012, model rangkaian saraf AlexNet yang direka oleh Hinton dan Alex Krizhevsky mencapai pengiktirafan dan pengelasan imej dalam pertandingan ImageNet; pusingan Titik permulaan untuk pembangunan kecerdasan buatan. Rangkaian saraf dalam yang popular pada masa ini dimodelkan pada konsep yang dicadangkan oleh rangkaian saraf biologi. Dalam rangkaian saraf biologi, neuron biologi menghantar maklumat yang diterima lapisan demi lapisan, dan maklumat daripada berbilang neuron diagregatkan untuk mendapatkan hasil akhir. Model matematik yang dibina menggunakan unit saraf logik yang direka secara analog dengan unit saraf biologi dipanggil rangkaian saraf tiruan. Dalam rangkaian saraf tiruan, unit saraf logik digunakan untuk meneroka hubungan tersembunyi antara data input dan data keluaran Apabila jumlah data adalah kecil, rangkaian saraf cetek boleh memenuhi keperluan beberapa tugas meningkat, Rangkaian neural yang mendalam dan meluas mula menunjukkan kelebihan unik mereka.
2.2 Mekanisme Perhatian
Mekanisme Perhatian telah dicadangkan oleh pasukan Bengio pada tahun 2014 dan telah digunakan secara meluas secara mendalam dalam pelbagai bidang dalam pembelajaran, seperti dalam penglihatan komputer untuk menangkap medan penerimaan pada imej, atau dalam NLP untuk mencari token atau ciri utama. Sebilangan besar eksperimen telah membuktikan bahawa model dengan mekanisme perhatian telah mencapai peningkatan yang ketara dalam pengelasan imej, pembahagian, penjejakan, peningkatan dan pengecaman bahasa semula jadi, pemahaman, menjawab soalan dan terjemahan.
Mekanisme perhatian dimodelkan selepas mekanisme perhatian visual. Mekanisme perhatian visual adalah keupayaan semula jadi otak manusia. Apabila kita melihat gambar, kita mula-mula cepat mengimbas gambar dan kemudian fokus pada kawasan sasaran yang perlu difokuskan. Sebagai contoh, apabila kita melihat gambar-gambar berikut, perhatian kita mudah tertumpu pada wajah bayi, tajuk artikel, dan ayat pertama artikel. Cuba bayangkan, jika setiap maklumat tempatan tidak dilepaskan, pastinya ia akan memakan banyak tenaga, yang tidak kondusif untuk kelangsungan dan evolusi manusia. Begitu juga, memperkenalkan mekanisme serupa ke dalam rangkaian pembelajaran mendalam boleh memudahkan model dan mempercepatkan pengiraan. Secara asasnya difahami, Perhatian adalah untuk menapis sejumlah kecil maklumat penting daripada sejumlah besar maklumat, dan menumpukan pada maklumat penting ini, sambil mengabaikan kebanyakan maklumat yang tidak penting.
Rajah 2 Diagram skematik mekanisme perhatian manusia
3. Butiran teknikal
Model Transformer pintar meninggalkan unit CNN dan RNN tradisional, dan keseluruhan struktur rangkaian sepenuhnya terdiri daripada mekanisme perhatian. Dalam bab ini, kami mula-mula akan memperkenalkan proses keseluruhan model Transformer, dan kemudian memperkenalkan secara terperinci maklumat pengekodan kedudukan dan pengiraan Perhatian Kendiri yang terlibat.
3.1 Gambaran Keseluruhan Proses
Rajah 3 Carta alir mekanisme perhatian
Seperti yang ditunjukkan dalam rajah di atas, Transformer terdiri daripada dua bahagian: Modul Pengekod dan Modul Penyahkod dan Penyahkod mengandungi N blok. Mengambil tugas terjemahan sebagai contoh, aliran kerja Transformer adalah secara kasar seperti berikut:
Langkah 1: Dapatkan vektor perwakilan X bagi setiap perkataan ayat input X diperoleh dengan menambah Pembenaman perkataan itu sendiri dan Pembenaman kedudukan perkataan.
Langkah 2: Hantar matriks vektor perwakilan perkataan yang diperoleh ke dalam modul Pengekod Modul Pengekod menggunakan kaedah Perhatian untuk mengira data input. Selepas modul N Encoder, matriks maklumat pengekodan semua perkataan dalam ayat boleh diperolehi Dimensi matriks output oleh setiap modul Pengekod adalah betul-betul sama dengan input.
Langkah 3: Hantar output matriks maklumat pengekodan oleh modul Pengekod kepada modul Penyahkod, dan Penyahkod akan menterjemah perkataan i+1 seterusnya berdasarkan perkataan yang sedang diterjemahkan i. Seperti struktur Pengekod, struktur Penyahkod juga menggunakan kaedah Perhatian untuk pengiraan. Semasa penggunaan, apabila menterjemah kepada perkataan i+1, anda perlu menggunakan operasi Topeng untuk menutup perkataan selepas i+1.
3.2 Pengiraan Perhatian Kendiri
Inti model Transform ialah pengiraan perhatian, yang boleh dinyatakan dengan formula sebagai
Antaranya, Q, K, V masing-masing mewakili Query, Key, dan Value ini diambil daripada sistem pencarian maklumat contoh carian. Apabila anda mencari produk pada platform e-dagang, kandungan yang anda masukkan pada enjin carian ialah Pertanyaan, dan kemudian enjin carian sepadan dengan Kunci untuk anda berdasarkan Pertanyaan (seperti jenis, warna, penerangan, dsb. ) produk, dan kemudian berdasarkan Pertanyaan dan Persamaan Kunci mendapat kandungan yang sepadan (Nilai).
Q, K, V dalam perhatian kendiri juga memainkan peranan yang sama Dalam pengiraan matriks, hasil darab adalah salah satu kaedah untuk mengira kesamaan dua matriks, jadi matriks Q digunakan dalam. formula di atas Darab transpos matriks K untuk mengira persamaan. Untuk mengelakkan produk dalam daripada terlalu besar, ia perlu dibahagikan dengan punca kuasa dua d, dan akhirnya fungsi pengaktifan softmax digunakan pada hasilnya.
3.3 Pengekodan kedudukan
Selain Pembenaman perkataan itu sendiri, Transformer juga perlu menggunakan kedudukan Embedding untuk mewakili kedudukan di mana perkataan itu muncul dalam ayat. Oleh kerana Transformer tidak menggunakan struktur RNN, tetapi menggunakan maklumat global, ia tidak boleh menggunakan maklumat susunan perkataan, dan bahagian maklumat ini sangat penting untuk NLP atau CV. Oleh itu, position Embedding digunakan dalam Transformer untuk menyimpan kedudukan relatif atau mutlak perkataan dalam jujukan.
Pembenaman Kedudukan diwakili oleh PE, dan dimensi PE adalah sama dengan perkataan Pembenaman. PE boleh diperolehi melalui latihan atau dikira menggunakan formula tertentu. Yang terakhir digunakan dalam Transformer, dan formula pengiraannya adalah seperti berikut:
Antaranya, pos mewakili kedudukan perkataan dalam ayat, d mewakili dimensi PE, Saiznya sama dengan Pembenaman perkataan itu sendiri, 2i mewakili nombor genap dimensi, dan 2i+1 mewakili bilangan dimensi ganjil.
4. Ringkasan
Fokus Transformer ialah struktur Perhatian Kendiri Melalui struktur Perhatian berbilang dimensi, rangkaian boleh menangkap hubungan tersembunyi antara perkataan dalam pelbagai dimensi Walau bagaimanapun, Transformer sendiri tidak boleh menggunakan maklumat susunan perkataan, jadi ia perlu yang akan ditambahkan pada input Pembenaman Kedudukan digunakan untuk menyimpan maklumat kedudukan perkataan. Berbanding dengan rangkaian neural berulang, rangkaian Transformer boleh dilatih secara selari dengan lebih baik Berbanding dengan rangkaian neural convolutional, bilangan operasi yang diperlukan oleh rangkaian Transformer untuk mengira perkaitan antara dua kedudukan tidak meningkat dengan jarak, yang boleh pecah. melalui rangkaian neural convolutional Jarak yang dikira adalah terhad kepada saiz medan penerimaan. Pada masa yang sama, rangkaian Transformer boleh menghasilkan lebih banyak model yang boleh ditafsir. Kita boleh memeriksa pengagihan perhatian daripada model, dan setiap ketua perhatian boleh belajar untuk melaksanakan tugas yang berbeza.
Atas ialah kandungan terperinci Gambaran keseluruhan prinsip teknologi Transformer. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

机器学习是一个不断发展的学科,一直在创造新的想法和技术。本文罗列了2023年机器学习的十大概念和技术。 本文罗列了2023年机器学习的十大概念和技术。2023年机器学习的十大概念和技术是一个教计算机从数据中学习的过程,无需明确的编程。机器学习是一个不断发展的学科,一直在创造新的想法和技术。为了保持领先,数据科学家应该关注其中一些网站,以跟上最新的发展。这将有助于了解机器学习中的技术如何在实践中使用,并为自己的业务或工作领域中的可能应用提供想法。2023年机器学习的十大概念和技术:1. 深度神经网

实现自我完善的过程是“机器学习”。机器学习是人工智能核心,是使计算机具有智能的根本途径;它使计算机能模拟人的学习行为,自动地通过学习来获取知识和技能,不断改善性能,实现自我完善。机器学习主要研究三方面问题:1、学习机理,人类获取知识、技能和抽象概念的天赋能力;2、学习方法,对生物学习机理进行简化的基础上,用计算的方法进行再现;3、学习系统,能够在一定程度上实现机器学习的系统。

本文将详细介绍用来提高机器学习效果的最常见的超参数优化方法。 译者 | 朱先忠审校 | 孙淑娟简介通常,在尝试改进机器学习模型时,人们首先想到的解决方案是添加更多的训练数据。额外的数据通常是有帮助(在某些情况下除外)的,但生成高质量的数据可能非常昂贵。通过使用现有数据获得最佳模型性能,超参数优化可以节省我们的时间和资源。顾名思义,超参数优化是为机器学习模型确定最佳超参数组合以满足优化函数(即,给定研究中的数据集,最大化模型的性能)的过程。换句话说,每个模型都会提供多个有关选项的调整“按钮

截至3月20日的数据显示,自微软2月7日推出其人工智能版本以来,必应搜索引擎的页面访问量增加了15.8%,而Alphabet旗下的谷歌搜索引擎则下降了近1%。 3月23日消息,外媒报道称,分析公司Similarweb的数据显示,在整合了OpenAI的技术后,微软旗下的必应在页面访问量方面实现了更多的增长。截至3月20日的数据显示,自微软2月7日推出其人工智能版本以来,必应搜索引擎的页面访问量增加了15.8%,而Alphabet旗下的谷歌搜索引擎则下降了近1%。这些数据是微软在与谷歌争夺生

荣耀的人工智能助手叫“YOYO”,也即悠悠;YOYO除了能够实现语音操控等基本功能之外,还拥有智慧视觉、智慧识屏、情景智能、智慧搜索等功能,可以在系统设置页面中的智慧助手里进行相关的设置。

人工智能在教育领域的应用主要有个性化学习、虚拟导师、教育机器人和场景式教育。人工智能在教育领域的应用目前还处于早期探索阶段,但是潜力却是巨大的。

阅读论文可以说是我们的日常工作之一,论文的数量太多,我们如何快速阅读归纳呢?自从ChatGPT出现以后,有很多阅读论文的服务可以使用。其实使用ChatGPT API非常简单,我们只用30行python代码就可以在本地搭建一个自己的应用。 阅读论文可以说是我们的日常工作之一,论文的数量太多,我们如何快速阅读归纳呢?自从ChatGPT出现以后,有很多阅读论文的服务可以使用。其实使用ChatGPT API非常简单,我们只用30行python代码就可以在本地搭建一个自己的应用。使用 Python 和 C

人工智能在生活中的应用有:1、虚拟个人助理,使用者可通过声控、文字输入的方式,来完成一些日常生活的小事;2、语音评测,利用云计算技术,将自动口语评测服务放在云端,并开放API接口供客户远程使用;3、无人汽车,主要依靠车内的以计算机系统为主的智能驾驶仪来实现无人驾驶的目标;4、天气预测,通过手机GPRS系统,定位到用户所处的位置,在利用算法,对覆盖全国的雷达图进行数据分析并预测。


Alat AI Hot

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool
Gambar buka pakaian secara percuma

Clothoff.io
Penyingkiran pakaian AI

AI Hentai Generator
Menjana ai hentai secara percuma.

Artikel Panas

Alat panas

Dreamweaver CS6
Alat pembangunan web visual

SecLists
SecLists ialah rakan penguji keselamatan muktamad. Ia ialah koleksi pelbagai jenis senarai yang kerap digunakan semasa penilaian keselamatan, semuanya di satu tempat. SecLists membantu menjadikan ujian keselamatan lebih cekap dan produktif dengan menyediakan semua senarai yang mungkin diperlukan oleh penguji keselamatan dengan mudah. Jenis senarai termasuk nama pengguna, kata laluan, URL, muatan kabur, corak data sensitif, cangkerang web dan banyak lagi. Penguji hanya boleh menarik repositori ini ke mesin ujian baharu dan dia akan mempunyai akses kepada setiap jenis senarai yang dia perlukan.

Pelayar Peperiksaan Selamat
Pelayar Peperiksaan Selamat ialah persekitaran pelayar selamat untuk mengambil peperiksaan dalam talian dengan selamat. Perisian ini menukar mana-mana komputer menjadi stesen kerja yang selamat. Ia mengawal akses kepada mana-mana utiliti dan menghalang pelajar daripada menggunakan sumber yang tidak dibenarkan.

EditPlus versi Cina retak
Saiz kecil, penyerlahan sintaks, tidak menyokong fungsi gesaan kod

mPDF
mPDF ialah perpustakaan PHP yang boleh menjana fail PDF daripada HTML yang dikodkan UTF-8. Pengarang asal, Ian Back, menulis mPDF untuk mengeluarkan fail PDF "dengan cepat" dari tapak webnya dan mengendalikan bahasa yang berbeza. Ia lebih perlahan dan menghasilkan fail yang lebih besar apabila menggunakan fon Unicode daripada skrip asal seperti HTML2FPDF, tetapi menyokong gaya CSS dsb. dan mempunyai banyak peningkatan. Menyokong hampir semua bahasa, termasuk RTL (Arab dan Ibrani) dan CJK (Cina, Jepun dan Korea). Menyokong elemen peringkat blok bersarang (seperti P, DIV),
