Bermula dengan pembelajaran mendalam 12 tahun yang lalu, Karpathy mencetuskan gelombang kenangan era AlexNet, dan LeCun, Goodfellow, dsb. semuanya berakhir

Tidak disangka, 12 tahun telah berlalu sejak revolusi pembelajaran mendalam dimulakan oleh AlexNet pada 2012.

Dan kini, kita juga telah memasuki era model besar.

Baru-baru ini, catatan oleh saintis penyelidikan AI terkenal Andrej Karpathy telah menyebabkan ramai lelaki besar yang terlibat dalam gelombang revolusi pembelajaran mendalam ini terlupa dalam ingatan. Daripada pemenang Anugerah Turing Yann LeCun kepada Ian Goodfellow, bapa GAN, mereka semua mengimbau masa lalu.

Siaran ini mempunyai 630,000+ tontonan setakat ini.

Dalam siaran itu, Karpathy menyebut: Fakta menarik ialah ramai orang mungkin pernah mendengar tentang detik ImageNet/AlexNet pada tahun 2012 dan revolusi pembelajaran mendalam yang dimulakan. Walau bagaimanapun, hanya sedikit yang tahu bahawa kod yang menyokong penyertaan pemenang dalam pertandingan ini ditulis tangan dari awal dalam CUDA/C++ oleh Alex Krizhevsky. Repositori kod ini dipanggil cuda-convnet, yang dihoskan pada Kod Google pada masa itu:

https://code.google.com/archive/p/cuda-convnet/

Karpathy sedang berfikir tentang Kod Google, bukan? telah ditutup (?), tetapi dia menemui beberapa versi baharu pada GitHub yang dibuat oleh pembangun lain berdasarkan kod asal, seperti:

https://github.com/ulrichstern/cuda -convnet

"AlexNet ialah salah satu contoh terawal yang terkenal dalam menggunakan CUDA untuk pembelajaran mendalam Karpathy ingat bahawa ia adalah tepat kerana penggunaan CUDA dan GPU yang AlexNet boleh memproses data berskala besar itu (ImageNet) dan mencapai hasil yang hebat pada tugas pengecaman imej. "AlexNet bukan sahaja menggunakan GPU, tetapi juga sistem berbilang GPU. Sebagai contoh, AlexNet menggunakan teknologi yang dipanggil model selari untuk membahagikan operasi lilitan kepada dua bahagian dan menjalankannya masing-masing pada dua GPU

Karpathy mengingatkan semua orang, anda perlu tahu bahawa ini adalah tahun 2012! "Pada tahun 2012 (kira-kira 12 tahun yang lalu), kebanyakan penyelidikan pembelajaran mendalam telah dijalankan dalam Matlab, berjalan pada CPU, dan secara berterusan melelaran pelbagai algoritma pembelajaran, seni bina rangkaian dan idea pengoptimuman pada set data peringkat mainan." Tetapi Alex, Ilya dan Geoff, pengarang AlexNet, melakukan sesuatu yang sama sekali berbeza daripada gaya penyelidikan arus perdana pada masa itu - "Tidak lagi terobsesi dengan butiran algoritma, cuma ambil rangkaian neural convolutional yang agak standard (ConvNet) dan Ia dibuat sangat besar. , dilatih pada set data berskala besar (ImageNet), dan kemudian melaksanakan semuanya dalam CUDA/C++”

Alex Krizhevsky menulis semua kod secara langsung dalam CUDA dan C++ Termasuk konvolusi, pengumpulan dan operasi asas lain dalam pembelajaran yang mendalam. Pendekatan ini sangat inovatif dan mencabar, memerlukan pengaturcara mempunyai pemahaman yang mendalam tentang algoritma, seni bina perkakasan, bahasa pengaturcaraan, dsb.

Kaedah pengaturcaraan dari bawah adalah rumit dan menyusahkan, tetapi ia boleh mengoptimumkan prestasi ke tahap maksimum dan memberikan permainan sepenuhnya kepada kuasa pengkomputeran perkakasan Ini adalah kembali kepada asas yang menyuntik kuasa yang kuat pembelajaran mendalam dan membentuk pembelajaran mendalam Belajar tentang titik perubahan dalam sejarah.

Apa yang menarik ialah perihalan ini mengembalikan ingatan ramai orang, dan semua orang sedang mencari alatan yang mereka gunakan untuk melaksanakan projek pembelajaran mendalam sebelum 2012. Alfredo Canziani, seorang profesor sains komputer di Universiti New York, menggunakan Torch pada masa itu "Saya tidak pernah mendengar sesiapa menggunakan Matlab untuk penyelidikan pembelajaran mendalam..."

Yann lecun bersetuju, kebanyakan pembelajaran mendalam yang penting pada tahun 2012 telah dilakukan dengan Torch dan Theano.

Karpathy mempunyai pandangan yang berbeza Dia menambah bahawa kebanyakan projek menggunakan Matlab, dan dia tidak pernah menggunakan Theano pada 2013-2014.

Ada netizen turut mendedahkan Hinton juga menggunakan Matlab. Ia seolah-olah tidak banyak orang yang menggunakan MATLAB pada masa itu:

Bapa terkenal Gan, Ian Goodfellow, juga muncul dan mengatakan bahawa makmal Yoshua menggunakan Theano pada masa itu juga berkata bahawa sebelum keluaran ImageNet, dia telah Menulis berkas Theano untuk cuda-convnet Alex.

Douglas Eck, pengarah Google DeepMind, muncul dan mengatakan bahawa dia tidak menggunakan Matlab, tetapi C++, dan kemudian beralih kepada Python/Theano.

Profesor Universiti New York Kyunghyun Cho berkata bahawa pada tahun 2010, ketika dia masih berada di seberang Atlantik, dia menggunakan perpustakaan CUV yang dibuat oleh Hannes SChulz dan yang lain, yang membantunya bertukar daripada Matlab kepada python.

Pengasas bersama Lamini Gregory Diamos berkata bahawa kertas kerja yang meyakinkannya ialah kertas "Pembelajaran mendalam dengan sistem COTS HPC" oleh Andrew Ng et al.

Makalah menunjukkan bahawa kelompok CUDA Frankenstein boleh mengalahkan kelompok MapReduce sebanyak 10,000 CPU.

Pautan kertas: https://proceedings.mlr.press/v28/coates13.pdf

Walau bagaimanapun, kejayaan besar AlexNet bukanlah peristiwa terpencil, tetapi mikrokosmos arah aliran pembangunan seluruh bidang pada masa itu. Sesetengah penyelidik telah menyedari bahawa pembelajaran mendalam memerlukan skala yang lebih besar dan kuasa pengkomputeran yang lebih kuat, dan GPU adalah arah yang menjanjikan. Karpathy menulis, "Sudah tentu, sebelum kemunculan AlexNet, bidang pembelajaran mendalam sudah mempunyai beberapa tanda untuk bergerak ke arah skala. Contohnya, Matlab mula menyokong GPU. Banyak kerja di makmal Andrew Ng di Universiti Stanford sedang bergerak ke arah menggunakan GPU Terdapat juga beberapa usaha selari lain ke arah pembelajaran mendalam berskala besar Pada akhir arkeologi, Karpathy berkata dengan emosi, "Apabila menulis kod C/C++ dan kernel CUDA, saya mempunyai satu perkara yang menarik. Nampaknya saya telah kembali ke era AlexNet dan era cuda-convnet "

Pendekatan semasa "kembali ke asas" adalah serupa dengan pendekatan AlexNet ketika itu - pengarang AlexNet bertukar daripada Matlab kepada CUDA/C++ , untuk mengejar prestasi yang lebih tinggi dan skala yang lebih besar. Walaupun rangka kerja peringkat tinggi kini tersedia, apabila ia tidak dapat mencapai prestasi melampau dengan mudah, anda masih perlu kembali ke bahagian bawah dan menulis sendiri kod CUDA/C++.

By the way, apakah yang penyelidik tempatan gunakan pada masa itu? Dialu-alukan untuk meninggalkan mesej untuk perbincangan.

Atas ialah kandungan terperinci Bermula dengan pembelajaran mendalam 12 tahun yang lalu, Karpathy mencetuskan gelombang kenangan era AlexNet, dan LeCun, Goodfellow, dsb. semuanya berakhir. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!