Terdapat enam algoritma penting yang tersembunyi dalam kotak alat pembelajaran mesin

1. Regresi linear

Ahli matematik Perancis Adrien-Marie Legendre sentiasa terobsesi dengan meramalkan kedudukan komet pada masa hadapan, dia akan mencipta cara untuk mengira trajektorinya.

Selepas mencuba beberapa kaedah, saya akhirnya mencapai kemajuan.

Legendre bermula dengan meneka kedudukan komet pada masa hadapan, merekodkan data, menganalisisnya dan akhirnya mengesahkan tekaannya melalui data untuk mengurangkan jumlah ralat kuasa dua.

Ini adalah benih regresi linear.

Dua langkah untuk mempopularkan: Algoritma serta-merta membantu pelayar menjejaki bintang, serta ahli biologi kemudiannya (terutamanya sepupu Charles Darwin Francis Galton) untuk mengenal pasti ciri-ciri warisan tumbuhan dan haiwan. Kedua-dua perkembangan selanjutnya ini membuka potensi luas regresi linear. Pada tahun 1922, ahli statistik British Ronald Fisher dan Karl Pearson menunjukkan bagaimana regresi linear boleh dimuatkan ke dalam rangka kerja statistik umum korelasi dan pengedaran, menjadikannya berguna dalam semua sains. Dan, hampir satu abad kemudian, kemunculan komputer memberikan data dan kuasa pemprosesan untuk mengeksploitasinya ke tahap yang lebih besar.

Mengatasi kekaburan: Sudah tentu, data tidak pernah diukur dengan sempurna dan sesetengah pembolehubah lebih penting daripada yang lain. Fakta kehidupan ini memberi inspirasi kepada variasi yang lebih kompleks. Sebagai contoh, regresi linear dengan regularisasi (juga dikenali sebagai regresi rabung) menggalakkan model regresi linear untuk tidak terlalu bergantung pada mana-mana satu pembolehubah, atau sebaliknya bergantung sama rata pada pembolehubah yang paling penting. Jika untuk kesederhanaan satu lagi bentuk regularisasi (L1 dan bukannya L2) menghasilkan laso (anggaran termampat) yang menggalakkan seberapa banyak pekali yang mungkin menjadi sifar. Dalam erti kata lain, ia belajar untuk memilih pembolehubah dengan kuasa ramalan yang tinggi dan mengabaikan yang lain. Rangkaian anjal menggabungkan kedua-dua jenis regularisasi ini. Ia berguna apabila data jarang atau apabila ciri kelihatan berkaitan.

Dalam setiap neuron: Kini, versi ringkas masih sangat berguna. Jenis neuron yang paling biasa dalam rangkaian saraf ialah model regresi linear, diikuti dengan fungsi pengaktifan bukan linear, menjadikan regresi linear sebagai komponen asas pembelajaran mendalam.

2. Regresi logistik

Ada masanya regresi logistik hanya digunakan untuk mengklasifikasikan satu perkara: jika anda minum sebotol racun, label yang anda mungkin dilabelkan ialah "Hidup" atau "mati"?

Kini, bukan sahaja panggilan ke pusat kecemasan memberikan jawapan yang lebih baik kepada soalan ini, tetapi regresi logistik adalah di tengah-tengah pembelajaran mendalam.

Fungsi ini bermula pada tahun 1830-an, apabila ahli statistik Belgium P.F Verhulst menciptanya untuk menerangkan dinamik populasi: dari masa ke masa, ledakan awal tahap pertumbuhan eksponen apabila ia menggunakan sumber yang ada, Ini menghasilkan keluk logistik yang berciri.

Lebih daripada satu abad kemudian, ahli perangkaan Amerika E. B. Wilson dan pelajarnya Jane Worcester telah mencipta regresi logistik untuk mengira berapa banyak bahan berbahaya yang diberikan boleh membawa maut.

3. Kaedah Turun Kecerunan

Bayangkan mendaki di pergunungan selepas senja dan mendapati anda tidak dapat melihat apa-apa kecuali kaki anda.

Telefon anda kehabisan bateri, jadi anda tidak boleh menggunakan GPS untuk mencari jalan pulang.

Mungkin anda akan menemui laluan terpantas melalui penurunan kecerunan, tetapi berhati-hati, jangan jatuh dari tebing.

Pada tahun 1847, ahli matematik Perancis Augustin-Louis Cauchy mencipta algoritma untuk menghampiri orbit bintang.

Enam puluh tahun kemudian, rakan senegaranya Jacques Hadamard telah membangunkannya secara bebas untuk menggambarkan ubah bentuk objek nipis dan fleksibel, seperti permaidani, yang mungkin memudahkan mendaki dengan lutut ke bawah.

Walau bagaimanapun, dalam pembelajaran mesin, penggunaan yang paling biasa adalah untuk mencari titik terendah fungsi kehilangan algoritma pembelajaran.

Sayang sekali telefon anda kehabisan bateri kerana algoritma mungkin tidak mendorong anda ke bahagian bawah gunung.

Anda boleh terperangkap dalam landskap bukan cembung yang terdiri daripada berbilang lembah (minima tempatan), puncak (maksimum tempatan), mata pelana (mata pelana) dan dataran tinggi.

Malah, tugas seperti pengecaman imej, penjanaan teks dan pengecaman pertuturan semuanya bukan cembung, dan banyak variasi keturunan kecerunan telah muncul untuk menangani situasi ini.

Sebagai contoh, algoritma mungkin mempunyai momentum yang membantu ia menguatkan turun naik kecil, menjadikannya lebih cenderung untuk mencapai bahagian bawah.

Para penyelidik mereka bentuk begitu banyak variasi sehingga nampaknya terdapat banyak pengoptimum berbanding minima tempatan.

Mujurlah, minima tempatan dan minima global cenderung hampir sama.

Keturunan kecerunan ialah pilihan yang jelas untuk mencari minimum mana-mana fungsi. Dalam kes di mana penyelesaian tepat boleh dikira secara langsung - seperti dalam tugas regresi linear dengan bilangan pembolehubah yang besar - ia boleh menghampiri nilai dan selalunya lebih cepat dan lebih murah.

Tetapi ia amat berguna dalam tugasan bukan linear yang kompleks.

Dengan penurunan kecerunan dan rasa pengembaraan, anda mungkin keluar dari pergunungan pada waktunya untuk makan malam.

4. Rangkaian Neural

Mari kita jelaskan dahulu masalah Otak bukanlah satu set unit pemprosesan grafik, perisian yang dijalankan akan jauh lebih kompleks daripada buatan biasa rangkaian saraf.

Walau bagaimanapun, rangkaian saraf diilhamkan oleh struktur otak: lapisan neuron yang saling berkaitan, masing-masing mengira outputnya sendiri berdasarkan keadaan jirannya. Rangkaian aktiviti yang terhasil membawa kepada idea—atau pengecaman gambar kucing.

Dari biologi kepada tiruan: Idea bahawa otak belajar melalui interaksi antara neuron bermula sejak 1873, tetapi tidak dieksploitasi sehingga 1943 oleh ahli sains saraf Amerika Warren McCulloch dan Walter Pitts Peraturan matematik mudah dibina model rangkaian saraf biologi.

Pada tahun 1958, ahli psikologi Amerika Frank Rosenblatt membangunkan sensor, rangkaian visual satu lapisan yang dilaksanakan pada mesin kad tebuk, bertujuan untuk membina versi perkakasan untuk Tentera Laut A.S.

Ciptaan Rosenblatt hanya boleh mengiktiraf klasifikasi satu baris.

Kemudian, ahli matematik Ukraine Alexey Ivakhnenko dan Valentin Lapa mengatasi had ini dengan menyusun rangkaian neuron dalam sebarang bilangan lapisan.

Pada tahun 1985, saintis komputer Perancis Yann LeCun dan David Parker, bekerja secara bebas, dan ahli psikologi Amerika David Rumelhart dan rakan sekerja, menerangkan penggunaan perambatan belakang untuk melatih rangkaian sedemikian dengan berkesan.

Dalam dekad pertama alaf baharu, penyelidik termasuk Kumar Chellapilla, Dave Steinkraus dan Rajat Raina (dengan kerjasama Andrew Ng) memajukan lagi rangkaian neural melalui penggunaan unit pemprosesan grafik, yang Ini membolehkan lebih besar dan rangkaian saraf yang lebih besar untuk belajar daripada sejumlah besar data yang dihasilkan oleh Internet.

The New York Times mencetuskan gembar-gembur kecerdasan buatan apabila melaporkan ciptaan penderia Rosenblatt pada 1958, dengan menyatakan bahawa "Tentera Laut A.S. mahukan mesin yang boleh berjalan, bercakap, melihat dan menulis." -mereplikasi dan menyedari kewujudannya sendiri, prototaip komputer elektronik.”

Walaupun penderia pada masa itu tidak memenuhi keperluan ini, ia menghasilkan banyak model yang mengagumkan: saraf konvolusi untuk imej rangkaian untuk teks; dan pengubah untuk imej, teks, pertuturan, video, struktur protein dan banyak lagi.

Mereka sudah melakukan perkara yang menakjubkan, seperti melebihi prestasi peringkat manusia pada permainan Go dan mendekati prestasi peringkat manusia dalam tugas praktikal seperti mendiagnosis imej X-ray.

Namun, mereka masih lebih sukar untuk ditangani dari segi akal fikiran dan penaakulan logik.

5. Pokok keputusan

Apakah jenis "binatang" Aristotle? Porphyry, seorang pengikut ahli falsafah yang tinggal di Syria pada abad ketiga, datang dengan cara yang logik untuk menjawab soalan ini.

Beliau menggabungkan "kategori kewujudan" yang dicadangkan oleh Aristotle daripada umum kepada khusus, dan mengklasifikasikan Aristotle ke dalam setiap kategori secara bergilir-gilir:

Kewujudan Aristotle Dodd adalah material dan bukannya konseptual atau rohani; adalah bernyawa daripada tidak bernyawa; pemikirannya adalah rasional dan bukannya tidak rasional.

Oleh itu, klasifikasinya adalah manusia.

Guru logik zaman pertengahan melukis urutan ini sebagai gambar rajah aliran menegak: pokok keputusan awal.

Maju pantas ke tahun 1963, apabila ahli sosiologi Universiti Michigan John Sonquist dan ahli ekonomi James Morgan mula-mula melaksanakan pepohon keputusan dalam komputer apabila mengumpulkan responden tinjauan.

Dengan kemunculan perisian algoritma latihan automatik, kerja seperti ini telah menjadi perkara biasa, dan kini pelbagai perpustakaan pembelajaran mesin termasuk scikit-learn turut menggunakan pepohon keputusan.

Kod ini telah dibangunkan oleh empat ahli statistik dari Universiti Stanford dan Universiti California, Berkeley, dalam tempoh 10 tahun. Hari ini, menulis pokok keputusan dari awal telah menjadi tugasan kerja rumah Pembelajaran Mesin 101.

Pokok keputusan boleh melakukan pengelasan atau regresi. Ia tumbuh ke bawah, dari akar ke mahkota, mengklasifikasikan contoh input hierarki keputusan kepada dua (atau lebih).

Fikirkan topik saintis perubatan dan antropologi Jerman Johann Blumenbach: sekitar tahun 1776, dia mula-mula membezakan monyet daripada beruk (meninggalkan manusia Sebelum itu, monyet dan beruk dikelaskan sebagai A sejenis.

Pengkelasan ini bergantung kepada pelbagai kriteria, seperti sama ada ia mempunyai ekor, sama ada ia mempunyai dada yang sempit atau lebar, sama ada ia tegak atau membongkok, dan tahap kecerdasannya. Gunakan pokok keputusan yang terlatih untuk melabelkan haiwan tersebut, mempertimbangkan setiap kriteria satu demi satu, dan akhirnya memisahkan dua kumpulan haiwan tersebut.

Memandangkan kesimpulan Blumenbach (kemudian dibatalkan oleh Charles Darwin) bahawa manusia dibezakan daripada beruk oleh pelvis yang lebar, tangan, dan gigi yang terkatup, jika kita ingin memanjangkan pokok keputusan untuk mengklasifikasikan bukan sahaja beruk dan monyet, tetapi What berlaku jika kita mengklasifikasikan manusia?

Saintis komputer Australia John Ross Quinlan telah mewujudkannya pada tahun 1986 dengan ID3, yang memanjangkan pokok keputusan untuk menyokong hasil bukan binari.

Pada tahun 2008, antara sepuluh algoritma perlombongan data teratas yang dirancang oleh Persidangan Perlombongan Data Antarabangsa IEEE, algoritma pemurnian lanjutan bernama C4.5 berada di kedudukan teratas.

Ahli statistik Amerika Leo Breiman dan ahli statistik New Zealand Adele Cutler menjadikan ciri ini sebagai kelebihan dan membangunkan hutan rawak pada tahun 2001 - koleksi pepohon keputusan, setiap pepohon Keputusan memproses pilihan contoh yang berbeza, bertindih dan mengundi pada peringkat akhir hasil.

Random Forest dan sepupunya XGBoost kurang terdedah kepada overfitting, yang membantu menjadikannya salah satu algoritma pembelajaran mesin yang paling popular.

Ia seperti mempunyai Aristotle, Porphyry, Blumenbach, Darwin, Jane Goodall, Dian Fossey dan 1000 ahli zoologi lain di dalam bilik bersama-sama untuk memastikan klasifikasi anda adalah yang terbaik.

6. Algoritma K-Means

Jika anda berdiri berdekatan dengan orang lain pada majlis, kemungkinan besar anda mempunyai persamaan, iaitu menggunakan k-means pengelompokan idea mata data.

Sama ada kumpulan dibentuk melalui agensi manusia atau kuasa lain, algoritma ini akan menemuinya.

Dari letupan kepada nada dail: Ahli fizik Amerika Stuart Lloyd, alumnus Kilang Inovasi ikonik Bell Labs dan Projek Manhattan yang mencipta bom atom, pertama kali mencadangkan k-means pada 1957 Clustering untuk mengedarkan maklumat dalam isyarat digital, tetapi kerja ini tidak diterbitkan sehingga 1982.

Sementara itu, ahli statistik Amerika Edward Forgy menerangkan pendekatan serupa pada tahun 1965, yang membawa kepada nama alternatifnya "Algoritma Lloyd-Forgy".

Mencari hab: Pertimbangkan untuk membahagikan kelompok kepada kumpulan kerja yang berfikiran sama. Memandangkan lokasi peserta di dalam bilik dan bilangan kumpulan untuk dibentuk, k-means clustering boleh membahagikan peserta kepada kumpulan yang bersaiz lebih kurang sama, dengan setiap kumpulan berkumpul di sekeliling titik pusat atau centroid.

Semasa latihan, algoritma pada mulanya menentukan k centroid dengan memilih k orang secara rawak. (K mesti dipilih secara manual, dan mencari nilai optimum kadangkala sangat penting.) Ia kemudian menumbuhkan k gugusan dengan mengaitkan setiap orang dengan centroid terdekat.

Untuk setiap kelompok, ia mengira kedudukan purata semua orang yang diberikan kepada kumpulan itu dan menetapkan kedudukan purata itu sebagai centroid baharu. Setiap pusat jisim baru mungkin tidak diduduki oleh seseorang, tetapi bagaimana? Orang ramai cenderung untuk berkumpul di sekitar coklat dan fondue.

Selepas mengira centroid baharu, algoritma menugaskan semula individu kepada centroid terdekat mereka. Ia kemudian mengira centroid baharu, melaraskan kelompok, dan seterusnya sehingga centroid (dan kumpulan di sekelilingnya) tidak lagi bergerak. Selepas itu, menugaskan ahli baharu kepada kluster yang betul adalah mudah. Dapatkan mereka dalam kedudukan di dalam bilik dan cari pusat jisim yang terdekat.

Beri amaran: Memandangkan tugasan centroid rawak awal, anda mungkin tidak akan berada dalam kumpulan yang sama dengan pakar AI yang mengutamakan data yang anda harap dapat bergaul. Algoritma berfungsi dengan baik, tetapi ia tidak dijamin untuk mencari penyelesaian terbaik.

Jarak yang berbeza: Sudah tentu, jarak antara objek berkelompok tidak perlu besar. Sebarang metrik antara dua vektor akan berjaya. Sebagai contoh, bukannya mengelompokkan pengunjung parti berdasarkan jarak fizikal, k-means clustering boleh membahagikan mereka berdasarkan pakaian, pekerjaan atau atribut lain mereka. Kedai dalam talian menggunakannya untuk membahagikan pelanggan berdasarkan keutamaan atau tingkah laku mereka dan ahli astronomi boleh mengumpulkan bintang daripada jenis yang sama bersama-sama.

Kekuatan titik data: Idea ini menghasilkan beberapa perubahan ketara:

K-medoid menggunakan titik data sebenar sebagai centroid, bukannya dalam kumpulan tertentu Lokasi purata . Titik tengah ialah titik yang meminimumkan jarak ke semua titik dalam kelompok. Perubahan ini lebih mudah untuk ditafsirkan kerana centroid sentiasa menjadi titik data.

Kluster C-Means Fuzzy membolehkan titik data mengambil bahagian dalam berbilang kelompok pada tahap yang berbeza-beza. Ia menggantikan tugasan kelompok keras dengan darjah kelompok berdasarkan jarak dari centroid.

karnival n-dimensi: Walau bagaimanapun, algoritma dalam bentuk asalnya masih berguna secara meluas - terutamanya kerana, sebagai algoritma yang tidak diselia, ia tidak memerlukan pengumpulan data berlabel yang mahal. Ia juga digunakan dengan lebih pantas dan pantas. Contohnya, perpustakaan pembelajaran mesin termasuk scikit-learn mendapat manfaat daripada penambahan kd-trees pada tahun 2002, yang boleh membahagikan data berdimensi tinggi dengan cepat.

Atas ialah kandungan terperinci Terdapat enam algoritma penting yang tersembunyi dalam kotak alat pembelajaran mesin. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!