Kaedah pengoptimuman turunan kecerunan untuk model regresi logistik
Regression logistik ialah model klasifikasi binari yang biasa digunakan yang tujuannya adalah untuk meramalkan kebarangkalian sesuatu peristiwa.
Masalah pengoptimuman model regresi logistik boleh dinyatakan sebagai: menganggar parameter model w dan b dengan memaksimumkan fungsi kemungkinan log, dengan x ialah vektor ciri input dan y ialah label yang sepadan (0 atau 1). Khususnya, dengan mengira jumlah kumulatif log(1+exp(-y(w·x+b))) untuk semua sampel, kita boleh memperoleh nilai parameter optimum, supaya model boleh memuatkan data dengan baik.
Masalah selalunya diselesaikan menggunakan algoritma penurunan kecerunan, seperti parameter yang digunakan dalam regresi logistik untuk memaksimumkan kemungkinan log.
Berikut ialah langkah-langkah algoritma penurunan kecerunan model regresi logistik:
1 Parameter permulaan: Pilih nilai awal, biasanya 0 atau nilai rawak, untuk memulakan w, b.
2 Tentukan fungsi kehilangan: Dalam regresi logistik, fungsi kehilangan biasanya ditakrifkan sebagai kehilangan entropi silang, iaitu, untuk sampel, jurang antara kebarangkalian yang diramalkan dan label sebenar.
3 Kira kecerunan: Gunakan peraturan rantai untuk mengira kecerunan fungsi kehilangan terhadap parameter. Untuk regresi logistik, pengiraan kecerunan termasuk terbitan separa berkenaan dengan w dan b.
4. Kemas kini parameter: Gunakan algoritma penurunan kecerunan untuk mengemas kini parameter. Peraturan kemas kini parameter ialah: nilai parameter baharu = nilai parameter lama - kadar pembelajaran * kecerunan. Antaranya, kadar pembelajaran adalah hiperparameter yang mengawal kelajuan penurunan kecerunan.
5 Lelaran: Ulang langkah 2-4 sehingga syarat berhenti dipenuhi, seperti mencapai bilangan lelaran maksimum atau perubahan kerugian kurang daripada ambang tertentu.
Berikut adalah beberapa perkara penting yang perlu diberi perhatian:
1. Pilihan kadar pembelajaran: Pilihan kadar pembelajaran mempunyai kesan yang besar terhadap kesan penurunan kecerunan. Jika kadar pembelajaran terlalu besar, proses penurunan kecerunan mungkin sangat tidak stabil; jika kadar pembelajaran terlalu kecil, proses penurunan kecerunan mungkin sangat perlahan. Biasanya, kami menggunakan strategi pereputan kadar pembelajaran untuk melaraskan kadar pembelajaran secara dinamik.
2 Regularisasi: Untuk mengelakkan overfitting, kami biasanya menambah istilah regularization pada fungsi loss. Istilah regularisasi biasa termasuk regularization L1 dan regularization L2. Syarat regularisasi ini akan menjadikan parameter model lebih jarang atau lebih lancar, sekali gus mengurangkan risiko pemasangan berlebihan.
3. Penurunan Kecerunan Kelompok lwn Penurunan Kecerunan Stokastik: Penurunan kecerunan kelompok penuh boleh menjadi sangat perlahan apabila berurusan dengan set data berskala besar. Oleh itu, kami biasanya menggunakan keturunan kecerunan stokastik atau keturunan kecerunan kelompok mini. Kaedah ini hanya menggunakan sebahagian daripada data untuk mengira kecerunan dan mengemas kini parameter pada satu masa, yang boleh meningkatkan kelajuan latihan dengan banyak.
4. Berhenti awal: Semasa proses latihan, kami biasanya memantau prestasi model pada set pengesahan. Apabila kehilangan pengesahan model tidak lagi berkurangan dengan ketara, kami boleh menghentikan latihan lebih awal untuk mengelakkan overfitting.
5. Rambatan Belakang: Apabila mengira kecerunan, kita menggunakan peraturan rantai untuk rambatan belakang. Proses ini akan memindahkan kesan fungsi kehilangan pada lapisan keluaran model kepada lapisan input model, sekali gus membantu kami memahami di mana model memerlukan penambahbaikan.
Melalui langkah dan perkara utama di atas, kita boleh melaksanakan algoritma penurunan kecerunan model regresi logistik. Algoritma ini boleh membantu kami mencari parameter model optimum untuk ramalan pengelasan yang lebih baik.
Atas ialah kandungan terperinci Kaedah pengoptimuman turunan kecerunan untuk model regresi logistik. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Dalam buku seminal John Rawls pada tahun 1971 The Theory of Justice, beliau mencadangkan percubaan pemikiran yang harus kita ambil sebagai inti reka bentuk AI hari ini dan menggunakan keputusan: tudung kejahilan. Falsafah ini menyediakan alat yang mudah untuk memahami ekuiti dan juga menyediakan pelan tindakan untuk pemimpin untuk menggunakan pemahaman ini untuk mereka bentuk dan melaksanakan AI dengan cara yang saksama. Bayangkan anda membuat peraturan untuk masyarakat baru. Tetapi ada premis: anda tidak tahu terlebih dahulu apa peranan yang akan anda mainkan dalam masyarakat ini. Anda mungkin menjadi kaya atau miskin, sihat atau kurang upaya, milik majoriti atau minoriti marginal. Beroperasi di bawah "VEIL OF KETIGA" ini menghalang pembuat peraturan daripada membuat keputusan yang memberi manfaat kepada diri mereka sendiri. Sebaliknya, orang akan lebih bermotivasi untuk merumuskan orang ramai

Banyak syarikat yang mengkhususkan diri dalam Automasi Proses Robot (RPA), menawarkan bot untuk mengautomasikan tugas berulang -UIPATH, Automasi di mana sahaja, Prism Blue, dan lain -lain. Sementara itu, proses perlombongan, orkestrasi, dan pemprosesan dokumen pintar Special

Masa depan AI bergerak melampaui ramalan kata mudah dan simulasi perbualan; Ejen AI muncul, mampu tindakan bebas dan penyelesaian tugas. Peralihan ini sudah jelas dalam alat seperti Claude Anthropic. Ejen AI: Penyelidikan a

Kemajuan teknologi yang pesat memerlukan perspektif yang berpandangan ke hadapan pada masa depan kerja. Apa yang berlaku apabila AI melampaui peningkatan produktiviti semata -mata dan mula membentuk struktur masyarakat kita? Buku yang akan datang Topher McDougal, Gaia Wakes:

Klasifikasi produk, sering melibatkan kod kompleks seperti "HS 8471.30" dari sistem seperti sistem harmoni (HS), adalah penting untuk perdagangan antarabangsa dan jualan domestik. Kod ini memastikan permohonan cukai yang betul, memberi kesan kepada setiap inv

Masa Depan Penggunaan Tenaga di Pusat Data dan Pelaburan Teknologi Iklim Artikel ini menerangkan lonjakan penggunaan tenaga di pusat data yang didorong oleh AI dan kesannya terhadap perubahan iklim, dan menganalisis penyelesaian inovatif dan cadangan dasar untuk menangani cabaran ini. Cabaran Permintaan Tenaga: Pusat data besar-besaran dan ultra-besar menggunakan kuasa besar, setanding dengan jumlah beratus-ratus ribu keluarga Amerika Utara yang biasa, dan pusat-pusat skala ultra-besar AI yang muncul menggunakan puluhan kali lebih banyak kuasa daripada ini. Dalam lapan bulan pertama 2024, Microsoft, Meta, Google dan Amazon telah melabur kira -kira AS $ 125 bilion dalam pembinaan dan operasi pusat data AI (JP Morgan, 2024) (Jadual 1). Permintaan tenaga yang semakin meningkat adalah satu cabaran dan peluang. Menurut Canary Media, elektrik yang menjulang

AI Generatif merevolusi pengeluaran filem dan televisyen. Model Ray 2 Luma, serta Runway's Gen-4, Openai's Sora, Veo Google dan model-model baru yang lain, meningkatkan kualiti video yang dihasilkan pada kelajuan yang belum pernah terjadi sebelumnya. Model-model ini dengan mudah boleh mewujudkan kesan khas yang kompleks dan adegan yang realistik, walaupun klip video pendek dan kesan gerakan yang diperolehi oleh kamera telah dicapai. Walaupun manipulasi dan konsistensi alat -alat ini masih perlu diperbaiki, kelajuan kemajuan adalah menakjubkan. Video generatif menjadi medium bebas. Sesetengah model baik pada pengeluaran animasi, sementara yang lain baik pada imej aksi langsung. Perlu diingat bahawa Firefly Adobe dan Moonvalley's Ma

Pengalaman Pengguna CHATGPT Menolak: Adakah Degradasi Model atau Harapan Pengguna? Baru -baru ini, sebilangan besar pengguna berbayar ChatGPT telah mengadu tentang kemerosotan prestasi mereka, yang telah menarik perhatian yang meluas. Pengguna melaporkan tindak balas yang lebih perlahan terhadap model, jawapan yang lebih pendek, kekurangan bantuan, dan lebih banyak halusinasi. Sesetengah pengguna menyatakan rasa tidak puas hati di media sosial, menunjukkan bahawa ChatGPT telah menjadi "terlalu menyanjung" dan cenderung untuk mengesahkan pandangan pengguna dan bukannya memberikan maklum balas kritikal. Ini bukan sahaja memberi kesan kepada pengalaman pengguna, tetapi juga membawa kerugian sebenar kepada pelanggan korporat, seperti mengurangkan produktiviti dan pembaziran sumber pengkomputeran. Bukti kemerosotan prestasi Ramai pengguna telah melaporkan kemerosotan yang ketara dalam prestasi CHATGPT, terutamanya dalam model yang lebih lama seperti GPT-4 (yang tidak lama lagi akan dihentikan dari perkhidmatan pada akhir bulan ini). ini


Alat AI Hot

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool
Gambar buka pakaian secara percuma

Clothoff.io
Penyingkiran pakaian AI

Video Face Swap
Tukar muka dalam mana-mana video dengan mudah menggunakan alat tukar muka AI percuma kami!

Artikel Panas

Alat panas

SublimeText3 Linux versi baharu
SublimeText3 Linux versi terkini

SecLists
SecLists ialah rakan penguji keselamatan muktamad. Ia ialah koleksi pelbagai jenis senarai yang kerap digunakan semasa penilaian keselamatan, semuanya di satu tempat. SecLists membantu menjadikan ujian keselamatan lebih cekap dan produktif dengan menyediakan semua senarai yang mungkin diperlukan oleh penguji keselamatan dengan mudah. Jenis senarai termasuk nama pengguna, kata laluan, URL, muatan kabur, corak data sensitif, cangkerang web dan banyak lagi. Penguji hanya boleh menarik repositori ini ke mesin ujian baharu dan dia akan mempunyai akses kepada setiap jenis senarai yang dia perlukan.

SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan

VSCode Windows 64-bit Muat Turun
Editor IDE percuma dan berkuasa yang dilancarkan oleh Microsoft

PhpStorm versi Mac
Alat pembangunan bersepadu PHP profesional terkini (2018.2.1).
