Microsoft melancarkan model AI kecil, secara rahsia menjalankan "Pelan B", tiada kaitan dengan OpenAI

Model besar AI akan menjadi kata kunci pada tahun 2023, dan ia juga merupakan kawasan panas untuk persaingan di kalangan syarikat teknologi utama. Walau bagaimanapun, kos model besar AI ini yang melambangkan masa depan adalah terlalu tinggi, menyebabkan syarikat kaya seperti Microsoft mula mempertimbangkan alternatif. Pendedahan terbaru menunjukkan bahawa beberapa daripada 1,500 orang pasukan penyelidik dalam Microsoft yang diketuai oleh Peter Lee telah beralih kepada membangunkan LLM baharu, yang lebih kecil dan mempunyai kos operasi yang lebih rendah

Mengenai model AI bersaiz kecil Microsoft, petunjuk mula muncul 3 bulan lalu. Pada bulan Jun tahun ini, Microsoft mengeluarkan kertas kerja bertajuk "Buku Teks Semua yang Anda Perlukan", menggunakan data "peringkat buku teks" hanya 7 bilion token untuk melatih 1.3 bilion parameter model phi-1, membuktikan bahawa walaupun pada skala kecil High- data yang berkualiti juga boleh membolehkan model tersebut mempunyai prestasi yang baik. Di samping itu, Microsoft Research juga mengeluarkan model bahasa pra-latihan baharu yang dipanggil phi-1.5 berdasarkan phi-1, yang sesuai untuk Soal Jawab QA, format sembang dan senario kod

Menurut Microsoft, phi-1.5 mengatasi sejumlah besar model besar di bawah penanda aras yang menguji akal, pemahaman bahasa dan penaakulan logik. Dalam suite skor larian GPT4AL dengan LM-Eval Harness, phi-1.5 adalah setanding dengan model besar sumber terbuka Meta llama-2 dengan 7 bilion parameter, malah melebihi llama-2 dalam skor AGIEval.

Mengapa Microsoft tiba-tiba membangunkan model AI bersaiz kecil? Secara amnya dipercayai bahawa ini mungkin berkaitan dengan isu antara OpenAI. Microsoft ialah pelabur utama dalam OpenAI, jadi ia boleh menggunakan harta intelek sedia ada OpenAI secara kekal, tetapi ia tidak dapat mengawal pembuatan keputusan OpenAI. Oleh itu, adalah penting bagi syarikat gergasi seperti Microsoft untuk membangunkan model AI bersaiz kecil berkualiti tinggi, sama ada untuk pertimbangan keselamatan strategiknya sendiri atau untuk mengekalkan kedudukan yang baik dengan kerjasama OpenAI

Sudah tentu, penggunaan tenaga semasa model AI yang besar adalah faktor utama. Pada Persidangan Automasi Reka Bentuk awal tahun ini, Ketua Pegawai Teknologi AMD Mark Papermaster menunjukkan slaid membandingkan penggunaan tenaga sistem pembelajaran mesin dengan penjanaan kuasa global. Menurut anggaran Agensi Tenaga Antarabangsa, pusat data yang melatih model besar semakin intensif tenaga, menyumbang 1.5% hingga 2% daripada penggunaan elektrik global, bersamaan dengan penggunaan elektrik seluruh United Kingdom. Dijangkakan bahawa bahagian ini akan meningkat kepada 4% menjelang 2030

Menurut laporan berkaitan yang dikeluarkan oleh Dunia Maklumat Digital, penggunaan tenaga yang dijana oleh pusat data untuk melatih model AI akan menjadi tiga kali ganda daripada perkhidmatan awan konvensional Menjelang 2028, penggunaan kuasa pusat data akan menghampiri 4,250 megawatt, peningkatan sebanyak. 212 kali daripada 2023. Penggunaan kuasa latihan OpenAI GPT-3 ialah 1.287 gigawatt jam, yang lebih kurang bersamaan dengan penggunaan kuasa 120 isi rumah Amerika selama satu tahun. Tetapi ini hanya penggunaan kuasa awal untuk melatih model AI, yang hanya menyumbang 40% daripada kuasa yang digunakan apabila model itu benar-benar digunakan.

Menurut laporan alam sekitar 2023 yang dikeluarkan oleh Google, melatih model AI yang besar bukan sahaja akan menggunakan banyak tenaga, tetapi juga menggunakan banyak sumber air. Menurut laporan itu, Google menggunakan 5.6 bilion gelen (kira-kira 21.2 bilion liter) air pada tahun 2022, bersamaan dengan penggunaan air di 37 padang golf. Daripada jumlah ini, 5.2 bilion gelen digunakan di pusat data Google, peningkatan 20% daripada 2021

Penggunaan tenaga yang tinggi bagi model AI yang besar adalah perkara biasa. Dalam kata-kata Pengarah Teknikal Kanan ARM, Ian Bratt, "Keperluan pengkomputeran AI tidak dapat dipenuhi. Lebih besar skala rangkaian, lebih baik hasilnya, lebih banyak masalah yang boleh diselesaikan, dan penggunaan kuasa adalah berkadar terus dengan skala rangkaian. "

Sesetengah pengamal kecerdasan buatan berkata bahawa sebelum wabak, penggunaan tenaga yang diperlukan untuk melatih model Transformer adalah dalam julat 27 kilowatt jam. Walau bagaimanapun, kini bilangan parameter model Transformer telah meningkat daripada 50 juta kepada 200 juta, dan penggunaan tenaga telah melebihi 500,000 kilowatt jam. Dalam erti kata lain, bilangan parameter meningkat empat kali ganda, tetapi penggunaan tenaga meningkat lebih daripada 18,000 kali. Dari satu segi, pelbagai fungsi inovatif yang dibawa oleh model kecerdasan buatan berskala besar sebenarnya datang dengan kos prestasi pemprosesan yang tinggi dan penggunaan tenaga

Lebih banyak tenaga elektrik memacu lebih banyak GPU untuk latihan AI, dan sejumlah besar air digunakan untuk menyejukkan GPU. Inilah masalahnya. Sehingga didedahkan bahawa Microsoft sedang membangunkan peta jalan untuk mengendalikan pusat data menggunakan tenaga elektrik yang dihasilkan oleh reaktor nuklear kecil. Apatah lagi, walaupun tanpa menyebut ESG ("persekitaran, sosial dan tadbir urus"), adalah penting untuk mengkaji model bersaiz kecil semata-mata dari perspektif kos.

Seperti yang kita semua tahu, NVIDIA, yang telah membina ekosistem CUDA, adalah penerima terbesar pusingan ledakan AI ini Ia telah menduduki 70% pasaran cip AI pada masa kini, kad pengkomputeran seperti H100 dan A100 sukar dicari. Tetapi keadaan semasa ialah kuasa belian pengkomputeran daripada NVIDIA telah menjadi faktor penting yang menaikkan kos pengeluar AI. Oleh itu, model saiz kecil bermakna ia memerlukan kurang sumber pengkomputeran dan anda hanya perlu membeli lebih sedikit GPU untuk menyelesaikan masalah.

Walaupun model berskala besar yang lebih berkuasa sememangnya sangat baik, pengkomersilan model berskala besar masih di peringkat awal, dan satu-satunya orang yang menjana wang yang banyak ialah peranan NVIDIA sebagai "menjual penyodok." Oleh itu, dalam kes ini, Microsoft secara semula jadi berhasrat untuk menukar status quo

Atas ialah kandungan terperinci Microsoft melancarkan model AI kecil, secara rahsia menjalankan "Pelan B", tiada kaitan dengan OpenAI. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!