Google sangat bimbang bahawa ia menyokong DeepMind! 70 bilion parameter Sparrow hard ChatGTP

Serangan balas Google telah bermula!

Baru-baru ini, Microsoft telah menyerang Google satu demi satu - ia hanya mengatakan bahawa ChatGPT akan disepadukan ke dalam enjin cariannya sendiri Bing, dan kemudian ia mengumumkan bahawa ChatGPT merancang untuk menyertai Office " baldi keluarga". bom.

Microsoft kerap membuat gerakan berbahaya, jadi secara semulajadi Google tidak boleh duduk diam dan menunggu.

Menurut maklumat yang didedahkan oleh pengasas DeepMind dalam temu bual eksklusif dengan "Times", Google berkemungkinan akan menggunakan Sparrow yang dilancarkan oleh DeepMind sebelum ini untuk membalas provokasi ChatGPT!

Malah dahulu, Google mempunyai beberapa model besar yang telah lama dibuat seperti LaMDA, Imagen dan sebagainya yang dikatakan telah mencapai SOTA, tetapi tidak pernah didedahkan kepada umum.

Nampaknya Google benar-benar telah dipaksa oleh Microsoft baru-baru ini dan bersedia untuk membawa "anak-anaknya" keluar untuk bertemu orang.

Untuk menangani ChatGPT, Google ada jawapannya

Keraguan Google pernah menanam benih penyesalan untuk diri saya hari ini.

Walaupun ChatGPT sangat mahal, membakar 300,000 dolar AS setiap hari, orang akan sentiasa ingat bahawa pada hari itu pada bulan Disember 2022, ia adalah ChatGPT OpenAI yang menulis Salah satu detik paling penting dalam sejarah model bahasa berskala besar ialah orang di seluruh dunia membanjiri pelayan untuk bersembang dengan robot, bukan Google.

Malah, sebelum OpenAI melancarkan ChatGPT, Google sudah mempunyai model bahasa berskala besar yang dioptimumkan untuk dialog, seperti LaMDA dan Flamingo.

Malah seawal 2020, Google melancarkan Meena, model perbualan rangkaian saraf hujung ke hujung dengan 2.6 bilion parameter. Kesannya dikatakan lebih munasabah dan khusus daripada semua chatbot SOTA lain pada masa itu.

Tetapi setakat ini, Google tidak menggunakan hasil penyelidikan ini pada mana-mana produk.

Menurut kenyataannya sendiri, ini disebabkan terutamanya oleh pertimbangan "risiko reputasi". Chatbot AI sangat mudah untuk menjadi "toksik" - data untuk latihan AI berasal dari Internet, yang selalunya penuh dengan prasangka, kebencian dan penyalahgunaan, jadi AI akan menghasilkan kandungan yang merosakkan dan jawapan yang tidak konsisten dengan fakta.

Pada pertengahan Disember, ketua AI Google Jeff Dean berkata pada mesyuarat pleno bahawa walaupun Google mempunyai teknologi dan keupayaan untuk membuat produk AI, berbanding dengan "pemula kecil", mereka Keputusan mesti dibuat "lebih konservatif".

Tetapi kini, Google, yang dipaksa masuk ke sudut oleh Microsoft, mungkin tidak lagi "konservatif".

ChatGPT telah menjadi popular di seluruh Internet sejak dua bulan lalu, mencetuskan kegilaan penyertaan negara Dalam beberapa hari kebelakangan ini, telah dilaporkan bahawa Microsoft telah melabur 10 bilion lagi OpenAI dengan satu pukulan berita dolar.

Berdepan dengan perbincangan berterusan tentang "Bolehkah ChatGPT menggantikan enjin carian dan hakikat bahawa perisian Office Microsoft dijangka menjalani peningkatan yang menyeluruh, kini Google mesti Buktikan kepada dunia luar?" bahawa anda boleh mengejar OpenAI atau bahkan mengatasinya.

Tidak lama dahulu, Ketua Pegawai Eksekutif dan pengasas DeepMind Demis Hassabis berkata dalam temu bual dengan "Times" bahawa chatbot DeepMind Sparrow mungkin memasuki peringkat "ujian" akhir tahun ini (beta peribadi).

Hassabis berkata bahawa sebab penangguhan pengeluaran Sparrow adalah kerana DeepMind berharap untuk menjadikan Sparrow pergi lebih jauh dari segi fungsi berasaskan pembelajaran pengukuhan, itulah kekurangan ChatGPT.

DeepMind, sebagai institusi penyelidikan AI yang paling penting di bawah Google, telah menyediakan Google dengan teknologi baharu termaju dan menyepadukannya ke dalam produk pengguna.

Nampaknya Google akan membuat langkah besar.

Sebelum ini, ketua Meta AI Yann LeCun turut menyatakan sokongan untuk Google: "Google mempunyai lebih banyak pengalaman berbanding syarikat lain dalam menggunakan model bahasa besar untuk carian (termasuk OpenAI )."

Siapa DeepMind’s Sparrow?

Seperti ChatGPT, model Sparrow yang dicadangkan oleh DeepMind pada September 2022 juga menggunakan rangka kerja pembelajaran pengukuhan (RL) berdasarkan maklum balas manusia.

Tetapi bezanya Sparrow boleh "Google".

Alamat kertas: https://arxiv.org/abs/2209.14375

Lagipun, Sparrow pada asalnya direka untuk bersembang dengan pengguna dan menggunakan Google untuk mencari maklumat yang berkaitan sebagai bukti sokongan semasa menjawab soalan.

Sudah tentu, untuk memastikan tingkah laku model itu selamat, tingkah lakunya juga mesti dikekang.

Oleh itu, penyelidik menentukan set awal peraturan mudah untuk model, seperti "Jangan membuat kenyataan yang penuh kebencian atau menghina", "Jangan menyamar atau berpura-pura menjadi seorang orang sebenar", dsb.

Kemudian gunakan ceramah kecil untuk menipu Sparrow supaya melanggar peraturan ini. Perbualan yang terlibat boleh digunakan untuk melatih "model peraturan" yang berasingan untuk menunjukkan apabila tingkah laku Sparrow melanggar peraturan yang mana.

Daripada keputusannya, apabila tingkah laku yang berpotensi berbahaya dikesan, seperti apabila pengguna bertanya bagaimana untuk menyambungkan kereta, model Sparrow Hui berkata bahawa dia dilatih untuk tidak memberikan nasihat tentang sebarang tingkah laku yang menyalahi undang-undang.

Menurut peserta, apabila ditanya soalan fakta, Sparrow secara amnya memberikan jawapan yang boleh dipercayai dan mempunyai 78 % daripada data disokong oleh bukti, iaitu peningkatan yang hebat berbanding model asas.

Bolehkah DeepMind membantu Google keluar daripada masalah?

Sama ada Sparrow layak untuk bersaing dengan ChatGPT

Dalam beberapa tahun kebelakangan ini, tumpuan penyelidikan kecerdasan buatan biasanya menggunakan lebih banyak parameter untuk mendapatkan prestasi yang lebih baik. Tetapi DeepMind telah banyak mengurangkan saiz model bahasa Chinchilla.

Sebagai asas Sparrow, bilangan parameter Chinchilla hanyalah sebahagian kecil daripada GPT-3 - 70 bilion berbanding 175 bilion.

Pada masa yang sama, DeepMind telah menggandakan jumlah data latihan untuk Chinchilla beberapa kali - 1.3 trilion token.

Hasilnya ialah "versi mini" model kecerdasan buatan ini berprestasi lebih baik daripada pendahulunya dalam hampir semua tugas pertuturan, termasuk sudah tentu saingan lama GPT-3.

Tidak sukar untuk melihat daripada kejayaan Chinchilla bahawa model kecerdasan buatan kecil yang dilatih dengan jumlah data yang besar juga boleh mencapai prestasi tinggi.

Selain itu, kelebihan terbesar model kecil ialah bukan sahaja ia lebih murah untuk dijalankan, ia juga boleh dioptimumkan untuk kes penggunaan khusus dengan data tambahan yang sangat sedikit.

Ini mungkin dapat mengelakkan situasi di mana wang syarikat hangus kerana pengguna terlalu gembira menggunakannya.

Nah, itu OpenAI.

Walau bagaimanapun, ChatGPT yang kini popular adalah berdasarkan GPT-3.5 yang lebih maju.

Apabila versi terkini GPT-3.5, text-davinci-003, dilancarkan, OpenAI menyenaraikan kelebihannya:

1 penjanaan berkualiti: Menyediakan kandungan yang lebih jelas, menarik dan lebih meyakinkan.

2. Boleh mengendalikan arahan yang lebih kompleks: keupayaannya boleh digunakan dengan lebih kreatif.

3. Lebih baik dalam menghasilkan kandungan yang lebih panjang: mampu menyelesaikan tugasan yang sebelum ini sukar dicapai.

Jadi, persoalannya kini sebenarnya menjadi: Bolehkah Chinchilla digunakan terhadap GPT-3.5?

"Sungguh lazat"

Langkah demi langkah untuk mencapai kedudukan kita hari ini, melihat kembali reka letak tindakan Google dalam beberapa tahun kebelakangan ini, pengurusan mungkin mempunyai perasaan bercampur-campur.

Seawal awal Disember, apabila ChatGPT mula popular, terdapat "pemberi maklumat" ​​di Google yang merasakan krisis itu. Sesetengah pekerja menyuarakan kebimbangan mereka pada mesyuarat semua pihak - peningkatan pesat ChatGPT boleh menyebabkan Google kehilangan kelebihan daya saingnya dalam bidang AI.

Sridhar Ramaswamy, bekas ketua pasukan pengiklanan Google, juga berkata jika ChatGPT terus menjadi begitu popular, netizen tidak akan lagi mengklik pautan Google dengan iklan.

Anda tahu, pada tahun 2021, perniagaan pengiklanan memperoleh Google $208 bilion, menyumbang 81% daripada jumlah hasil Alphabet.

Pada masa itu, eksekutif Google tidak menyedari jenis krisis yang akan ditimbulkan oleh kelahiran ChatGPT kepada mereka.

Eksekutif Google pada masa itu menyatakan perkara ini: Google tidak akan melancarkan pesaing untuk ChatGPT kerana Google mempunyai "risiko reputasi" yang lebih besar daripada syarikat permulaan seperti OpenAI. Lebih-lebih lagi, "chatbots belum bersedia untuk menggantikan enjin carian."

Tetapi hanya sepuluh hari kemudian, sikap para eksekutif berubah secara drastik.

Pichai mengarahkan beberapa pasukan untuk menukar arah dan membangunkan produk AI

Ketua Pegawai Eksekutif Pichai mengeluarkan "Kod Merah" dengan segera, mengambil bahagian dalam beberapa mesyuarat sekitar strategi AI Google dan memberikan arahan utama: Berbilang pasukan Google perlu menumpukan perhatian pada menyelesaikan ancaman yang ditimbulkan ChatGPT kepada perniagaan enjin carian syarikat.

Pasukan merentas Penyelidikan, Amanah & Keselamatan Google dan bahagian lain telah diarahkan untuk menukar gear dan sebaliknya mula membantu dengan pembangunan dan pelancaran prototaip dan produk AI.

Malah, kebimbangan Google boleh difahami.

Sebuah robot akan menyebarkan pembohongan, menyebarkan ucapan kebencian, malah memberi ilusi kepada orang ramai bahawa ia "sedar". sebenarnya agak berani.

Setakat ini, respons ujian OpenAI agak baik Seseorang telah menemui jalan ke hadapan, dan nampaknya Google juga akan memasuki pasaran.

Terperangkap dalam "Dilema Inovator"

Wartawan penyahkod Matthias Bastian percaya bahawa selain kebimbangan mengenai "risiko reputasi", terdapat lebih banyak lagi sebab munasabah Ya, Google mungkin terperangkap dalam "dilema inovator."

Istilah ini telah dicadangkan oleh sarjana Amerika Clayton Christensen pada tahun 1997 untuk menggambarkan situasi yang sukar bagi syarikat matang untuk mengguna pakai kaedah yang mengganggu teknologi baharu atau model perniagaan .

Syarikat matang ini selalunya memegang sumber yang paling penting dan mempunyai keupayaan penyelidikan saintifik yang mencukupi. Walau bagaimanapun, asas pelanggan sedia ada dan proses dalaman tetap boleh menghalang mereka daripada inovasi terobosan.

Dan apabila pesaing yang lebih kecil, lebih lincah memasuki dan mengambil alih pasaran (ya, ini merujuk kepada OpenAI), ia akhirnya boleh membawa kepada kehancuran syarikat besar yang ditubuhkan.

Sebahagian besar hasil Google datang daripada pengiklanan dalam talian

Kini, Google perniagaan enjin carian teras berkembang dan menguntungkan (ingat $208 bilion di atas).

Boleh dikatakan setiap halaman hasil carian sedang mencetak wang untuk Google.

Bot sembang carian baharu bermaksud strategi pengewangan baharu. Bolehkah ia menjadikan Google menguntungkan seperti enjin carian?

Google sudah tentu boleh melancarkan chatbot seberjaya ChatGPT, tetapi jika keuntungannya lebih rendah daripada keuntungan enjin carian, Google akan menghadapi kerugian.

Pakar pemasaran digital Tim Peter menegaskan di Twitter bahawa kelebihan Microsoft ialah ia boleh mensubsidi Bing melalui sumber pendapatan lain ChatGPT

Di sebalik ChatGPT ialah Microsoft, pendokong kewangan, dan Microsoft mempunyai sumber pendapatan yang banyak dan pada masa ini boleh menyokong ChatGPT untuk terus menyala seperti ini.

Tetapi Google berbeza hampir semua hasil daripada pengiklanan. Oleh itu, tanpa hasil pengiklanan, nilai enjin carian Google akan berkurangan dengan ketara.

Hasil tahun fiskal Microsoft mengikut bahagian dari 2012 hingga 2022

Apa lagi, sebab mengapa enjin carian sangat menguntungkan ialah pengguna terus mengklik pautan Dalam proses itu, Google mengenakan bayaran pengiklanan yang besar.

Tetapi jika pengguna boleh mendapatkan jawapan terus melalui chatbots tanpa perlu mencari dalam senarai, ekosistem perniagaan berbayar enjin carian akan dimusnahkan secara langsung.

Adakah Google berani mengambil risiko memusnahkan kek yang bernilai ratusan bilion dolar ini?

Kini, Google mempunyai jalan keluar peralihan yang lancar: lancarkan bot sembang komersial melalui DeepMindnya, dan buat carian Google dengan sendirinya lawan (yang juga lawan OpenAI), supaya anda boleh menjadi lindung nilai.

Dengan cara ini Google boleh menenangkan pemegang saham dan mendapat respons apabila orang luar mengesyaki bahawa chatbot akan menggantikan enjin carian.

Melihat dengan cara ini, versi beta Sparrow yang akan dikeluarkan pada 2023 mempunyai misi yang besar.

Atas ialah kandungan terperinci Google sangat bimbang bahawa ia menyokong DeepMind! 70 bilion parameter Sparrow hard ChatGTP. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!