Pemimpin saya Musk: Benci mesyuarat, tidak mahu pengurus pertengahan bukan teknikal, dan menyokong pemberhentian

Kasturi sudah terkenal sebagai "bos syaitan".

Kini, Karpathy bawahan lamanya (Andrej Karpathy) "memalu" dia sekali lagi (doge) dalam temu bual terbaru:

Saya terpaksa merayu dia membenarkan saya merekrut orang.

Dia(Kasturi) sentiasa lalai untuk memberhentikan pekerja.

Selain suka memberhentikan orang, pada acara AI Ascent anjuran Sequoia ini, Kapasi juga mendedahkan lebih banyak butiran mengenai syarikat pengurusan Musk:

benci mesyuarat, enggan berbaring, dan lebih suka mengikut VP lebih suka bercakap tentang kerja terus dengan jurutera...

Selain itu, dia juga bercakap tentang banyak topik model besar yang semua orang ambil berat, termasuk:

• LLM OS
• Adakah skala penting?
• Bagaimana syarikat pemula muda boleh bersaing dengan OpenAI?

Untuk butiran lanjut, berikut adalah versi teks untuk dikongsi~

(Claude 3 turut menyumbang)

Model bahasa besar ialah CPU era baharu

Q: Andre, terima kasih banyak-banyak untuk menyertai kami hari ini. Pejabat asal OpenAI terletak di seberang jalan dari pejabat kami di San Francisco, dan ramai di antara anda berkerumun bersama.

Selain bekerja di tingkat atas di kilang coklat dan menjalani impian Willy Wonka, apakah antara detik-detik yang tidak dapat dilupakan anda bekerja di sini?

Kapasi: Ya, pejabat asal OpenAI ada di sana, jika anda tidak mengira pangsapuri Greg.

Kami tinggal di sana selama lebih kurang dua tahun Ada kilang coklat di tingkat bawah dan baunya sentiasa sedap. Pada masa itu, pasukan mempunyai kira-kira 10-20 orang.

Kami sangat seronok di sana. Lao Huang menyebut pada persidangan GTC bahawa dia menghantar superkomputer DGX pertama ke OpenAI, yang berlaku di sana.

Q: Andre sebenarnya tidak memerlukan pengenalan, tetapi saya masih mahu menyebut latar belakangnya. Dia belajar di bawah Geoffrey Hinton dan Li Feifei, dan mula-mula terkenal dengan kursus pembelajaran mendalamnya di Universiti Stanford.

Pada 2015, beliau mengasaskan OpenAI. Pada tahun 2017, dia telah diburu oleh Musk.

Anda mungkin tidak ingat situasi pada masa itu: Tesla telah mengalami 6 pemimpin Autopilot, yang masing-masing hanya bekerja selama 6 bulan. Saya masih ingat apabila Andre mengambil alih jawatan itu, saya mengucapkan selamat maju jaya kepadanya.

Ia tidak mengambil masa yang lama untuk dia kembali ke OpenAI. Tetapi kini dia mempunyai kebebasan sepenuhnya dan boleh melakukan apa sahaja yang dia mahu. Jadi kami tidak sabar-sabar untuk mendengar cerapan yang beliau kongsikan hari ini.

Apa yang paling saya kagumi tentang Andre ialah dia seorang pemikir futuristik yang menarik, seorang optimis yang teguh, dan pada masa yang sama seorang pembina yang sangat pragmatik. Hari ini dia akan berkongsi beberapa pandangan tentang aspek ini dengan kami.

Pertama sekali, walaupun 7 tahun yang lalu, AGI kelihatan seperti matlamat yang hampir mustahil untuk dicapai dalam hidup kita. Dan kini nampaknya sudah kelihatan. Apa yang anda lihat dalam 10 tahun akan datang?

Kapasi: Anda betul. Beberapa tahun yang lalu, laluan AGI masih sangat tidak jelas dan masih dalam peringkat perbincangan yang sangat akademik. Tetapi kini sudah jelas, dan semua orang bekerja keras untuk mengisi kekosongan itu.

Kerja pengoptimuman sedang giat dijalankan. Secara kasarnya, semua orang cuba membina "Sistem Pengendalian Model Besar(LLM OS)".

Saya suka membandingkannya dengan sistem pengendalian. Anda perlu menyediakan pelbagai peranti dan menyambungkannya ke CPU baharu. Peranti ini termasuk pelbagai modaliti seperti teks, imej, audio, dll. CPU ialah model bahasa itu sendiri. Ia juga bersambung kepada semua infrastruktur Perisian 1.0 yang telah kami bina.

Saya rasa semua orang cuba membina sesuatu seperti ini dan kemudian menyesuaikannya menjadi produk untuk pelbagai sektor ekonomi.

Secara amnya, hala tuju pembangunan ialah kita boleh melaraskan ejen yang agak bebas ini, memberikan mereka tugasan peringkat tinggi dan membiarkan mereka mengkhusus dalam pelbagai tugas. Ini akan menjadi sangat menarik dan menarik. Dan bukan hanya seorang ejen, akan ada ramai ejen. Bayangkan bagaimana keadaannya?

Q: Jika masa depan benar-benar seperti yang anda katakan, bagaimana kita harus menyesuaikan gaya hidup kita sekarang?

Kapasi: Saya tidak tahu. Saya fikir kita perlu bekerja keras untuk membinanya, untuk mempengaruhinya, untuk memastikan ia positif. Pendek kata, cuba buat keputusan sebaik mungkin.

Q: Memandangkan anda seorang lelaki bebas sekarang, saya ingin membangkitkan isu yang jelas, iaitu OpenAI menguasai keseluruhan ekosistem.

Kebanyakan orang di sini hari ini adalah usahawan yang cuba mencipta beberapa niche dan berdoa agar OpenAI tidak memecat mereka dalam sekelip mata.

Anda rasa masih ada peluang? Dalam bidang apakah OpenAI akan terus mendominasi?

Kapasi: Tanggapan keseluruhan saya ialah OpenAI sedang bekerja keras untuk membina sistem pengendalian LLM. Seperti yang kita dengar awal hari ini, OpenAI sedang cuba membangunkan platform. Atas dasar ini, anda boleh membina syarikat yang berbeza dalam menegak yang berbeza.

Analogi sistem pengendalian sebenarnya sangat menarik, kerana sistem pengendalian seperti Windows juga disertakan dengan beberapa aplikasi lalai, seperti pelayar.

Jadi saya rasa OpenAI atau syarikat lain juga mungkin melancarkan beberapa aplikasi lalai, tetapi itu tidak bermakna anda tidak boleh menjalankan pelayar yang berbeza pada mereka, anda boleh menjalankan ejen yang berbeza di atasnya.

Akan ada beberapa apl lalai, tetapi mungkin juga terdapat ekosistem yang bertenaga dengan pelbagai apl yang diperhalusi untuk senario tertentu.

Saya sangat suka analogi aplikasi iPhone awal. Apl ini semuanya bermula sebagai jenaka dan mengambil masa untuk dibangunkan. Saya rasa kita sedang melalui perkara yang sama sekarang. Orang ramai cuba memikirkan apakah perkara ini bagus? Apa yang anda tidak pandai? Bagaimana cara saya menggunakannya? Bagaimana untuk memprogramkan? Bagaimana untuk nyahpepijat? Bagaimana untuk menjadikannya melaksanakan tugas sebenar? Apakah jenis penyeliaan yang diperlukan? Kerana ia agak autonomi, tetapi tidak sepenuhnya autonomi. Jadi, apakah yang sepatutnya kelihatan seperti penyeliaan? Apakah yang sepatutnya kelihatan seperti penilaian? Banyak yang perlu difikirkan dan difahami. Saya rasa ia akan mengambil sedikit masa untuk memikirkan cara bekerja dengan infrastruktur baharu ini. Jadi saya fikir kita akan melihatnya dalam beberapa tahun akan datang.

Q: Persaingan untuk model bahasa besar kini sedang rancak, termasuk OpenAI, Anthropic, Mistral, Llama, Gemini dan keseluruhan ekosistem model sumber terbuka, serta sejumlah besar model kecil. Bagaimanakah anda meramalkan pembangunan ekosistem pada masa hadapan?

Kapasi: Ya, jadi sekali lagi, analogi sistem pengendalian itu menarik. Kami mempunyai sistem sumber tertutup seperti Windows dan macOS, serta Linux sumber terbuka. Saya fikir model besar mungkin mempunyai corak yang sama.

Kita juga mesti berhati-hati apabila memanggil model ini, kebanyakan model yang anda senaraikan, seperti Llama, Mistral, dan lain-lain, saya tidak fikir ia adalah sumber terbuka. Ia seperti membuang binari sistem pengendalian yang boleh anda gunakan, tetapi tidak berguna sepenuhnya. Memang terdapat beberapa model bahasa yang saya anggap sebagai sumber terbuka sepenuhnya, dan ia mengeluarkan sepenuhnya semua infrastruktur yang diperlukan untuk menyusun "sistem pengendalian", daripada pengumpulan data kepada latihan model. Ini sememangnya lebih baik daripada hanya mendapatkan berat model kerana anda boleh memperhalusi model.

Tetapi saya rasa ada masalah halus, iaitu anda tidak boleh memperhalusi model sepenuhnya, kerana semakin anda memperhalusinya, semakin teruk ia akan melaksanakan setiap tugas lain.

Jadi jika anda ingin menambah keupayaan tertentu tanpa menjejaskan kebolehan lain, anda sebenarnya mungkin perlu mencampurkan pengedaran set data sebelumnya dan pengedaran set data baharu untuk latihan. Jika anda hanya diberi berat model, anda sebenarnya tidak boleh melakukan ini. Anda memerlukan gelung latihan, anda memerlukan set data, dsb. Jadi anda sangat terhad dalam perkara yang boleh anda lakukan dengan model ini.

Ia pasti membantu, tetapi kita mungkin memerlukan istilah yang lebih baik untuk menerangkannya. Model berat terbuka, model sumber terbuka dan model proprietari, ekosistem mungkin kelihatan seperti ini. Dan ia berkemungkinan sangat serupa dengan ekosistem yang kita ada hari ini.

Skala adalah faktor penentu utama

Q: Soalan lain yang saya nak tanya ialah skala. Ringkasnya, saiz nampaknya paling penting. Skala data dan skala kuasa pengkomputeran. Jadi makmal penyelidikan besar, gergasi teknologi besar mempunyai kelebihan besar hari ini. Apa pandangan anda tentang ini? Adakah saiz segala-galanya? Jika tidak, apa lagi yang penting?

Kapasi: Saya rasa skala pasti nombor satu.

Ada beberapa perincian yang betul-betul perlu dijaga. Saya fikir penyediaan set data juga sangat penting, menjadikan data sangat baik dan sangat bersih, yang boleh menjadikan pengiraan lebih cekap.

Tetapi saya rasa skala akan menjadi faktor penentu utama, bahan utama pertama, dan sudah tentu anda perlu mendapatkan banyak perkara lain dengan betul.

Jika anda tidak mempunyai skala, anda pada asasnya tidak boleh melatih model besar ini. Jika anda hanya melakukan perkara seperti penalaan halus, anda mungkin tidak memerlukan skala itu, tetapi kami masih belum melihatnya sepenuhnya.

Q: Bolehkah anda menghuraikan faktor lain yang anda fikir penting selain skala, mungkin dengan keutamaan yang lebih rendah?

Kapasi: Pertama sekali, anda tidak boleh hanya melatih model ini. Jika anda hanya menyediakan pembiayaan dan skala, masih sangat sukar untuk benar-benar melatih model ini.

Sebahagian daripada sebabnya ialah infrastruktur yang terlalu baru, masih dalam pembangunan, dan belum siap. Tetapi melatih model pada skala ini adalah amat sukar dan merupakan masalah pengoptimuman teragih yang sangat kompleks. Bakat dalam bidang ini pada masa ini agak terhad. Pada asasnya, model ini dijalankan pada beribu-ribu GPU, gagal secara rawak pada masa yang berbeza. Memantau proses ini dan menjadikannya berfungsi sebenarnya merupakan satu cabaran yang amat sukar.

Sehingga baru-baru ini, GPU tidak berkemampuan seperti yang diharapkan untuk mengendalikan 10,000 beban kerja GPU. Jadi saya rasa banyak infrastruktur berderit di bawah tekanan ini dan kita perlu menanganinya.

Sekarang, jika anda hanya memberi seseorang sejumlah wang atau sekumpulan GPU, saya tidak pasti mereka boleh menghasilkan model besar secara langsung, itulah sebabnya ia bukan hanya soal skala. Anda sebenarnya memerlukan banyak kepakaran, termasuk infrastruktur, algoritma dan data, dan anda perlu berhati-hati.

Q: Ekosistem berkembang dengan begitu pantas, dan beberapa cabaran yang kami fikir wujud setahun lalu semakin ditangani. Ilusi, tingkap kontekstual, keupayaan berbilang modal, inferens semakin cepat dan lebih murah. Apakah cabaran penyelidikan model bahasa lain yang membuatkan anda terjaga pada waktu malam sekarang? Apakah masalah yang anda fikir cukup mendesak tetapi juga boleh diselesaikan?

Kapasi: Saya fikir dari segi algoritma, salah satu perkara yang saya fikirkan adalah perbezaan yang jelas antara model resapan dan model autoregresif. Kesemuanya adalah cara untuk mewakili taburan kebarangkalian. Ternyata modaliti yang berbeza jelas meminjamkan diri kepada satu atau yang lain. Saya fikir mungkin ada ruang untuk menyatukan mereka, atau menghubungkan mereka dalam beberapa cara.

Satu lagi perkara yang saya ingin nyatakan ialah kecekapan sedia ada infrastruktur yang menjalankan model besar. Otak saya menggunakan kira-kira 20 watt. Huang baru sahaja bercakap tentang superkomputer berskala besar yang mereka mahu bina di GTC, dan nombornya semuanya dalam julat megawatt. Jadi mungkin anda tidak memerlukan tenaga sebanyak itu untuk menjalankan otak. Saya tidak tahu berapa banyak masa yang diperlukan, tetapi saya rasa selamat untuk mengatakan bahawa kita boleh mencapai mana-mana dari 1,000x hingga 1,000,000x lebih cekap dalam menjalankan model ini.

Saya rasa sebahagian daripada sebabnya ialah komputer semasa tidak sesuai untuk beban kerja ini. GPU Nvidia adalah langkah yang baik ke arah ini, kerana anda memerlukan keselarian yang sangat tinggi. Kami tidak begitu mengambil berat tentang pengiraan berjujukan yang bergantung pada data dalam beberapa cara. Kita hanya perlu melaksanakan algoritma yang sama pada banyak elemen tatasusunan yang berbeza. Jadi saya fikir nombor satu adalah menyesuaikan seni bina komputer untuk menampung aliran kerja data baharu, dan nombor dua sedang mendorong beberapa perkara yang sedang kami lihat penambahbaikan.

Yang pertama mungkin ketepatan. Kami telah melihat penurunan ketepatan daripada dua kali ganda 64-bit asal kepada kini 4, 5, 6 bit, atau bahkan 1.5 hingga 8 bit bergantung pada kertas yang anda baca. Jadi saya fikir ketepatan adalah tuil besar dalam mengawal masalah ini.

Yang kedua sudah tentu jarang. Malah, banyak parameter dalam model besar adalah sifar, atau hampir kepada sifar. Jadi adalah bagus jika anda boleh mengeksploitasi ini dalam beberapa cara, katakan dengan menjadikan pendaraban matriks jarang lebih cekap. Terdapat beberapa penyelidikan yang menjanjikan dalam bidang ini.

Juga terdapat beberapa idea menarik seperti Penguraian Nilai Singular (SVD) untuk melihat sama ada anda boleh menguraikannya kepada matriks yang lebih kecil dan kemudian memasangnya semula. Sebagai contoh, hanya perambatan ke hadapan dikira tanpa perambatan belakang, dan model yang lebih kecil dilatih untuk meramalkan output model yang lebih besar.

Jadi saya fikir, secara asasnya, terdapat dua masalah untuk diselesaikan:

Satunya ialah membina perkakasan yang lebih sesuai. Satu lagi ialah mencari algoritma yang lebih baik yang meningkatkan kecekapan sambil mengekalkan prestasi.

Saya rasa masih banyak ruang untuk penerokaan dalam kedua-dua aspek. Dari perspektif kecekapan tenaga, jika kita dapat menutup jurang dengan otak, itu akan menjadi peningkatan yang besar. Ini mungkin bermakna bahawa setiap daripada kita mampu membeli model, atau menjalankan model pada peranti kita tanpa perlu disambungkan ke awan.

Musk "sedang menjalankan syarikat permulaan terbesar di dunia"

Q: Okey, mari tukar topik. Anda telah bekerja bersama ramai orang hebat era ini, Sam, Greg dan ahli pasukan lain di OpenAI, serta Musk.

Berapa ramai daripada anda di sini pernah mendengar jenaka tentang pasukan dayung AS dan pasukan dayung Jepun? Ini adalah cerita yang menarik. Musk telah berkongsi jenaka ini, dan saya fikir ia mencerminkan banyak falsafahnya tentang membina budaya dan pasukan. Terdapat dua pasukan dalam cerita, pasukan Jepun mempunyai 4 pendayung dan 1 lembu jantan, dan pasukan Amerika mempunyai 4 lembu jantan dan 1 lembu jantan. Bolehkah sesiapa meneka apa yang akan dilakukan oleh Pasukan USA apabila mereka kalah? Bersuara. Tepat sekali, mereka akan memecat pengayuh itu.

Apabila Musk berkongsi contoh ini, saya rasa dia menerangkan pandangannya tentang mengupah bakat yang betul dan membina pasukan yang betul. Apakah yang anda pelajari daripada bekerja rapat dengan pemimpin yang luar biasa ini?

Kappasi: Saya akan katakan cara Musk mengendalikan syarikatnya sangat unik. Saya rasa seperti orang tidak benar-benar menyedari betapa istimewanya ia. Walaupun anda mendengar orang lain bercakap mengenainya, sukar untuk anda memahaminya sepenuhnya. Sukar untuk saya gambarkan dengan kata-kata. Saya pun tak tahu nak mula dari mana. Tetapi ia adalah cara yang sangat unik dan berbeza untuk melakukannya.

Dalam perkataan saya, Beliau menjalankan syarikat permulaan terbesar di dunia. Saya rasa sukar untuk saya menerangkannya dengan jelas sekarang, dan mungkin mengambil masa yang lebih lama untuk berfikir dan merumuskan.

Tetapi pertama sekali, dia suka untuk membentuk sebuah syarikat oleh pasukan kecil dengan kekuatan yang kuat dan kandungan teknikal yang tinggi.

Di syarikat lain, saiz pasukan sering meningkat semasa proses pembangunan. Musk, sebaliknya, sentiasa menentang pengembangan berlebihan pasukan. Saya terpaksa bekerja keras untuk mengambil pekerja. Saya terpaksa merayu kepadanya untuk membenarkan saya merekrut orang.

Selain itu, selalunya sukar bagi syarikat besar untuk menyingkirkan pekerja yang berprestasi rendah. Musk pula lebih bersedia mengambil inisiatif memberhentikan pekerja.

Malah, saya terpaksa berhempas pulas untuk mengekalkan beberapa pekerja kerana dia selalu ingkar untuk memberhentikan mereka.

Jadi perkara pertama adalah untuk mengekalkan pasukan kecil dengan kekuatan yang kuat dan kemahiran yang sangat baik. Sama sekali tiada pengurusan pertengahan bukan teknikal. Ini adalah perkara yang paling penting.

Poin kedua ialah bagaimana dia mencipta suasana bekerja dan perasaan yang dia berikan kepada orang ramai apabila dia masuk ke pejabat.

Dia mahu persekitaran kerja menjadi dinamik. Orang ramai bergerak, berfikir tentang perkara, fokus pada perkara yang menarik. Mereka sama ada menulis dan melukis di papan putih, atau menaip kod di hadapan komputer. Dia tidak suka kolam air bertakung, dan dia tidak suka kekurangan kehidupan di pejabat.

Dia juga tidak suka pertemuan yang panjang dan sentiasa menggalakkan orang ramai untuk pergi dengan tegas apabila mesyuarat tidak bermakna. Anda benar-benar dapat melihat bahawa jika anda tidak mempunyai apa-apa untuk menyumbang dan mendapat keuntungan daripada mesyuarat itu, anda boleh keluar sahaja, dan dia sangat menyokongnya. Saya fikir ini sukar untuk dilihat di syarikat lain.

Jadi saya rasa mewujudkan suasana kerja yang positif adalah konsep penting kedua yang dia tanamkan. Mungkin ini juga termasuk kecenderungan untuk syarikat terlalu melindungi pekerja mereka apabila mereka semakin besar. Itu tidak akan berlaku di syarikatnya. Budaya syarikat ialah anda perlu menunjukkan 100% kebolehan profesional anda, dan kadar kerja serta intensiti adalah sangat tinggi.

Saya rasa perkara terakhir yang mungkin paling unik, menarik dan luar biasa ialah dia sangat berhubung dengan pasukan.

Biasanya CEO syarikat adalah orang yang tidak dapat dihubungi yang menguruskan 5 peringkat bawahan dan hanya berkomunikasi dengan naib presiden berkomunikasi dengan penyelia bawahan mereka, dan penyelia berkomunikasi dengan pengurus anda sahaja dialog bos. Tetapi Musk menjalankan syarikat itu sama sekali berbeza. Dia akan datang ke pejabat dan bercakap terus dengan jurutera.

Apabila kami mengadakan mesyuarat, selalunya terdapat 50 orang di dalam bilik persidangan bersemuka dengan Musk, dan dia bercakap terus dengan jurutera. Dia tidak mahu bercakap dengan VP dan eksekutif sahaja.

Biasanya seorang CEO akan menghabiskan 99% masanya untuk berkomunikasi dengan naib presiden, dan dia mungkin menghabiskan 50% masanya untuk berkomunikasi dengan jurutera. Jadi jika pasukan itu kecil dan cekap, jurutera dan kod adalah sumber maklumat yang paling dipercayai. Mereka mempunyai pengetahuan langsung tentang kebenaran. Musk mahu berkomunikasi secara langsung dengan jurutera untuk memahami situasi sebenar dan membincangkan cara memperbaikinya.

Jadi saya akan katakan ia agak unik bahawa dia disambungkan kepada pasukan dan bukan di luar jangkauan.

Selain itu, cara dia menggunakan kuasa dalam syarikat adalah luar biasa. Contohnya, jika dia bercakap dengan jurutera dan mengetahui tentang beberapa masalah yang menghalang kemajuan projek. Contohnya, jika jurutera berkata, "Saya tidak mempunyai GPU yang mencukupi untuk menjalankan program," dia akan mengambil kiranya. Jika dia mendengar aduan yang sama dua kali, dia akan berkata, "Baiklah, ini masalah. Jadi apa jadualnya sekarang? Bilakah ia akan diselesaikan?" “Saya akan bercakap dengan orang yang bertanggungjawab ke atas kluster GPU,” dan seseorang akan menghubungi orang itu, dan dia akan berkata secara literal, “Berikan saya laporan kemajuan harian mulai esok akan digandakan.”

Pihak satu lagi mungkin syirik dengan mengatakan masih perlu melalui proses perolehan yang akan mengambil masa 6 bulan. Pada masa ini Musk akan mengerutkan kening dan berkata: "Baiklah, saya mahu bercakap dengan Huang Renxun, kemudian dia akan terus menghapuskan halangan projek."

Jadi saya rasa orang ramai tidak menyedari betapa mendalamnya penglibatan beliau dalam pelbagai tugas, melepasi halangan dan menggunakan pengaruh.

Sejujurnya, jika anda meninggalkan persekitaran sedemikian dan pergi ke syarikat biasa, anda pasti akan merindui tempat-tempat unik ini.

Atas ialah kandungan terperinci Pemimpin saya Musk: Benci mesyuarat, tidak mahu pengurus pertengahan bukan teknikal, dan menyokong pemberhentian. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!