Berapa banyak syarikat pelabelan AI yang akan membunuh "langkah besar" Google?

Sebuah bengkel kecil buatan tangan akhirnya tidak sepadan dengan barisan pemasangan kilang.

Jika AI generatif semasa adalah kanak-kanak yang sedang berkembang pesat, maka data berterusan adalah makanan yang memberi makan kepada pertumbuhannya.

Anotasi data ialah proses membuat "makanan" ini

Namun, proses ini sungguh memenatkan dan memenatkan.

"Annotator" yang melakukan anotasi bukan sahaja perlu berulang kali mengenal pasti pelbagai objek, warna, bentuk dan lain-lain dalam imej, malah kadangkala perlu membersihkan dan memproses data terlebih dahulu.

Dengan kemajuan berterusan teknologi kecerdasan buatan, batasan anotasi data manual menjadi semakin jelas. Anotasi data manual bukan sahaja memakan masa dan usaha, tetapi kadangkala sukar untuk memastikan kualiti

Untuk menyelesaikan masalah ini, Google baru-baru ini mencadangkan kaedah yang dipanggil AI Feedback Reinforcement Learning (RLAIF), dengan menggunakan model besar untuk menggantikan manusia untuk anotasi keutamaan

Hasil penyelidikan menunjukkan bahawa RLAIF boleh mencapai peningkatan yang setara dengan pembelajaran pengukuhan dengan maklum balas manusia (RLHF) tanpa bergantung pada anotasi manusia, dan kadar kemenangan kedua-duanya ialah 50%. Di samping itu, kajian juga mendapati bahawa kedua-dua RLAIF dan RLHF adalah lebih baik daripada strategi garis dasar penyeliaan penalaan halus (SFT)

Keputusan ini menunjukkan bahawa RLAIF tidak perlu bergantung pada anotasi manual dan merupakan alternatif yang boleh dilaksanakan kepada RLHF.

Jika teknologi ini benar-benar dipromosikan dan dipopularkan secara meluas pada masa hadapan, adakah banyak syarikat yang bergantung kepada "kotak tarik" manual untuk anotasi data akan menghadapi situasi terdesak?

01 Status semasa anotasi data

Jika kita ingin meringkaskan secara ringkas status semasa industri anotasi domestik, ia adalah: Beban kerja adalah besar, tetapi kecekapannya tidak begitu tinggi, dan ia adalah keadaan yang tidak bersyukur.

Syarikat yang ditanda dipanggil kilang data dalam bidang AI dan biasanya tertumpu di Asia Tenggara, Afrika, atau kawasan yang mempunyai sumber manusia yang kaya seperti Henan, Shanxi dan Shandong di China.

Untuk mengurangkan kos, bos syarikat pelabelan akan menyewa ruang di daerah untuk meletakkan peralatan komputer. Apabila ada tempahan, mereka akan ambil pekerja sambilan berdekatan untuk mengendalikannya Jika tiada tempahan, mereka akan bubar dan berehat

Secara mudahnya, kerja jenis ini agak serupa dengan pekerja hiasan sementara di tepi jalan.

Di stesen kerja, sistem secara rawak akan memberikan "annotator" satu set data, yang biasanya merangkumi beberapa soalan dan beberapa jawapan.

Selepas itu, "annotator" perlu menandai jenis soalan terlebih dahulu, dan kemudian menjaring dan mengisih jawapan.

Sebelum ini, apabila orang ramai bercakap tentang jurang antara model besar domestik dan model besar termaju seperti GPT-4, mereka merumuskan sebab kualiti data domestik yang rendah.

Mengapa kualiti data tidak tinggi? Sebahagian daripada sebabnya terletak pada "talian paip" anotasi data

Pada masa ini, terdapat dua jenis sumber data untuk model besar Cina, satu set data sumber terbuka yang lain ialah data Internet Cina yang dirangkak melalui perangkak.

Salah satu sebab utama prestasi model besar Cina tidak cukup baik ialah kualiti data Internet Sebagai contoh, profesional umumnya tidak menggunakan Baidu semasa mencari maklumat.

Oleh itu, apabila menghadapi beberapa masalah data yang lebih profesional dan menegak, seperti penjagaan perubatan, kewangan, dll., adalah perlu untuk bekerjasama dengan pasukan profesional.

Tetapi pada masa ini, masalah timbul lagi: untuk pasukan profesional, bukan sahaja tempoh bayaran balik untuk data adalah panjang, tetapi penggerak pertama mungkin mengalami kerugian.

Sebagai contoh, pasukan anotasi tertentu menghabiskan banyak wang dan masa untuk mencipta banyak data, tetapi yang lain mungkin hanya membungkusnya dan membelinya dengan jumlah wang yang kecil.

Berdepan dengan "dilema penunggang bebas" ini, banyak model domestik besar telah jatuh ke dalam situasi pelik di mana walaupun terdapat banyak data, kualitinya tidak tinggi

Dalam kes ini, bagaimanakah beberapa syarikat AI asing terkemuka, seperti OpenAI, menyelesaikan masalah ini?

OpenAI tidak berputus asa menggunakan tenaga buruh yang murah dan intensif untuk mengurangkan kos dalam anotasi data

Sebagai contoh, sebelum ini didedahkan bahawa ia telah mengupah sejumlah besar pekerja Kenya untuk melabelkan maklumat toksik pada harga AS$2/jam.

Namun, perbezaan penting ialah cara menyelesaikan masalah kualiti data dan kecekapan anotasi

Secara khusus, perbezaan terbesar antara OpenAI dan syarikat domestik dalam hal ini ialah cara mengurangkan kesan "subjektiviti" dan "ketidakstabilan" anotasi manual.

02 Pendekatan OpenAI Apabila menulis semula kandungan, bahasa perlu ditulis semula ke dalam bahasa Cina, dan ayat asal tidak perlu muncul

Untuk mengurangkan "subjektiviti" dan "ketidakstabilan" anotasi manusia sedemikian, OpenAI secara kasarnya menggunakan dua strategi utama:

1. Gabungan maklum balas tiruan dan pembelajaran pengukuhan

Apabila menulis semula, kandungan asal perlu ditukar kepada bahasa Cina. Inilah rupanya selepas menulis semula: Mula-mula, mari kita bercakap tentang pelabelan. Perbezaan terbesar antara maklum balas tiruan OpenAI dan maklum balas domestik ialah ia terutamanya menyusun atau menjaringkan kelakuan sistem pintar, dan bukannya mengubah suai atau melabelkan outputnya

Tingkah laku sistem pintar merujuk kepada satu siri tindakan atau keputusan yang diambil oleh sistem pintar dalam persekitaran yang kompleks berdasarkan matlamat dan strateginya sendiri

Seperti bermain permainan, mengawal robot, bercakap dengan orang, dll.

Keluaran sistem pintar merujuk kepada penjanaan hasil atau jawapan berdasarkan data input dalam tugas mudah, seperti menulis artikel atau melukis lukisan.

Secara umumnya, tingkah laku sistem pintar selalunya sukar untuk dinilai dari segi "betul" atau "salah", sebaliknya perlu dinilai dari segi keutamaan atau kepuasan

Sistem penilaian jenis ini berdasarkan "keutamaan" atau "kepuasan" tidak memerlukan pengubahsuaian atau anotasi kandungan tertentu, sekali gus mengurangkan kesan subjektiviti manusia, tahap pengetahuan dan faktor lain terhadap kualiti dan ketepatan anotasi data

Memang benar bahawa perusahaan domestik juga akan menggunakan sistem yang serupa dengan "penyisihan" dan "pemarkahan" semasa melabelkan, bagaimanapun, disebabkan kekurangan "model ganjaran" seperti OpenAI sebagai fungsi ganjaran untuk mengoptimumkan strategi sistem pintar. "isihan" dan "Pemarkahan" itu pada asasnya masih merupakan kaedah mengubah suai atau menganotasi output.

2. Saluran sumber data yang pelbagai dan berskala besar

Sumber utama anotasi data di China ialah syarikat anotasi pihak ketiga atau pasukan syarikat teknologi yang dibina sendiri Pasukan ini kebanyakannya terdiri daripada mahasiswa dan tidak mempunyai profesionalisme dan pengalaman yang mencukupi untuk memberikan maklum balas yang berkualiti tinggi dan cekap.

Sebaliknya, maklum balas manusia OpenAI diperoleh melalui pelbagai saluran dan pasukan

OpenAI bekerjasama dengan berbilang syarikat dan institusi data, seperti Scale AI, Appen, Lionbridge AI, dsb., bukan sahaja menggunakan set data sumber terbuka dan perangkak Internet untuk mendapatkan data, tetapi juga komited untuk mendapatkan data yang lebih pelbagai dan berkualiti tinggi

Kaedah pelabelan syarikat dan institusi data ini lebih "automatik" dan "pintar" berbanding rakan sejawat domestik mereka

Sebagai contoh, Skala AI menggunakan teknologi yang dipanggil Snorkel, iaitu kaedah pelabelan data berdasarkan pembelajaran yang diselia dengan lemah yang boleh menjana label berkualiti tinggi daripada pelbagai sumber data yang tidak tepat.

Pada masa yang sama, Snorkel juga boleh menggunakan pelbagai isyarat seperti peraturan, model dan pangkalan pengetahuan untuk menambah label pada data tanpa melabel secara manual setiap titik data secara langsung. Ini boleh mengurangkan kos dan masa anotasi manual.

Dengan kos anotasi data dikurangkan dan kitaran dipendekkan, syarikat data yang mempunyai kelebihan daya saing ini boleh memilih subbahagian bernilai tinggi, sukar dan ambang tinggi, seperti pemanduan autonomi, model bahasa besar, data sintetik, dll., untuk secara berterusan meningkatkan daya saing teras sendiri dan kelebihan yang berbeza

Dengan cara ini, dilema menunggang bebas "penggerak pertama akan menderita" juga telah dihapuskan oleh halangan teknikal dan industri yang kukuh.

Perbandingan antara standardisasi dan bengkel kecil

Ia dapat dilihat bahawa Teknologi pelabelan automatik AI benar-benar akan menghapuskan hanya syarikat pelabelan yang masih menggunakan pelabelan manual semata-mata.

Walaupun anotasi data kelihatan seperti industri "intensif buruh", setelah anda menyelidiki butirannya, anda akan mendapati bahawa mengejar data berkualiti tinggi bukanlah satu tugas yang mudah.

Diwakili oleh Scale AI, unicorn anotasi data luar negara, Scale AI bukan sahaja menggunakan sumber manusia murah dari Afrika dan tempat lain, tetapi juga merekrut berpuluh-puluh PhD untuk menangani data profesional dalam pelbagai industri.

Nilai terbesar yang diberikan oleh Scale AI kepada syarikat model besar seperti OpenAI ialah kualiti anotasi data

Untuk memastikan kualiti data ke tahap yang terbaik, selain penggunaan anotasi berbantukan AI yang dinyatakan di atas, Satu lagi inovasi utama Skala AI ialah platform data bersatu.

Platform ini termasuk Audit Skala, Analitis Skala, Kualiti ScaleData, dsb. Melalui platform ini, pelanggan boleh memantau dan menganalisis pelbagai penunjuk dalam proses anotasi, mengesahkan dan mengoptimumkan data anotasi serta menilai ketepatan, ketekalan dan kesempurnaan anotasi.

Boleh dikatakan alat dan proses yang seragam dan bersatu telah menjadi faktor utama dalam membezakan "kilang pemasangan" dan "bengkel buatan tangan" dalam syarikat pelabelan.

Dalam hal ini, kebanyakan syarikat anotasi domestik masih menggunakan "semakan manual" untuk menyemak kualiti anotasi data Hanya beberapa syarikat gergasi seperti Baidu telah memperkenalkan alat pengurusan dan penilaian yang lebih maju, seperti platform perkhidmatan data pintar EasyData.

Jika tiada alat khusus untuk memantau dan menganalisis hasil dan penunjuk anotasi, maka dari segi semakan data utama, kawalan kualiti data hanya boleh bergantung pada pengalaman manual Kaedah ini masih boleh mencapai tahap seperti bengkel

Oleh itu, semakin banyak syarikat China, seperti Baidu, My Neighbor Totoro Data, dll., mula menggunakan pembelajaran mesin dan teknologi kecerdasan buatan untuk meningkatkan kecekapan dan kualiti anotasi data serta merealisasikan model kerjasama manusia-mesin

Dari perspektif ini, kemunculan pelabelan kecerdasan buatan tidak bermakna berakhirnya syarikat pelabelan domestik, tetapi berakhirnya kaedah pelabelan intensif buruh tradisional yang tidak cekap, murah dan kekurangan kandungan teknikal

Atas ialah kandungan terperinci Berapa banyak syarikat pelabelan AI yang akan membunuh "langkah besar" Google?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!