Dibintangi oleh Teknologi Sun Yuanhao: Corpus sudah menjadi cabaran terbesar untuk model besar

"Saya pada asalnya menyangka bahawa korpus itu sudah terhad, dan tidak ada korpus untuk latihan model besar. Sebenarnya, ini tidak berlaku. Data masih jauh dari kehabisan."

Sebagai usahawan dalam bidang data besar selama lebih daripada sepuluh tahun, Sun Yuanhao, pengasas dan Ketua Pegawai Eksekutif "Starring Technology", tidak bersetuju dengan kenyataan bahawa "model besar telah kehabisan data Internet manusia."

Menurut pemerhatiannya, data dalam perusahaan dalam pelbagai industri masih jauh daripada digunakan sepenuhnya Stok data manusia di Internet jauh lebih besar daripada yang boleh digunakan oleh model besar semasa. Dengan data berkualiti tinggi dari pelbagai industri ini, model besar boleh meningkatkan ketepatan berdasarkan piawaian hari ini.

Persoalan utama ialah, bagaimana untuk membangunkan data ini dengan cekap?

Dalam era model besar, pembangunan korpus telah menghadapi cabaran baharu. Sun Yuanhao berkongsi bahawa pada masa ini, data dalam perusahaan selalunya tidak berstruktur, besar-besaran, dalam bentuk yang berbeza, dan kebanyakannya fail kecil Pada masa yang sama, terdapat ambang yang tinggi untuk pelabelan dan membetulkan data profesional ini. Ini mengemukakan keperluan baharu untuk sistem fail, sistem pangkalan pengetahuan, sistem pembangunan korpus, dsb.

Sebagai contoh, berhadapan dengan masalah jumlah data yang besar, pemprosesan pelbagai dokumen dan PPT dalam perusahaan bermakna keperluan yang lebih tinggi untuk storan dan sumber pengkomputeran dari segi kepelbagaian data, jenis data yang berbeza dalam perusahaan Dokumen, seperti artikel media, dokumen kerajaan, dokumen reka bentuk, dsb., semuanya perlu diiktiraf dan dihuraikan menggunakan model latihan, yang memerlukan alat pemprosesan data untuk mempunyai keupayaan pemprosesan data berbilang modal yang berkuasa.

Berkenaan isu keselamatan dan privasi data, cara memastikan kerahsiaan dan keselamatan maklumat dalaman dalam perusahaan semasa proses latihan dan inferens juga mengemukakan keperluan baharu untuk kawalan keselamatan alat anotasi data profesional isu bakat , Sejak pemprosesan data dalaman dalam perusahaan selalunya merupakan anotasi dalam bidang profesional, seperti formula biomolekul atau istilah kewangan profesional, lebih ramai pakar anotasi data profesional diperlukan untuk pemprosesan.

Untuk menangani cabaran ini, Sun Yuanhao berkongsi beberapa percubaan Starring Technology:

1. Mettre à niveau la plateforme Big Data : Mettez à niveau la plateforme de données Transwarp Data Hub pour lui permettre de gérer des données plus diversifiées, notamment un grand nombre de documents et de petits fichiers. En reconstruisant le nœud de gestion des données sources et en ajoutant des interfaces POSIX, les capacités de prise en charge du système de fichiers et l'efficacité du stockage des données sont améliorées.

2. Ajouter une interface Python : Ajoutez une interface Python au hub de données et distribuez le langage et les bibliothèques Python afin que le langage Python puisse être utilisé pour le nettoyage lors du traitement du corpus. Cela contribue à améliorer l’efficacité et la flexibilité du traitement du corpus.

3. Lancement du moteur Python distribué : Compte tenu de la situation où le volume du corpus est généralement de plusieurs dizaines ou centaines de T, le moteur Python distribué est lancé pour améliorer la capacité et l'efficacité du traitement de corpus massifs .

4. Optimisez la base de données vectorielles : Mettez à niveau la base de données vectorielles pour améliorer la précision du rappel et les performances distribuées, la rendant ainsi plus à même de prendre en charge le traitement et la récupération de données à grande échelle.

5. Créer un graphique de connaissances : Fournissez l'outil de connaissances Transwarp Knowledge Studio pour LLM pour créer un graphique de connaissances afin de compenser le manque de précision du rappel vectoriel. Par exemple, dans le scénario de maintenance de l'équipement, le nombre de défauts d'équipement, les rapports de remise à zéro, etc. sont importés dans le graphique de connaissances. Le grand modèle peut effectuer un raisonnement sur le graphique de connaissances lors de la réponse aux questions, fournissant ainsi des réponses plus précises.

6. Développer des outils de développement de corpus : Lancer des outils de développement de corpus, notamment des fonctions d'analyse, de classification, de nettoyage, d'annotation, d'amélioration et autres, ainsi que de construire des paires de questions et réponses et des ensembles de tests de sécurité à partir du corpus. Il est utilisé pour traiter automatiquement ou semi-automatiquement divers types de documents, vocaux et vidéo, et les convertir en corpus de haute qualité pouvant être utilisé pour la formation de grands modèles.

7. Fournir une chaîne d'outils pour les grands modèles : Fournir une chaîne d'outils complète pour les grands modèles, comprenant une série de processus allant de la génération de corpus à la formation de modèles, en passant par la construction d'une base de connaissances, le développement d'applications, la construction d'agents et la planification du calcul. outil électrique. Cela contribue à améliorer l’efficacité de la construction et les capacités de gestion des applications de grands modèles.

8. Créez des applications natives d'IA : Lancez des applications natives d'IA telles que Wuya·Wenzhi et Wuya·Wenshu pour réaliser la récupération d'informations internes et l'analyse de données au sein de l'entreprise, et améliorer l'efficacité et la commodité du traitement des données.

9. Prise en charge de plusieurs modèles et sources de données : Prise en charge de modèles tiers, qu'ils soient open source ou commerciaux, et de plusieurs sources de données, notamment une base de connaissances personnelle, une base de connaissances d'entreprise, une base de données financière, une base de données juridique et réglementaire, etc. ., pour améliorer la flexibilité et l’adaptabilité du traitement des données.

Sur cette base, les entreprises peuvent télécharger directement différents types d'informations, et les produits seront rapidement analysés pour former leur propre base de connaissances. Cependant, développer et publier davantage de données internes au sein de l'entreprise n'est pas la fin. Sun Yuanhao estime que l'amélioration de la qualité du corpus constitue actuellement le plus grand défi pour améliorer la précision des grands modèles.

"Maintenant, la structure du modèle n'est plus un secret pour tout le monde, et la méthode d'entraînement n'est pas un secret, mais il n'y a pas de corpus. Le corpus existe à divers endroits, car le travail est très énorme, c'est un énorme travail physique travail, C'est Le plus grand défi du moment n'en fait pas partie, c'est le plus grand défi

.

De plus, dans la pratique de la mise en œuvre de grands modèles, Sun Yuanhao estime que les méthodes actuelles pour améliorer la précision des modèles sont les suivantes :

1 Créer une base de connaissances de plug-ins : Intégrer les informations et les articles de l'entreprise. Après l'analyse, placez-le dans la base de connaissances et laissez le grand modèle se référer au contenu de la base de connaissances pour l'écriture ou l'analyse. C'est un moyen d'améliorer rapidement la précision du modèle.

2. Affiner le modèle : En affinant le grand modèle, il peut apprendre les connaissances et les habitudes linguistiques d'un domaine spécifique, améliorant ainsi la précision du modèle dans ce domaine.

3. Formation continue : Pour des domaines tels que la finance, il est nécessaire d'alimenter en continu une grande quantité de corpus aux grands modèles pour améliorer la précision du modèle et sa capacité à répondre aux questions financières.

4. Fournir des outils de développement de corpus : Développer des outils de développement de corpus pour aider les entreprises à organiser et à nettoyer les corpus et à les convertir dans un format adapté à la formation de grands modèles, améliorant ainsi la précision du modèle.

5. Combinaison de plusieurs méthodes : Vous pouvez combiner les méthodes ci-dessus, telles que la création d'une base de connaissances de plug-in tout en affinant ou en entraînant continuellement le modèle pour améliorer encore la précision du modèle.

Sun Yuanhao a dit métaphoriquement qu'au cours de la dernière année, il a dit que le grand modèle est un « étudiant en arts libéraux » parce qu'il peut écrire et générer. L'objectif de Xinghuan est de former le grand modèle pour en faire un étudiant en sciences, en espérant qu'il puisse faire des analyses mathématiques, comprendre divers domaines et disciplines des sciences naturelles. Grâce à l'outil AI Infra de Xinghuan Technology, les entreprises peuvent convertir avec précision et efficacité un corpus multimodal provenant de sources multiples en connaissances professionnelles de haute qualité, permettant ainsi aux entreprises de créer des barrières de connaissances.

Atas ialah kandungan terperinci Dibintangi oleh Teknologi Sun Yuanhao: Corpus sudah menjadi cabaran terbesar untuk model besar. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!