Avec la technologie Sun Yuanhao : Corpus est déjà le plus grand défi pour les grands modèles

"Au départ, je pensais que le corpus était déjà rare, et qu'il n'existait pas de corpus pour la formation de grands modèles. En fait, ce n'est pas le cas. Les données sont loin d'être épuisées."

En tant qu'entrepreneur dans le domaine du big data depuis plus de dix ans, Sun Yuanhao, fondateur et PDG de "Starring Technology", n'est pas d'accord avec l'affirmation selon laquelle "les grands modèles ont épuisé les données humaines sur Internet".

Selon son observation, les données au sein des entreprises de divers secteurs sont encore loin d'être pleinement utilisées. Le stock de données humaines sur Internet est bien plus important que ce que les grands modèles actuels peuvent utiliser. Grâce à ces données de haute qualité provenant de divers secteurs, les grands modèles peuvent considérablement améliorer la précision sur la base des normes actuelles.

La question clé est la suivante : comment pouvons-nous développer ces données de manière efficace ?

À l'ère des grands modèles, le développement des corpus a rencontré de nouveaux défis. Sun Yuanhao a expliqué qu'à l'heure actuelle, les données au sein des entreprises sont souvent non structurées, massives, sous différentes formes et pour la plupart de petits fichiers. Dans le même temps, il existe un seuil élevé pour l'étiquetage et la correction de ces données professionnelles. Cela met en avant de nouvelles exigences pour les systèmes de fichiers, les systèmes de base de connaissances, les systèmes de développement de corpus, etc.

Par exemple, face au problème des énormes quantités de données, le traitement de divers documents et PPT au sein de l'entreprise implique des exigences plus élevées en termes de ressources de stockage et de calcul en termes de diversité des données, de différents types de données au sein de l'entreprise ; Les documents, tels que les articles de presse, les documents gouvernementaux, les documents de conception, etc., doivent tous être reconnus et analysés à l'aide de modèles de formation, ce qui nécessite que les outils de traitement de données disposent de puissantes capacités de traitement de données multimodales.

En ce qui concerne les questions de sécurité et de confidentialité des données, la manière d'assurer la confidentialité et la sécurité des informations internes de l'entreprise pendant le processus de formation et d'inférence met également en avant de nouvelles exigences en matière de contrôle de sécurité des outils professionnels d'annotation des données. le traitement des données internes au sein de l'entreprise est souvent annoté dans des domaines professionnels, tels que les formules biomoléculaires ou les conditions financières professionnelles, des experts plus professionnels en annotation de données sont nécessaires pour le traitement.

Afin de relever ces défis, Sun Yuanhao a partagé certaines des tentatives de Starring Technology :

1. Mettre à niveau la plateforme Big Data : Mettez à niveau la plateforme de données Transwarp Data Hub pour lui permettre de gérer des données plus diversifiées, notamment un grand nombre de documents et de petits fichiers. En reconstruisant le nœud de gestion des données sources et en ajoutant des interfaces POSIX, les capacités de prise en charge du système de fichiers et l'efficacité du stockage des données sont améliorées.

2. Ajouter une interface Python : Ajoutez une interface Python au hub de données et distribuez le langage et les bibliothèques Python afin que le langage Python puisse être utilisé pour le nettoyage lors du traitement du corpus. Cela contribue à améliorer l’efficacité et la flexibilité du traitement du corpus.

3. Lancement du moteur Python distribué : Compte tenu de la situation où le volume du corpus est généralement de plusieurs dizaines ou centaines de T, le moteur Python distribué est lancé pour améliorer la capacité et l'efficacité du traitement de corpus massifs .

4. Optimisez la base de données vectorielles : Mettez à niveau la base de données vectorielles pour améliorer la précision du rappel et les performances distribuées, la rendant ainsi plus à même de prendre en charge le traitement et la récupération de données à grande échelle.

5. Créer un graphique de connaissances : Fournissez l'outil de connaissances Transwarp Knowledge Studio pour LLM pour créer un graphique de connaissances afin de compenser le manque de précision du rappel vectoriel. Par exemple, dans le scénario de maintenance de l'équipement, le nombre de défauts d'équipement, les rapports de remise à zéro, etc. sont importés dans le graphique de connaissances. Le grand modèle peut effectuer un raisonnement sur le graphique de connaissances lors de la réponse aux questions, fournissant ainsi des réponses plus précises.

6. Développer des outils de développement de corpus : Lancer des outils de développement de corpus, notamment des fonctions d'analyse, de classification, de nettoyage, d'annotation, d'amélioration et autres, ainsi que de construire des paires de questions et réponses et des ensembles de tests de sécurité à partir du corpus. Il est utilisé pour traiter automatiquement ou semi-automatiquement divers types de documents, vocaux et vidéo, et les convertir en corpus de haute qualité pouvant être utilisé pour la formation de grands modèles.

7. Fournir une chaîne d'outils pour les grands modèles : Fournir une chaîne d'outils complète pour les grands modèles, comprenant une série de processus allant de la génération de corpus à la formation de modèles, en passant par la construction d'une base de connaissances, le développement d'applications, la construction d'agents et la planification du calcul. outil électrique. Cela contribue à améliorer l’efficacité de la construction et les capacités de gestion des applications de grands modèles.

8. Créez des applications natives d'IA : Lancez des applications natives d'IA telles que Wuya·Wenzhi et Wuya·Wenshu pour réaliser la récupération d'informations internes et l'analyse de données au sein de l'entreprise, et améliorer l'efficacité et la commodité du traitement des données.

9. Prise en charge de plusieurs modèles et sources de données : Prise en charge de modèles tiers, qu'ils soient open source ou commerciaux, et de plusieurs sources de données, notamment une base de connaissances personnelle, une base de connaissances d'entreprise, une base de données financière, une base de données juridique et réglementaire, etc. ., pour améliorer la flexibilité et l’adaptabilité du traitement des données.

Sur cette base, les entreprises peuvent télécharger directement différents types d'informations, et les produits seront rapidement analysés pour former leur propre base de connaissances. Cependant, développer et publier davantage de données internes au sein de l'entreprise n'est pas la fin. Sun Yuanhao estime que l'amélioration de la qualité du corpus constitue actuellement le plus grand défi pour améliorer la précision des grands modèles.

"Maintenant, la structure du modèle n'est plus un secret pour tout le monde, et la méthode d'entraînement n'est pas un secret, mais il n'y a pas de corpus. Le corpus existe à divers endroits, car le travail est très énorme, c'est un énorme travail physique travail, C'est Le plus grand défi du moment n'en fait pas partie, c'est le plus grand défi

.

De plus, dans la pratique de la mise en œuvre de grands modèles, Sun Yuanhao estime que les méthodes actuelles pour améliorer la précision des modèles sont les suivantes :

1 Créer une base de connaissances de plug-ins : Intégrer les informations et les articles de l'entreprise. Après l'analyse, placez-le dans la base de connaissances et laissez le grand modèle se référer au contenu de la base de connaissances pour l'écriture ou l'analyse. C'est un moyen d'améliorer rapidement la précision du modèle.

2. Affiner le modèle : En affinant le grand modèle, il peut apprendre les connaissances et les habitudes linguistiques d'un domaine spécifique, améliorant ainsi la précision du modèle dans ce domaine.

3. Formation continue : Pour des domaines tels que la finance, il est nécessaire d'alimenter en continu une grande quantité de corpus aux grands modèles pour améliorer la précision du modèle et sa capacité à répondre aux questions financières.

4. Fournir des outils de développement de corpus : Développer des outils de développement de corpus pour aider les entreprises à organiser et à nettoyer les corpus et à les convertir dans un format adapté à la formation de grands modèles, améliorant ainsi la précision du modèle.

5. Combinaison de plusieurs méthodes : Vous pouvez combiner les méthodes ci-dessus, telles que la création d'une base de connaissances de plug-in tout en affinant ou en entraînant continuellement le modèle pour améliorer encore la précision du modèle.

Sun Yuanhao a dit métaphoriquement qu'au cours de la dernière année, il a dit que le grand modèle est un « étudiant en arts libéraux » parce qu'il peut écrire et générer. L'objectif de Xinghuan est de former le grand modèle pour en faire un étudiant en sciences, en espérant qu'il puisse faire des analyses mathématiques, comprendre divers domaines et disciplines des sciences naturelles. Grâce à l'outil AI Infra de Xinghuan Technology, les entreprises peuvent convertir avec précision et efficacité un corpus multimodal provenant de sources multiples en connaissances professionnelles de haute qualité, permettant ainsi aux entreprises de créer des barrières de connaissances.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!