Maison > Article > Périphériques technologiques > Compréhension approfondie des graphiques : ChartLlama, géants des graphiques open source tels que Tencent et Nanyang Polytechnic
Dans le domaine de la compréhension d'images, les grands modèles multimodaux ont pleinement démontré leurs excellentes performances. Cependant, il reste encore des améliorations à apporter aux modèles multimodaux existants pour la compréhension des diagrammes et les tâches de génération qui sont souvent traitées dans le cadre du travail.
Bien que les modèles de pointe actuels dans le domaine de la compréhension des graphes fonctionnent bien sur des ensembles de tests simples, ils sont incapables de gérer des tâches de questions et réponses plus complexes en raison de leur manque de compréhension du langage et de capacités de sortie. D’un autre côté, les performances des grands modèles multimodaux entraînés sur la base de grands modèles de langage sont également insatisfaisantes, principalement en raison de leur manque d’échantillons d’entraînement pour les graphiques. Ces problèmes ont sérieusement limité la progression continue des modèles multimodaux dans les tâches de compréhension et de génération de graphiques
Récemment, Tencent, l'Université technologique de Nanyang et l'Université du Sud-Est ont proposé ChartLlama. L’équipe de recherche a créé un ensemble de données graphiques de haute qualité et formé un modèle de langage multimodal à grande échelle axé sur la compréhension des graphiques et les tâches de génération. ChartLlama combine plusieurs fonctions telles que le traitement du langage et la génération de graphiques pour fournir un outil de recherche puissant aux chercheurs scientifiques et aux professionnels associés.
Adresse papier : https://arxiv.org/abs/2311.16483
Adresse de la page d'accueil : https://tingxueronghua.github.io/ChartLlama/
L'équipe ChartLlama a conçu un Une stratégie intelligente de collecte de données diversifiées qui utilise GPT-4 pour générer des données avec des thèmes, des distributions et des tendances spécifiques afin de garantir la diversité de l'ensemble de données. L'équipe a combiné des bibliothèques de traçage open source avec les capacités de programmation de GPT-4 pour écrire un code graphique précis afin de produire des représentations graphiques précises des données. De plus, l'équipe utilise également GPT-4 pour décrire le contenu du graphique et générer des paires de questions et réponses, générant des échantillons de formation riches et diversifiés pour chaque graphique afin de garantir que le modèle formé peut pleinement comprendre le graphique
Dans le domaine de la compréhension des graphiques, les modèles traditionnels ne peuvent répondre qu'à quelques questions simples, telles que des tâches simples de questions et réponses telles que la lecture de chiffres, et ne peuvent pas répondre à des questions plus complexes. Ces modèles ont du mal à suivre de longues instructions et commettent souvent des erreurs dans les questions et réponses impliquant des opérations mathématiques. En revanche, ChartLlama peut efficacement éviter ces problèmes. La comparaison spécifique est la suivante :
En plus des tâches traditionnelles, l'équipe de recherche a également défini plusieurs nouvelles tâches, dont trois tâches impliquant la génération de graphiques. Le document fournit des exemples pertinents :
Étant donné un graphique et des instructions, des exemples de reconstruction et d'édition de graphiques
Le processus de génération d'exemples de graphiques est basé sur des instructions et des données brutes
ChartLlama effectue bien sur divers ensembles de données de référence, atteignant des performances de pointe tout en nécessitant moins de données d'entraînement. Il adopte une méthode flexible de génération et de collecte de données, élargit considérablement les types de graphiques et les types de tâches dans les tâches de compréhension et de génération de graphiques, et favorise le développement du domaine
ChartLlama a conçu une collecte de données flexible méthodes, tirant parti du langage puissant et des capacités de programmation de GPT-4 pour créer de riches ensembles de données graphiques multimodaux. La collecte de données de
ChartLlama comprend trois étapes principales :
En utilisant les étapes ci-dessus, ChartLlama a créé un ensemble de données contenant plusieurs tâches et plusieurs types de graphiques. Les proportions des différents types de tâches et de graphiques dans l'ensemble total de données sont les suivantes :
Veuillez vous référer au texte original de l'article pour des instructions et des instructions plus détaillées
Qu'elle soit traditionnelle Que la tâche soit nouvelle ou nouvelle, ChartLlama affiche les meilleures performances. Les tâches traditionnelles incluent les questions et réponses sur les graphiques, le résumé des graphiques et l'extraction de données structurées des graphiques. En comparant ChartLlama avec les modèles de pointe précédents, les résultats sont présentés dans la figure ci-dessous :
Les chercheurs ont également évalué les capacités de tâches uniques de ChartLlama, notamment la génération de code de graphique, la synthèse de graphiques et l'édition de graphiques. Ils ont également créé un ensemble de tests pour la tâche correspondante et l'ont comparé à LLaVA-1.5, le modèle graphique et textuel open source le plus puissant actuellement. Voici les résultats :
L'équipe de recherche a testé la précision des questions-réponses de ChartLlama dans une variété de différents types de graphiques et l'a comparée au modèle SOTA précédent d'Unichart et au modèle de base proposé. Les résultats sont les suivants :
Dans l'ensemble, ChartLlama repousse non seulement les limites de l'apprentissage multimodal, mais fournit également des outils plus précis et efficaces pour la compréhension et la génération de graphiques. Que ce soit dans la rédaction académique ou les présentations d'entreprise, ChartLlama rendra la compréhension et la création de graphiques plus intuitives et efficaces, franchissant ainsi une étape importante dans la génération et l'interprétation de données visuelles complexes.
Les lecteurs intéressés peuvent consulter le texte original de l'article pour plus de contenu de recherche
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!