Comment un chatbot répond-il aux questions via un knowledge graph ?

Avant-propos

En 1950, Turing a publié l'article historique "Computing Machinery and Intelligence", proposant un célèbre principe de jugement sur les robots - le test de Turing, également connu sous le nom de graphe du jugement spirituel, il souligne que si un tiers ne peut pas distinguer la différence entre les réactions des humains et des machines IA, on peut conclure que la machine possède une intelligence artificielle.

En 2008, Jarvis, le majordome de l'IA dans "Iron Man" de Marvel, a fait savoir aux gens comment l'IA peut aider avec précision les humains (Tony) à résoudre divers problèmes qui leur sont lancés...

Figure 1 : AI Butler Jarvis (source d'image sur Internet)

Début 2023, ChatGPT, un robot de chat gratuit qui a fait son apparition dans l'industrie technologique de manière 2C, s'est répandu dans le monde entier.

Selon un rapport de recherche de l'UBS, ses utilisateurs actifs mensuels ont atteint 100 millions en janvier, et elle continue de croître. Elle est devenue l'application grand public qui connaît la croissance la plus rapide de l'histoire. De plus, son propriétaire OpenAI lancera bientôt la version Plus, qui coûterait environ 20 $ par mois, après avoir sorti la version Pro pour 42 $ par mois.

Lorsqu'une nouvelle chose compte des centaines de millions d'utilisateurs actifs par mois, augmente le trafic et démarre la monétisation commerciale, êtes-vous curieux de connaître les différentes technologies qui la sous-tendent ? Par exemple, comment les chatbots traitent-ils et interrogent-ils d’énormes quantités de données ?

Les amis qui ont expérimenté ChatGPT ont le même sentiment. Il est évidemment plus intelligent que Tmall Elf ou Xiao Aitong Shoes : c'est un robot de chat doté de « compétences orales invincibles », d'un outil de traitement du langage naturel et d'un grand modèle de langage. . C'est aussi une application d'intelligence artificielle. Il peut interagir avec les humains en fonction du contexte du matériel de question, peut raisonner et créer, et même rejeter les questions qu'il considère inappropriées, et pas seulement une communication anthropomorphique complète.

Bien qu'il fasse actuellement l'objet d'avis mitigés, du point de vue du développement technologique, il pourrait même réussir le test de Turing. Laissez-moi vous demander, lorsque nous communiquons avec lui, ses connaissances approfondies (pour un novice) et ses réponses douces et douces, si nous l'ignorons complètement, il est difficile de distinguer si l'autre partie est un humain ou une machine (

Peut-être c'est là que c'est dangereux - le noyau de ChatGPT appartient toujours à la catégorie du deep learning, et il y a beaucoup de boîtes noires et d'inexplicables ).

Alors, comment le chatbot peut-il organiser et produire rapidement le corpus de formation à partir de 300 milliards de mots et 175 milliards de paramètres, en même temps, il peut aussi combiner le contexte et en fonction des connaissances qu'il « maîtrise », qu'en est-il ? capacité d’interagir librement avec les humains ?

En fait, les chatbots ont aussi un cerveau. Tout comme nous, les humains, ils ont besoin d'apprentissage et de formation.

Figure 2 : Tableau de formation d'apprentissage ChatGPT (source site officiel)

Il traitera des textes massifs, des images et d'autres fichiers non structurés via le PNL (traitement du langage naturel), la reconnaissance de cible, le multimodal la reconnaissance, etc., sont structurés en un graphe de connaissances selon leur sémantique. Ce graphe de connaissances est le cerveau du robot de chat.

Figure 3 : En prenant les soins médicaux comme exemple, l'intelligence artificielle transforme les données provenant de sources multiples en graphiques de connaissances pour des scénarios tels que les questions et réponses, la recherche et la recherche et le développement de médicaments

. En quoi consiste un graphe de connaissances ?

En quoi consiste le knowledge graph ? Il est composé de points(entités) et de bords(relations). Il peut intégrer des personnes, des choses, des choses et d'autres informations connexes pour former un diagramme complet, comme indiqué ci-dessous.

Figure 4 : Graphique (sous-graphe) composé de points de caractères et de bords d'attributs

Lorsque l'on demande "Qui est le fondateur d'OpenAI ?", le cerveau du chatbot commence à chercher et trouver rapidement dans sa propre base de connaissances. Tout d'abord, il verrouille la cible de la question de l'utilisateur et clique sur "penAI", et puis, sur la base des questions de l'utilisateur, un autre point a été enchaîné - le fondateur "Sam Altman".

Figure 5 : Connexion du point "OpenAI" à un autre point "Sam Altman" via une arête

En fait, quand on mentionne "Qui est le fondateur d'OpenAI", le chatbot Il associera tous les des images entourant le point dans sa propre base de connaissances. Par conséquent, lorsque nous posons des questions pertinentes, il a déjà prédit nos prédictions. Par exemple, lorsque nous demandons : « Musk est-il membre de l'équipe fondatrice d'OpenAI ? » Avec une seule commande, il a déjà interrogé tous les membres (la même chose s'applique à un cas), comme le montre la figure ci-dessous.

Figure 6 : Lien vers d'autres personnages en cliquant sur "OpenAI"

De plus, s'il y a d'autres "matériels d'apprentissage" inclus dans sa bibliothèque, alors dans son "cerveau" Il y a aussi des images associées telles que « Quels sont les produits des robots à intelligence artificielle ? », comme indiqué ci-dessous.

Figure 7 : Carte des produits courants des robots IA

Bien sûr, les chatbots, comme les gens, seront limités par leurs propres réserves de connaissances lorsqu'ils répondront aux questions, comme le montre la figure ci-dessous :

Nous savons ce qui détermine si le cerveau d’une personne est rapide ou intelligent ? D’un point de vue humain, l’un des critères les plus simples est la capacité de tirer des conclusions à partir d’un exemple.

Zi a dit : "Si vous n'êtes pas en colère, vous ne serez pas éclairé, si vous n'avez pas peur, vous ne serez pas en colère. Si vous ne réagissez pas de trois manières, vous ne vous en remettrez jamais." a souligné l’importance de pouvoir tirer des conclusions à partir d’un cas, de tirer des conclusions d’un cas à un autre et d’établir des parallèles. Pour les chatbots, la qualité de leurs réponses dépend de la puissance de calcul

de construction du graphe de connaissances.

Nous savons que la construction de

graphiques de connaissances générales s'est longtemps concentrée sur la PNL et la présentation visuelle, mais a ignoré les délais de calcul, la flexibilité de la modélisation des données, le processus de requête (calcul) et les résultats. Des problèmes tels que l'interprétabilité. D'autant plus que le monde entier passe de l'ère du big data à l'ère des données profondes, les défauts des graphiques traditionnels construits sur la base de SQL ou NoSQL dans le passé ne sont plus capables de traiter efficacement des données massives, complexes et dynamiques, encore moins corrélation, extraction et analyse des informations ? Alors, quelles sont les caractéristiques des défis auxquels sont confrontés les graphes de connaissances traditionnelles ?

Premièrement, une faible puissance de calcul (inefficacité). L'architecture sous-jacente du graphe de connaissances construit à l'aide de systèmes de bases de données SQL ou NoSQL est inefficace et ne peut pas traiter des données de grande dimension à grande vitesse.

Deuxièmement, la flexibilité est médiocre. Les graphes de connaissances construits sur la base de bases de données relationnelles, de bases de données documentaires ou de bases de données graphiques peu performantes sont généralement limités par l'architecture sous-jacente et ne peuvent pas restaurer efficacement les relations réelles entre les entités. Par exemple, certains d'entre eux ne prennent en charge que des graphiques simples lors de la saisie de données graphiques multilatérales, les informations sont facilement perdues ou la composition du graphique coûte cher.

La troisième chose est que ce n'est qu'une apparence. Avant 2020, peu de gens prêtaient vraiment attention à la puissance de calcul sous-jacente, et presque toutes les constructions de systèmes de graphes de connaissances se concentraient uniquement sur la PNL et la visualisation. Un graphe de connaissances sans puissance de calcul sous-jacente concerne uniquement l'extraction et la construction d'ontologies et de triplets, et n'a pas la capacité de résoudre des problèmes tels que les requêtes approfondies, la vitesse et l'interprétabilité.

[Remarque : Ici, nous ne parlerons pas de la comparaison des performances entre les bases de données relationnelles traditionnelles et les bases de données graphiques. Les lecteurs intéressés peuvent lire : ​​La différence entre les bases de données graphiques et les bases de données relationnelles​​ ? Quels problèmes la base de données graphiques résout-elle ? ​]

À ce stade, nous avons abordé le sujet du graphe de connaissances intelligent des robots de chat et parlé d'une autre technologie de pointe - le domaine technique des bases de données graphiques (graph computing).

Qu'est-ce qu'une base de données graphique (graph computing) ?

Base de données graphique[voir référence 1] est une théorie des graphes appliquée qui peut stocker des informations sur les attributs des entités et des informations sur les relations entre les entités. En termes de définition, graph (Graphique). est une structure de données définie par des nœuds points [voir référence 2] et bords [voir référence 2].

Graph est la base des services de stockage et d'application de graphiques de connaissances Il possède de fortes capacités d'association de données et d'expression des connaissances, il est donc très respecté par le monde universitaire et l'industrie.

Figure 8 : Scénarios d'application de la base de données graphique et du graphe de connaissances dans les domaines du marketing, des enquêtes criminelles, de la surveillance financière, de l'écologie de l'éducation, de la santé publique et de l'énergie

Comme le montre la figure ci-dessus, Nous pouvons voir qu'avec l'aide d'un moteur de base de données graphique en temps réel (calcul graphique), l'industrie peut trouver diverses relations profondément liées entre différentes données en temps réel, et même trouver des moyens intelligents optimaux qui sont hors de portée de l'humain. cerveau—— Cela est dû à la haute dimensionnalité des bases de données graphiques.

Qu'est-ce que la haute dimensionnalité ? Les graphiques servent non seulement d'outil conforme aux habitudes de pensée du cerveau humain et peuvent modéliser intuitivement le monde réel, mais peuvent également établir des informations approfondies (parcours profond de graphiques).

Par exemple, tout le monde connaît « l'effet papillon », qui consiste à capturer la relation subtile entre deux ou plusieurs entités apparemment sans rapport dans des données et des informations massives. Du point de vue de l'architecture de traitement des données, c'est extrêmement. difficile à réaliser sans l’aide de la technologie des bases de données graphiques (informatique graphique). [Remarque : la question de savoir comment distinguer les bases de données graphiques du calcul graphique ne sera pas abordée ici. Les amis intéressés peuvent lire : Quels sont les défis des « graphiques » ? Comment distinguer les bases de données graphiques du calcul graphique ? Explication rapide dans un article】

Figure 9 : Au cours des 40 dernières années, la tendance de développement de la technologie de traitement des données est passée du relationnel au big data en passant par les données graphiques

Le contrôle des risques est l'un des les scénarios typiques. La crise financière de 2008 a été déclenchée par l'effondrement de Lehman Brothers, la quatrième banque d'investissement aux États-Unis. Cependant, personne ne s'attendait à ce que l'effondrement d'une banque d'investissement vieille de 158 ans déclenche une série de faillites ultérieures sur le marché international. secteur bancaire. La tendance... l'ampleur et la portée de son impact sont inattendues ; et la technologie de base de données graphique en temps réel (informatique graphique) peut trouver tous les nœuds clés, les facteurs de risque et les chemins de propagation des risques... et ensuite contrôle Prévenir à l’avance tous les risques financiers.

Figure 10 : Chemin de propagation de la faillite de Lehman Brothers et carte des groupes de clients à risque

[Remarque : Les compositions ci-dessus sont toutes réalisées sur Ultipa Manager. Les amis qui souhaitent apprendre et explorer davantage peuvent lire l'une des séries d'articles : Entrer dans la haute visualisation d'Ultipa Manager】

Il convient de souligner que même si de nombreux fabricants peuvent aujourd'hui construire des graphes de connaissances, la réalité est que sur 100 entreprises de graphes, moins de 5 (moins de 5 %) utilisent des bases de données de graphes (hautes performances) pour prendre en charge la puissance de calcul. .

Ultipa est actuellement la seule base de données de graphiques en temps réel de quatrième génération au monde. Grâce à des technologies innovantes brevetées telles que la concurrence haute densité, l'élagage dynamique et l'accélération du stockage et du calcul à plusieurs niveaux, elle réalise un super traitement des données. des ensembles de toute taille. Explorez en profondeur en temps réel.

Tout d’abord, une puissance de calcul élevée.

Prenons comme exemple la recherche du bénéficiaire ultime d'une entreprise (également connu sous le nom de véritable contrôleur et actionnaire majeur). Le défi de ce type de problème est que dans le monde réel, il existe souvent de nombreux nœuds (entités écran) entre le bénéficiaire final et l’entité inspectée, ou il peut y avoir plusieurs chemins d’investissement ou d’actionnariat entre plusieurs personnes physiques ou morales. entités. Contrôle sur d’autres sociétés. Les bases de données relationnelles ou documentaires traditionnelles, et même la plupart des bases de données de graphes, ne peuvent pas résoudre ce type de problème de pénétration des graphes en temps réel.

Le système de base de données de graphiques en temps réel Ultipa résout bon nombre des défis ci-dessus. Sa structure de données à haute concurrence et son moteur de calcul et de stockage hautes performances peuvent effectuer une exploration en profondeur 100 fois, voire plus rapidement, que les autres systèmes graphiques, et trouver le bénéficiaire final ou découvrir une énorme relation d'investissement en temps réel (en quelques microsecondes) sur le réseau. D'un autre côté, une latence en microsecondes signifie une concurrence et un débit système plus élevés, ce qui représente une amélioration des performances 1 000 fois par rapport aux systèmes qui revendiquent une latence en millisecondes !

Prenant comme exemple un scénario réel, Sun Deli, l'ancien président de China CITIC Bank, a utilisé des moyens financiers pour achever le transfert des bénéfices en ouvrant plusieurs « sociétés fantômes ».

Figure 11 : Sun Deshun a conçu plusieurs « pare-feu » avec des structures extrêmement complexes, avec plusieurs couches de sociétés fantômes imbriquées couche par couche pour contourner la supervision et obtenir des avantages

Figure 12 : Connexes : Sun Deshun - CITIC Bank - Propriétaire d'entreprise - (Shell Company) Investment Platform Company - Sun Deshun

Comme le montre l'image ci-dessus, Sun Deshun utilise CITIC Bank' s entreprise publique Le pouvoir est donné aux propriétaires d'entreprised'approuver les prêts ; en conséquence, les propriétaires d'entreprise peuvent proposer des projets d'investissement de haute qualité, des opportunités d'investissement, etc. au nom de l'investissement, les deux parties créent des sociétés écran ; Transactions directes complètes ; ou le propriétaire de l'entreprise injecte d'énormes sommes d'argent dans la société de plateforme d'investissement réellement contrôlée par Sun Deshun, puis la société de plateforme utilise ces fonds pour investir dans des projets fournis par le patron, Gagnant ainsi de l'argent avec de l'argent, tout le monde travaille ensemble, partage les bénéfices et les dividendes et forme finalement une communauté d'intérêts.

Le système de base de données graphiques en temps réel Ultipa, grâce à la pénétration de la boîte blanche, met au jour les relations complexes entre les personnes et les personnes, les personnes et les entreprises, et les entreprises et les entreprises, et verrouille les dernières personnes dans les coulisses en temps réel.

Deuxièmement, la flexibilité.

La flexibilité du système graphique peut être un sujet très vaste, qui comprend généralement plusieurs parties telles que la modélisation des données, la logique de requête et de calcul, la présentation des résultats, la prise en charge de l'interface, l'évolutivité, etc.

La modélisation des données est le fondement de tous les graphiques de relations et est étroitement liée aux capacités sous-jacentes du système de graphiques (base de données de graphiques). Par exemple, un système de base de données de graphiques construit sur une base de données de colonnes comme ClickHouse ne peut pas du tout contenir de graphiques de transactions financières, car la caractéristique la plus typique d'un réseau de transactions est les transferts multiples entre deux comptes, mais ClickHouse a tendance à fusionner plusieurs transferts en un seul. Cette approche peut conduire à une confusion des données (distorsion). Certains systèmes de bases de données graphiques construits sur la base du concept de graphiques unilatéraux ont tendance à utiliser des sommets (entités) pour exprimer les transactions. En conséquence, la quantité de données est amplifiée (gaspillage de stockage) et la complexité des requêtes graphiques augmente de façon exponentielle (rapidité). changements).

Le niveau de support de l'interface est lié à l'expérience utilisateur. Pour donner un exemple simple, si un système graphique dans un environnement de production ne prend en charge que le format CSV, alors tous les formats de données doivent être convertis au format CSV avant de pouvoir être inclus dans le graphique. L'efficacité est évidemment trop faible. Cependant, cela est vrai. dans de nombreux systèmes graphiques.

Qu'en est-il de la flexibilité de la logique de requête et de calcul ? Prenons toujours « l'effet papillon » comme exemple : existe-t-il une sorte d'effet causal (forte corrélation) entre deux personnes, choses ou objets sur la carte ? S'il ne s'agit que d'une simple corrélation en une étape, n'importe quel moteur de recherche traditionnel, framework Big Data NoSQL ou même base de données relationnelle peut la résoudre. Mais s'il s'agit d'une corrélation profonde, comme la corrélation entre Newton et Gengis Khan, comment la calculer. ? Du drap de laine ?

Le système de données graphiques en temps réel Ultipa peut fournir plusieurs façons de résoudre les problèmes ci-dessus. Par exemple, la recherche de chemin profond point à point, la recherche de réseau multipoint, la recherche de correspondance de modèles basée sur certaines conditions de recherche floues et la recherche de chemin de texte flou orientée graphique similaire aux moteurs de recherche Web.

Figure 13 : Résultats visualisés de la mise en réseau en temps réel dans un grand graphique (formant des sous-graphes) profondeur de recherche ≥ 6 sauts

Il y a beaucoup d'autres choses sur le graphique qui doivent s'appuyer sur une grande flexibilité et puissance de calcul Travail qui ne peut être effectué, comme la recherche de points, de bords et de chemins basés sur des conditions de filtrage flexibles ; la reconnaissance de modèles, la découverte de communautés et de groupes de clients ; la recherche de tous les voisins ou de certains voisins d'un nœud (ou la découverte récursive de voisins plus profonds) ; ; trouver des caractéristiques similaires dans le graphe. Entités ou relations d'attributs... Bref, un graphe de connaissances sans le support de la puissance de calcul est comme un corps sans âme, vide d'apparence. Incapable de compléter diverses capacités de recherche difficiles et approfondies.

Le troisième est, low code, ce que vous voyez est ce que vous obtenez.

En plus de la puissance de calcul élevée et de la flexibilité mentionnées ci-dessus, le système graphique doit également être en boîte blanche (interprétable), basé sur des formulaires (low code, no code) et WYSIWYG.

Figure 14 : Recherche en un clic sans code, remplissez simplement la valeur de la plage de recherche et transformez de manière flexible 2D, 3D, liste, tableau et même plusieurs modes visuels de fusion de données hétérogènes

Dans le système de base de données de graphiques en temps réel Ultipa, les développeurs n'ont besoin que de taper une phrase Ultipa GQL pour terminer l'opération, tandis que le personnel commercial peut utiliser des plug-ins prédéfinis basés sur des formulaires pour mettre en œuvre des opérations commerciales sans aucune requête. Cette approche a grandement aidé les employés à améliorer leur efficacité au travail, a permis aux organisations de réduire leurs coûts d'exploitation et a ouvert les barrières de communication entre les départements.

Pour résumer, la combinaison d'un graphe de connaissances et d'une base de données graphique aidera tous les horizons à accélérer la construction commerciale d'une plate-forme intermédiaire de données, mais comme le secteur financier nécessite professionnalisme, sécurité, stabilité, temps réel, dans une industrie précise, l'utilisation de bases de données relationnelles pour prendre en charge les applications de couche supérieure ne peut pas fournir de bonnes performances de traitement des données, ni même effectuer des tâches de traitement de données. Par conséquent, seule une pénétration en temps réel, complète et approfondie, une traçabilité transaction par transaction, et une surveillance et un contrôle précis des mesures peuvent être obtenus. Seule la technologie de base de données graphique (informatique graphique) dotée de performances d'alerte précoce peut permettre aux organisations de mieux planifier leurs stratégies et de gagner des milliers de kilomètres !

À ce stade, je me suis soudainement souvenu du tube "The Three-Body Problem", qui mentionnait un point très intéressant - Sophon Lock. Cela signifie probablement que pour empêcher la technologie terrestre de la surpasser, la civilisation trisolarienne a créé divers obstacles en bloquant la science humaine fondamentale. Parce que le saut de la civilisation humaine dépend du développement et des percées majeures de la science fondamentale, bloquer la science fondamentale des êtres humains équivaut à bloquer le chemin de la terre pour améliorer le niveau de civilisation... Bien sûr, ce que l'auteur veut vous dire, c'est que la technologie des graphes appartient à l'intelligence artificielle L'une des infrastructures, pour être précis, est la technologie des graphes = intelligence augmentée + IA explicable. C'est un produit inévitable de l'intégration de l'IA et du big data dans le processus de développement.

Figure 15 : Technologie de base de données graphique (graph computing), qui appartient à l'infrastructure d'intelligence artificielle

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!