Wie beantwortet ein Chatbot Fragen über einen Wissensgraphen?

Vorwort

Im Jahr 1950 veröffentlichte Turing das bahnbrechende Papier „Computing Machinery and Intelligence“, in dem er ein berühmtes Urteilsprinzip über Roboter vorschlug – den Turing-Test, auch bekannt als Graph Spiritual Judgement, der darauf hinweist, dass ein Dritter nicht unterscheiden kann Der Unterschied zwischen den Reaktionen von Menschen und KI-Maschinen lässt den Schluss zu, dass die Maschine über künstliche Intelligenz verfügt.

Im Jahr 2008 ließ Jarvis, der KI-Butler in Marvels „Iron Man“, die Menschen wissen, wie KI Menschen (Tony) präzise dabei helfen kann, verschiedene ihnen gestellte Probleme zu lösen ...

Abbildung 1: AI Butler Jarvis (Bildquelle aus dem Internet)

Anfang 2023 verbreitete sich ChatGPT, ein kostenloser Chat-Roboter, der in der Technologiebranche auf 2C-Art seinen Durchbruch fand, auf der ganzen Welt.

Laut einem Forschungsbericht von UBS erreichten die monatlichen aktiven Nutzer im Januar 100 Millionen und es wächst immer noch. Es ist die am schnellsten wachsende Verbraucheranwendung in der Geschichte. Darüber hinaus wird sein Besitzer OpenAI bald die Plus-Version auf den Markt bringen, die angeblich rund 20 US-Dollar pro Monat kostet, nachdem er die Pro-Version für 42 US-Dollar pro Monat veröffentlicht hat.

Wenn eine neue Sache Hunderte Millionen monatlich aktive Nutzer hat, den Traffic erhöht und mit der kommerziellen Monetarisierung beginnt, sind Sie dann neugierig auf die verschiedenen Technologien dahinter? Wie verarbeiten und fragen Chatbots beispielsweise riesige Datenmengen ab?

Freunde, die ChatGPT erlebt haben, haben das gleiche Gefühl. Es ist offensichtlich intelligenter als Tmall Elf oder Xiao Aitong Shoes – es ist ein Chat-Roboter mit „unbesiegbaren Sprechfähigkeiten“, einem Tool zur Verarbeitung natürlicher Sprache und einem großen Sprachmodell . Es ist auch eine Anwendung für künstliche Intelligenz. Es kann auf der Grundlage des Kontexts des Fragenmaterials mit Menschen interagieren, Fragen, die es für unangemessen hält, begründen und erstellen und sogar ablehnen, nicht nur eine vollständige anthropomorphe Kommunikation.

Obwohl es derzeit gemischte Kritiken gibt, könnte es aus Sicht der technologischen Entwicklung sogar den Turing-Test bestehen. Lassen Sie mich fragen: Wenn wir damit kommunizieren, ist es (für einen Anfänger) ein umfassendes Wissen und süße und süße Antworten. Wenn wir uns dessen überhaupt nicht bewusst sind, ist es schwierig zu unterscheiden, ob die andere Partei ein Mensch oder eine Maschine ist (

Vielleicht Hier ist es gefährlich – der Kern von ChatGPT gehört immer noch zur Kategorie des Deep Learning, und es gibt viele Black Boxes und Unerklärlichkeiten ).

Wie organisiert und gibt der Chatbot also schnell den Trainingskorpus aus 300 Milliarden Wörtern und 175 Milliarden Parametern aus? Gleichzeitig kann er auch den Kontext kombinieren und basierend auf dem Wissen, das er „beherrscht“, was ist mit dem? Fähigkeit, frei mit Menschen zu interagieren?

Tatsächlich haben auch Chatbots ein Gehirn, genau wie wir Menschen, brauchen sie Lernen + Training.

Abbildung 2: ChatGPT-Lerntrainingsdiagramm (Quelle offizielle Website)

Es werden umfangreiche Texte, Bilder und andere unstrukturierte Dateien durch NLP (Verarbeitung natürlicher Sprache), Zielerkennung und Multimodalität verarbeitet Erkennung usw. werden entsprechend ihrer Semantik in einen Wissensgraphen strukturiert. Dieser Wissensgraph ist das Gehirn des Chat-Roboters.

Abbildung 3: Am Beispiel der medizinischen Versorgung wandelt künstliche Intelligenz Daten aus mehreren Quellen in Wissensgraphen für Szenarien wie Frage und Antwort, Suche sowie Arzneimittelforschung und -entwicklung um

Woraus besteht ein Wissensgraph?

Woraus besteht der Wissensgraph? Es besteht aus Punkten (Entitäten) und Kanten (Beziehungen). Es kann Personen, Dinge, Dinge und andere verwandte Informationen integrieren, um ein umfassendes Diagramm zu bilden, wie unten gezeigt.

Abbildung 4: Diagramm (Untergraph) bestehend aus Zeichenpunkten und Attributkanten

Bei der Frage „Wer ist der Gründer von OpenAI?“ beginnt das Gehirn des Chatbots schnell in seiner eigenen Wissensdatenbank zu suchen und zu finden. Zuerst sperrt es das Ziel aus der Frage des Benutzers und klickt „penAI“ und Dann wurde basierend auf den Fragen des Benutzers ein weiterer Punkt herausgefunden – der Gründer „Sam Altman“.

Abbildung 5: Verbindung vom Punkt „OpenAI“ zu einem anderen Punkt „Sam Altman“ über eine Kante

Wenn wir tatsächlich „Wer ist der Gründer von OpenAI“ erwähnen, wird der Chatbot alle assoziieren Bilder rund um den Punkt in einer eigenen Wissensdatenbank. Wenn wir also relevante Fragen stellen, hat es unsere Vorhersagen bereits vorhergesagt. Wenn wir beispielsweise fragen: „Ist Musk Mitglied des Gründerteams von OpenAI?“ Mit nur einem Befehl wurden bereits alle Mitglieder abgefragt (dasselbe gilt für einen Fall), wie in der folgenden Abbildung dargestellt. Abbildung 6: Link zu anderen Charakteren, indem Sie auf „OpenAI“ klicken verwandte Bilder wie „Was sind die Produkte von Robotern mit künstlicher Intelligenz?“, wie unten gezeigt. Abbildung 7: Allgemeine Produktkarte für KI-Roboter

Wir wissen, was darüber entscheidet, ob das Gehirn eines Menschen schnell oder intelligent ist? Aus menschlicher Sicht ist eines der einfachsten Kriterien die Fähigkeit, aus einem Beispiel Rückschlüsse zu ziehen.

Zi sagte: „Wenn du nicht wütend bist, wirst du nicht erleuchtet, wenn du keine Angst hast, wirst du nicht wütend sein. Wenn du nicht auf drei Arten reagierst, wirst du dich nie erholen, Konfuzius.“ betonte, wie wichtig es ist, Schlussfolgerungen aus einem Fall ziehen zu können, Schlussfolgerungen von einem Fall zu einem anderen zu ziehen und Parallelen zu ziehen. Bei Chatbots hängt die Qualität ihrer Antworten von der „Rechenleistung“ bei der Erstellung des Wissensgraphen ab.

Wir wissen, dass sich die Erstellung von Allgemeinwissensgraphen lange Zeit auf NLP und visuelle Darstellung konzentriert hat, jedoch die Aktualität der Berechnung, die Flexibilität der Datenmodellierung, den Abfrage-(Berechnungs-)Prozess und Ergebnisse wie Interpretierbarkeit außer Acht gelassen hat

. Insbesondere während sich die ganze Welt vom Big-Data-Zeitalter zum Deep-Data-Zeitalter wandelt, sind die Mängel der in der Vergangenheit auf SQL oder NoSQL basierenden traditionellen Diagramme nicht mehr in der Lage, massive, komplexe und dynamische Daten effizient zu verarbeiten, geschweige denn Korrelation, Gewinnung und Analyse von Erkenntnissen? Was sind also die Merkmale der Herausforderungen, mit denen traditionelle Wissensgraphen konfrontiert sind?

Erstens geringe Rechenleistung (Ineffizienz). Die zugrunde liegende Architektur des mit SQL- oder NoSQL-Datenbanksystemen erstellten Wissensgraphen ist ineffizient und kann hochdimensionale Daten nicht mit hoher Geschwindigkeit verarbeiten.

Zweitens ist die Flexibilität schlecht. Wissensgraphen, die auf relationalen Datenbanken, Dokumentdatenbanken oder leistungsschwachen Graphdatenbanken basieren, sind in der Regel durch die zugrunde liegende Architektur eingeschränkt und können die tatsächlichen Beziehungen zwischen Entitäten nicht effizient wiederherstellen. Einige von ihnen unterstützen beispielsweise nur einfache Diagramme. Bei der Eingabe multilateraler Diagrammdaten gehen entweder leicht Informationen verloren oder die Erstellung des Diagramms ist kostspielig.

Das Dritte ist, es ist nur ein Schein. Vor 2020 achteten nur wenige Menschen wirklich auf die zugrunde liegende Rechenleistung, und fast alle Konstruktionen von Wissensgraphensystemen konzentrierten sich nur auf NLP und Visualisierung. Ein Wissensgraph ohne zugrunde liegende Rechenleistung extrahiert und konstruiert nur Ontologie und Tripel und ist nicht in der Lage, Probleme wie detaillierte Abfragen, Geschwindigkeit und Interpretierbarkeit zu lösen.

[Hinweis: Hier werden wir nicht über den Leistungsvergleich zwischen herkömmlichen relationalen Datenbanken und Diagrammdatenbanken sprechen: ​​Der Unterschied zwischen Diagrammdatenbanken und relationalen Datenbanken​​? Welche Probleme löst die Graphdatenbank? ​]

An dieser Stelle haben wir uns mit dem Thema des intelligenten Wissensgraphen von Chatrobotern befasst und über eine weitere Spitzentechnologie gesprochen – den technischen Bereich der Graphdatenbank (Graph Computing).

Was ist eine Graphdatenbank (Graph Computing)?

Graphdatenbank[siehe Referenz 1] ist eine angewandte Graphentheorie, die Attributinformationen von Entitäten und Beziehungsinformationen zwischen Entitäten speichern kann. Definitionsgemäß Graph (Graph). ist eine Datenstruktur, die durch Knoten Punkte [siehe Referenz 2] und Kanten [siehe Referenz 2] definiert ist.

Graph ist die Grundlage für die Speicherung und Anwendung von Wissensgraphen Es verfügt über starke Datenverknüpfungs- und Wissensausdrucksfunktionen und genießt daher in der Wissenschaft und Industrie hohes Ansehen.

Abbildung 8: Anwendungsszenarien der Graphdatenbank und des Wissensgraphen in den Bereichen Marketing, Kriminalpolizei, Finanzaufsicht, Bildungsökologie, öffentliche Gesundheit und Energie

Wie in der Abbildung oben gezeigt, Es ist ersichtlich, dass die Industrie mit Hilfe der Echtzeit-Graph-Datenbank-Engine (Graph Computing) verschiedene tief verwandte Beziehungen zwischen verschiedenen Daten in Echtzeit finden und sogar optimale intelligente Wege finden kann, die außerhalb der Reichweite des Menschen liegen Gehirn – Dies ist auf die hohe Dimensionalität von Graphdatenbanken zurückzuführen.

Was ist Hochdimensionalität? Diagramme dienen nicht nur als Werkzeug, das sich an die Denkgewohnheiten des menschlichen Gehirns anpasst und die reale Welt intuitiv modellieren kann, sondern können auch tiefe Erkenntnisse gewinnen (Deep Graph Traversal).

Jeder kennt zum Beispiel den „Schmetterlingseffekt“, der darin besteht, die subtile Beziehung zwischen zwei oder mehr scheinbar unabhängigen Einheiten in riesigen Datenmengen und Informationen zu erfassen ohne die Hilfe der Graphdatenbank-Technologie (Graph Computing) schwer zu erreichen. [Hinweis: Das Thema, wie man Graphdatenbanken vom Graph-Computing unterscheidet, wird hier nicht besprochen. Interessierte Freunde können lesen: Was sind die Herausforderungen von „Graphen“? Wie unterscheidet man Graphdatenbanken vom Graph Computing? Kurze Erklärung in einem Artikel:

Abbildung 9: In den letzten 40 Jahren ging der Entwicklungstrend der Datenverarbeitungstechnologie von relationalen Daten über Big Data bis hin zu Diagrammdaten. Risikokontrolle ist einer davon die typischen Szenarien. Die Finanzkrise von 2008 wurde durch den Zusammenbruch von Lehman Brothers, der viertgrößten Investmentbank in den Vereinigten Staaten, ausgelöst. Allerdings hatte niemand damit gerechnet, dass der Zusammenbruch einer 158 Jahre alten Investmentbank eine Reihe weiterer Insolvenzen in der Welt auslösen würde Der Trend ... seine Auswirkungen sind so weitreichend und so groß, dass die Echtzeit-Graph-Datenbank-Technologie (Graph-Computing) alle wichtigen Knoten, Risikofaktoren und Risikoausbreitungspfade finden kann. . und dann Kontrolle. Warnen Sie vorab über alle finanziellen Risiken. Abbildung 10: Insolvenzausbreitungspfad und Karte der Risikokundengruppe von Lehman Brothers Freunde, die bereit sind, weiter zu lernen und zu erforschen, können einen Artikel aus der Artikelserie lesen: Einstieg in die hohe Visualisierung von Ultipa Manager】

Es muss darauf hingewiesen werden, dass heutzutage zwar viele Hersteller Wissensgraphen erstellen können, die Realität jedoch so aussieht, dass von 100 Graphikunternehmen weniger als 5 (weniger als 5 %) (hochleistungsfähige) Graphdatenbanken zur Unterstützung der Rechenleistung verwenden. .

Ultipa ist derzeit die einzige Echtzeit-Grafikdatenbank der vierten Generation auf der Welt. Durch innovative patentierte Technologien wie hochdichte Parallelität, dynamisches Bereinigen sowie mehrstufige Speicher- und Berechnungsbeschleunigung wird eine hervorragende Datenverarbeitung erreicht Erstellen Sie einen detaillierten Drilldown in Echtzeit.

Erstens hohe Rechenleistung.

Nehmen Sie als Beispiel die Suche nach dem Endbegünstigten eines Unternehmens (auch bekannt als eigentlicher Controller und Großaktionär). Die Herausforderung bei dieser Art von Problem besteht darin, dass es in der realen Welt häufig viele Knotenpunkte (Mantelfirmen) zwischen dem Endbegünstigten und dem untersuchten Unternehmensunternehmen gibt oder dass zwischen mehreren natürlichen oder juristischen Personen mehrere Investitions- oder Beteiligungspfade bestehen können Unternehmen. Kontrolle über andere Unternehmen. Herkömmliche relationale Datenbanken oder Dokumentdatenbanken und selbst die meisten Diagrammdatenbanken können dieses Problem der Diagrammdurchdringung nicht in Echtzeit lösen.

Das Echtzeit-Grafikdatenbanksystem Ultipa löst viele der oben genannten Herausforderungen. Seine Datenstruktur mit hoher Parallelität und die leistungsstarke Rechen- und Speicher-Engine können tiefgreifendes Mining 100-mal oder sogar schneller als andere Graphsysteme durchführen und den Endnutznießer finden oder eine riesige Investitionsbeziehung in Echtzeit (innerhalb von Mikrosekunden) im Netzwerk entdecken. Andererseits bedeutet die Latenz im Mikrosekundenbereich eine höhere Parallelität und einen höheren Systemdurchsatz, was eine 1000-fache Leistungsverbesserung im Vergleich zu Systemen mit einer Latenz im Millisekundenbereich darstellt!

Am Beispiel eines realen Szenarios nutzte Sun Deli, der ehemalige Präsident der China CITIC Bank, finanzielle Mittel, um die Übertragung von Vorteilen durch die Eröffnung mehrerer „Schattenunternehmen“ abzuschließen.

Abbildung 11: Sun Deshun hat mehrere „Firewalls“ mit äußerst komplexen Strukturen entworfen, mit mehreren Schichten von Schattenunternehmen, die Schicht für Schicht verschachtelt sind, um die Aufsicht zu umgehen und Vorteile zu erzielen

Abbildung 12 : Verbunden mit: Sun Deshun – CITIC Bank – Geschäftsinhaber – (Shell-Unternehmen) Investmentplattform-Unternehmen – Sun Deshun s Aktiengesellschaft Die Befugnis liegt bei

Geschäftsinhabern

, entsprechende Kredite zu genehmigen, Geschäftsinhaber können im Namen der Investition hochwertige Investitionsprojekte, Investitionsmöglichkeiten usw. bereitstellen; Schließen Sie direkte Transaktionen ab; oder der Geschäftsinhaber investiert riesige Geldsummen in das Investitionsplattformunternehmen, und das Plattformunternehmen verwendet diese Mittel dann, um in Projekte zu investieren, die vom Chef bereitgestellt werden. So aus Geld Geld machen, alle zusammenarbeiten, Gewinne und Dividenden teilen und letztlich eine Interessengemeinschaft bilden. Das Ultipa-Echtzeit-Grafikdatenbanksystem deckt durch White-Box-Penetration die komplizierten Beziehungen zwischen Menschen und Menschen, Menschen und Unternehmen sowie Unternehmen und Unternehmen auf und erfasst die letzten Personen hinter den Kulissen in Echtzeit. Zweitens Flexibilität. Die Flexibilität des Diagrammsystems kann ein sehr breites Thema sein, das im Allgemeinen Datenmodellierung, Abfrage- und Berechnungslogik, Ergebnispräsentation, Schnittstellenunterstützung, Skalierbarkeit usw. umfasst. Die Datenmodellierung ist die Grundlage aller Beziehungsdiagramme und steht in engem Zusammenhang mit den zugrunde liegenden Funktionen des Diagrammsystems (Diagrammdatenbank). Beispielsweise kann ein auf einer Spaltendatenbank basierendes Diagrammdatenbanksystem wie ClickHouse überhaupt keine Finanztransaktionsdiagramme übertragen, da das typischste Merkmal eines Transaktionsnetzwerks mehrere Überweisungen zwischen zwei Konten sind, ClickHouse jedoch dazu neigt, mehrere Überweisungen zu einer zusammenzuführen Dieser Ansatz kann zu Datenverwirrung (Verzerrung) führen. Einige Diagrammdatenbanksysteme, die auf dem Konzept einseitiger Diagramme basieren, verwenden tendenziell Scheitelpunkte (Entitäten), um Transaktionen auszudrücken. Dadurch wird die Datenmenge vergrößert (Speicherverschwendung) und die Komplexität von Diagrammabfragen nimmt exponentiell zu (Aktualität). Änderungen).

Der Grad der Schnittstellenunterstützung hängt von der Benutzererfahrung ab. Um ein einfaches Beispiel zu nennen: Wenn ein Diagrammsystem in einer Produktionsumgebung nur das CSV-Format unterstützt, müssen alle Datenformate in das CSV-Format konvertiert werden, bevor sie in das Diagramm aufgenommen werden können. Dies ist jedoch offensichtlich zu gering in vielen Graphensystemen vorhanden.

Wie sieht es mit der Flexibilität der Abfrage- und Berechnungslogik aus? Nehmen wir noch den „Schmetterlingseffekt“ als Beispiel: Gibt es eine Art kausalen (starken Zusammenhang) Effekt zwischen zwei beliebigen Personen, Dingen oder Dingen auf der Karte? Wenn es sich nur um eine einfache einstufige Korrelation handelt, kann jede herkömmliche Suchmaschine, jedes Big-Data-NoSQL-Framework oder sogar jede relationale Datenbank es lösen. Wenn es sich jedoch um eine tiefe Korrelation handelt, wie z. B. die Korrelation zwischen Newton und Dschingis Khan, wie wird sie berechnet? ? Wolltuch?

Das Echtzeit-Grafikdatensystem Ultipa kann mehr als eine Möglichkeit bieten, die oben genannten Probleme zu lösen. Zum Beispiel Punkt-zu-Punkt-Tiefenpfadsuche, Mehrpunkt-Netzwerksuche, Vorlagenübereinstimmungssuche basierend auf bestimmten Fuzzy-Suchbedingungen und diagrammorientierte Fuzzy-Textpfadsuche ähnlich wie bei Websuchmaschinen.

Abbildung 13: Visualisierte Ergebnisse der Echtzeitvernetzung in einem großen Diagramm (Bildung von Unterdiagrammen) Suchtiefe ≥ 6 Hops

Es gibt viele andere Dinge auf dem Diagramm, die auf hohe Flexibilität angewiesen sind und Rechenleistung Arbeiten, die nur auf der Grundlage flexibler Filterbedingungen, Community- und Kundengruppenerkennung durchgeführt werden können (oder rekursive Erkennung tieferer Nachbarn); ; Finden ähnlicher Merkmale im Diagramm oder Beziehungen von Attributen... Kurz gesagt, ein Wissensdiagramm ohne die Unterstützung von Rechenleistung ist wie ein Körper ohne Seele, ohne Aussehen. Verschiedene anspruchsvolle und ausführliche Suchfunktionen können nicht ausgeführt werden.

Das dritte ist, Low-Code, was Sie sehen, ist das, was Sie bekommen.

Zusätzlich zu der oben erwähnten hohen Rechenleistung und Flexibilität muss das Diagrammsystem auch White-Box-fähig (interpretierbar), formularbasiert (niedriger Code, kein Code) und WYSIWYG-fähig sein.

Abbildung 14: Ein-Klick-Suche ohne Code, geben Sie einfach den Wert des Suchbereichs ein und transformieren Sie flexibel 2D, 3D, Liste, Tabelle und sogar mehrere visuelle Modi der heterogenen Datenfusion

Im Echtzeit-Grafikdatenbanksystem Ultipa müssen Entwickler nur einen Satz Ultipa GQL eingeben, um den Vorgang abzuschließen, während Geschäftsmitarbeiter voreingestellte formularbasierte Plug-Ins verwenden können, um Geschäftsvorgänge ohne Code zu implementieren. Dieser Ansatz hat den Mitarbeitern erheblich geholfen, die Arbeitseffizienz zu verbessern, Unternehmen in die Lage versetzt, die Betriebskosten zu senken, und Kommunikationsbarrieren zwischen den Abteilungen geöffnet.

Zusammenfassend lässt sich sagen, dass die Kombination aus Wissensgraphen und Diagrammdatenbanken allen Lebensbereichen dabei helfen wird, den Geschäftsaufbau von Daten-Middle-Plattformen zu beschleunigen, aber beispielsweise in der Finanzbranche sind Professionalität, Sicherheit, Stabilität, Echtzeit usw. erforderlich In einer präzisen Branche kann die Verwendung relationaler Datenbanken zur Unterstützung von Anwendungen der oberen Ebene keine gute Datenverarbeitungsleistung oder sogar vollständige Datenverarbeitungsaufgaben bieten. Daher ist nur eine umfassende, tiefgreifende Durchdringung in Echtzeit und eine Rückverfolgbarkeit für jede Transaktion erforderlich. und eine genaue Messüberwachung und -steuerung kann nur durch eine Graphdatenbanktechnologie (Graph Computing) mit Frühwarnleistung erreicht werden, die es Unternehmen ermöglicht, Strategien besser zu planen und Tausende von Kilometern zu gewinnen!

An diesem Punkt fiel mir plötzlich der Hit „The Three-Body Problem“ ein, in dem ein sehr interessanter Punkt erwähnt wurde – Sophon Lock. Dies bedeutet wahrscheinlich, dass die trisolarische Zivilisation verschiedene Hindernisse geschaffen hat, indem sie die grundlegende menschliche Wissenschaft blockiert hat, um zu verhindern, dass die Technologie der Erde sie übertrifft. Da der Sprung der menschlichen Zivilisation von der Entwicklung und den großen Durchbrüchen der Grundlagenwissenschaft abhängt, ist die Blockade der Grundlagenforschung des Menschen gleichbedeutend mit der Blockade des Weges der Erde zur Verbesserung des Zivilisationsniveaus ... Natürlich möchte der Autor Ihnen Folgendes sagen dass die Graphentechnologie zur künstlichen Intelligenz gehört. Genauer gesagt ist die Graphentechnologie = erweiterte Intelligenz + erklärbare KI. Sie ist ein unvermeidliches Produkt der Integration von KI und Big Data im Entwicklungsprozess.

Abbildung 15: Graphdatenbank-Technologie (Graph Computing), die zur Infrastruktur für künstliche Intelligenz gehört

Das obige ist der detaillierte Inhalt vonWie beantwortet ein Chatbot Fragen über einen Wissensgraphen?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!