Interaktiver Dialog zwischen Mensch und Computer, gesteuert durch große Modelle

Einführung: Dialogtechnologie ist eine der Kernfunktionen der digitalen menschlichen Interaktion. Dieser Austausch beginnt hauptsächlich mit der Forschung und Entwicklung sowie der Anwendung im Zusammenhang mit Baidu PLATO und befasst sich mit den Auswirkungen großer Modelle auf Dialogsysteme und über digitale Möglichkeiten für Menschen. Der Titel dieses Austauschs lautet: Mensch-Computer-Interaktionsdialog, gesteuert durch große Modelle.

Die heutige Einführung beginnt mit den folgenden Punkten:

• Überblick über das Dialogsystem
• Baidu PLATO und verwandte Technologien
• Dialogmodell Umsetzung und Herausforderungen Und Ausblick

1. Überblick über das Dialogsystem ​

1. Überblick über das Dialogsystem

Im täglichen Leben kommen wir oft mit einigen aufgabenorientierten Dialogsystemen in Kontakt, beispielsweise mit dem mobilen Assistenten Um einen Alarm einzustellen, fragen Sie: Der intelligente Lautsprecher spielt ein Lied. Die Technologie für diese Art des vertikalen Dialogs in einem bestimmten Bereich ist relativ ausgereift, und das Systemdesign ist normalerweise modular aufgebaut und umfasst Module wie Dialogverständnis, Dialogmanagement und Erzeugung natürlicher Sprache.

Der allgemeine Prozess des traditionellen aufgabenbasierten Dialogs ist wie folgt: Der Benutzer gibt einen Satz ein und das System analysiert die relevanten Absichts- und Slot-Wert-Paare über das Modul zum Verstehen natürlicher Sprache Slots sind vordefiniert; das Dialogverwaltungsmodul verfolgt den Status mehrerer Dialogrunden, interagiert mit externen Datenbanken und trifft Systemaktionsentscheidungen und verwendet dann das Dialoggenerierungsmodul, um Antworten zu generieren und diese an den Benutzer zurückzugeben.

In den letzten Jahren wurde viel zur Open-Domain-Konversationstechnologie geforscht, was bedeutet, dass Sie zu jedem Thema chatten können, ohne das Feld einzuschränken. Zu den repräsentativen Werken gehören Google Meena, Mata Blender und Baidu PLATO. Im Vergleich zu herkömmlichen modularen Dialogsystemen generieren diese End-to-End-Dialogsysteme direkt entsprechende Antworten im Kontext des Dialogs.

2. End-to-End-Dialoggenerierung – neue Möglichkeiten für Dialogsysteme

​End-to-End-Dialogsysteme können auf Basis von RNN, LSTM oder Transformer usw. entworfen werden. Die Netzwerkarchitektur Es besteht hauptsächlich aus zwei Teilen: Encoder und Decoder.

Der Encoder kodiert den Gesprächstext in Vektoren, um den Gesprächsinhalt zu verstehen. ​

Der Decoder generiert die entsprechende Antwort basierend auf dem Konversationsvektor und dem vorherigen verborgenen Vektor. Das Trainingskorpus besteht hauptsächlich aus Renren-Dialogmaterial. Kommentare können aus öffentlichen Social-Media-Foren (Weibo, Tieba, Twitter usw.) als ungefähres Dialogmaterial extrahiert werden. Das Trainingsziel besteht hauptsächlich darin, die negative Log-Likelihood-Funktion zu minimieren. 3. Herausforderungen, denen sich der offene Domänendialog gegenübersieht

Das erste Problem besteht darin, dass der Inhalt relativ leer ist und es an Informationen mangelt. Die Antworten des Models sind relativ kurz und haben keinen wesentlichen Inhalt, was leicht die Bereitschaft des Benutzers zum Chatten verringern kann.

Ein weiteres Problem ist der Wissensmissbrauch. Einige der vom Modell zurückgegebenen detaillierten Informationen sind manchmal falsch oder erfunden.

2. Baidu PLATO

Baidu PLATO hat einige technische Untersuchungen zu den beiden oben genannten Arten von Problemen durchgeführt.

Mit dem Ziel, Inhaltslücken zu schließen, wird eine Technologie zur Generierung von Dialogen vor dem Training vorgeschlagen, die auf diskreten latenten Variablen basiert, um Rationalität und Vielfalt offener Inhalte zu erreichen Domain-Antworten. In Bezug auf das Problem des Wissensmissbrauchs wird ein schwach überwachtes Dialoggenerierungsmodell vorgeschlagen, das Wissen integriert, das das Problem des Wissensmissbrauchs bis zu einem gewissen Grad lindert und den Dialogreichtum und die Wissensgenauigkeit verbessert.

1. Offener Domänendialog „Eins-zu-viele“-Problem

# 🎜🎜 #Warum erzeugt das Konversationsmodell „sichere Antworten“ mit leerem Inhalt?

Im Wesentlichen ist der offene Domänendialog eine Eins-zu-viele-Frage. Auf einen Dialog gibt es normalerweise viele vernünftige Antworten Menschen haben unterschiedliche Hintergründe, Erfahrungen und Situationen, und die Antworten, die sie geben, sind wahrscheinlich unterschiedlich. Das Training neuronaler Netze wird normalerweise einzeln abgebildet, und was gelernt wird, ist der durchschnittliche Zustand dieser Antworten, z. B. „sehr gut“ und „hahaha“, bei denen es sich um sichere und nicht informative Antworten handelt.

2. PLATO-1-Modell zur Erzeugung latenter Raumdialoge

PLATO-1 schlägt die Modellierung von Konversations-Eins-zu-Viele-Beziehungen basierend auf diskreten latenten Variablen vor.

Hier sind zwei Aufgaben beteiligt: ​​die Zuordnung des ursprünglichen Dialogkontexts und die Dialogantwort, die Reaktion auf die latente Variable Latent Action und dann das Lernen Antwortgenerierung basierend auf latenten Variablen. PLATO verwendet dasselbe Netzwerk, um zwei Aufgaben gemeinsam zu modellieren. Es schätzt zunächst die Verteilung latenter Variablen und lernt dann, Antworten zu generieren, indem es verschiedene latente Variablen abtastet.

Bei der Fallanzeige werden verschiedene latente Variablen ausgewählt, um unterschiedliche Antworteffekte zu erzeugen. Diese Antworten basieren alle auf den obigen Antworten und sind von guter Qualität, angemessen und informativ.

3. PLATO-2 Universelles Dialogmodell basierend auf Kurslernen#🎜 🎜#

PLATO-2 wird auf Basis von PLATO-1 weiter ausgebaut. In Bezug auf die Parameter hat es eine Skala von 1,6 Milliarden erreicht; in Bezug auf den Korpus vor dem Training gibt es 1,2 Milliarden Beispiele für chinesische Dialoge und in Bezug auf die Trainingsmethoden basiert es auf dem Kurslernen. Was ist Lehrplanlernen? Lernen Sie einfach zuerst die einfachen und dann die komplexen.

Darüber hinaus verwendet PLATO-2 weiterhin das einheitliche Netzwerkdesign PrefixLM und lernt gleichzeitig Dialogverständnis und Antwortgenerierung. Eine auf Kurslernen basierende Schulung ist äußerst effizient und eine einheitliche netzwerkbasierte Schulung ist äußerst kosteneffektiv.

PLATO-2 Die erste Stufe trainiert zunächst die vereinfachte universelle Antwortgenerierung, In der zweiten Stufe wird die diversifizierte Antwortgenerierung trainiert und in dieser Stufe werden latente Variablen hinzugefügt. In der zweiten Stufe wird auch ein Training zur Dialogkohärenzbewertung eingeführt. Im Vergleich zum herkömmlichen Generationswahrscheinlichkeitsranking verbessert die Kohärenzbewertung effektiv die Qualität der Antwortauswahl.

Kann PLATO-2 als universeller Dialograhmen verwendet werden? Wir wissen, dass das Dialogfeld grob in drei Kategorien unterteilt ist: aufgabenbasierter Dialog, Wissensdialog und offenes Domain-Chat-System. Es ist zu teuer, verschiedene Arten von Dialogsystemen separat vorab zu trainieren. Der Kurslernmechanismus von PLATO-2 kann dabei helfen, ein universelles Dialog-Framework zu werden. Der aufgabenbasierte Dialog ist in der ersten Phase des Kurslernens relativ fokussiert. Es gibt Eins-zu-Viele-Situationen im Wissensdialog Sie können unterschiedliche Kenntnisse verwenden, um dem Benutzer zu antworten, und im Gelegenheits-Chat-Dialog können Sie verschiedene Antwortrichtungen verwenden, sodass das Modell der zweiten Stufe des Kurslernens auf Wissensdialog- und Chat-Systeme angewendet werden kann.

4, PLATO-2 in DSTC-9

Um diese Fähigkeit zu überprüfen, nahm PLATO-2 am internationalen Wettbewerb DSTC im Bereich Dialog teil, der verschiedene Dialogfelder umfassend abdeckt, PLATO- 2 Es wurden 5 Meisterschaften in 6 Aufgaben mit einem einheitlichen technischen Rahmen erreicht, was das erste Mal in der Geschichte des DSTC ist.

5. PLATO-XL, das erste 10-Milliarden-Parameter-Dialoggenerierungsmodell für Chinesisch und Englisch

Was wird passieren, wenn wir die Parameterskala des PLATO-Modells weiter erhöhen? ? Im September 2021 haben wir PLATO-XL auf den Markt gebracht, das weltweit erste Konversationsmodell für Chinesisch und Englisch im Zehn-Milliarden-Maßstab.

Auf Chinesisch und Englisch wurden mehrere gängige kommerzielle Produkte verglichen. Unter den Gesichtspunkten Rationalität, Reichtum und Attraktivität liegt die Wirkung von PLATO weit vorn.

Der öffentliche WeChat-Account „Baidu PLATO“ ist mit dem PLATO-XL-Modell verbunden und kann von jedem ausprobiert und erlebt werden.

Die Parameter des PLATO-Modells reichen von 100 Millionen bis zu einer Milliarde und dann bis zu mehreren zehn Milliarden. Tatsächlich ist der Dialog relativ reibungslos und reibungslos Milliarden von Skalen haben die logischen Fähigkeiten des Modells deutlich verbessert.

6. Problem des Wissensmissbrauchs

Alle großen Modelle haben das Problem des Wissensmissbrauchs. Wie lösen wir Menschen Probleme, die wir nicht verstehen? Vielleicht können Sie es in einer Suchmaschine überprüfen. Kann diese Methode der Suche nach externem Wissen im Modell verwendet werden?

Die Integration externen Wissens zur Unterstützung der Antwortgenerierung ist ein vielversprechender Weg, um Wissensmissbrauch einzudämmen. Bei umfangreichen Dialogmaterialien sind jedoch nur der Dialogtext und die Antwortinformationen vorhanden, und es ist unmöglich, die entsprechende Beziehung zwischen einem bestimmten Korpus und externem Wissen zu kennen, d. h. es mangelt an Etiketteninformationen für die Wissensauswahl.

7. PostKS-Wissensauswahl basierend auf posteriorer Anleitung

PostKS ist eine der repräsentativen Arbeiten im Bereich des Wissensdialogs. Lassen Sie die vorherige Wissensverteilung die hintere Wissensverteilung annähern.

Da es in der Inferenzphase keine späteren Informationen gibt, muss das Modell Vorwissen für die Antwortgenerierung nutzen. In den Trainings- und Inferenzphasen kommt es zu Inkonsistenzen. Das Training basiert auf der Posterior-Phase, die Inferenz kann jedoch nur auf der Prior-Phase basieren.

8. PLATO-KAG unbeaufsichtigter Wissensdialog basierend auf gemeinsamer Optimierung

Das unbeaufsichtigte PLATO-KAG-Modell modelliert gemeinsam Wissensauswahl und Antwortgenerierung. Die Top-K-Wissensstücke werden a priori ausgewählt und für ein gemeinsames End-to-End-Training an das generative Modell gesendet. Wenn das Wissen genau ausgewählt wird, wird es bei der Generierung der Zielantwort sehr hilfreich sein, und die Generierungswahrscheinlichkeit wird diese Auswahl fördern und das gegebene Wissen nutzen haben keinen Einfluss auf die Generierung der Zielantwort und die Generierungswahrscheinlichkeit ist relativ hoch. Die gemeinsame Optimierung unterdrückt diese Auswahl und ignoriert das gegebene Wissen. Dies optimiert sowohl die Wissensauswahl als auch die Antwortgenerierung. 9. PLATO Comprehensive Knowledge Enhancement Dialogue und gleichzeitig eine externe Anwendung von Wissen und eine Internalisierung von Wissen vorgenommen. Einerseits nutzt es externes allgemeines unstrukturiertes Wissen und Porträtwissen, andererseits internalisiert es durch Vortraining auch eine große Menge an Frage- und Antwortwissen in die Modellparameter. Nach dieser umfassenden Wissenserweiterung konnte die Fehlerquote des allgemeinen Dialogwissens von 30 % auf 17 % gesenkt, die Konsistenz von Porträts von 7,1 % auf 80 % erhöht und die Genauigkeit von Fragen und Antworten von 3,2 % erhöht werden. auf 90 % Die Verbesserung ist sehr deutlich.

Das Bild unten ist ein Vergleich der Auswirkungen nach umfassender Wissenserweiterung.

Es ist erwähnenswert, dass die Wirkung zwar deutlich verbessert wurde, das Problem des Wissensmissbrauchs jedoch nicht vollständig gelöst, sondern nur gemildert wurde. Selbst wenn der Modellmaßstab auf Hunderte Milliarden Parameter erweitert wird, besteht weiterhin das Problem des Wissensmissbrauchs.

Es gibt noch einige Punkte, die unserer kontinuierlichen Bemühungen würdig sind: Der erste ist der auslösende Zeitpunkt des externen Wissens, d der Dialog Verbringen. Der zweite Punkt ist die Genauigkeit der Wissensauswahl, die eine Abruftechnologie beinhaltet. Der chinesische Wissensbestand ist in Milliardenhöhe aufgebaut. Es ist nicht so einfach, geeignetes Wissen durch einen bestimmten Dialog abzurufen. Der dritte Punkt ist die Rationalität und Genauigkeit der Wissensnutzung. Manchmal kann das Modell das Wissen nicht genau verstehen oder ungenaue Antworten verwechseln und zusammensetzen. 3. Implementierung, Herausforderungen und Perspektiven von groß angelegten Dialogmodellen Reichtum und Verbesserung des Dialogreichtums durch unbeaufsichtigte Einführung von externem Wissen, um Wissensmissbrauch usw. zu lindern. Was sind also die praktischen Anwendungen in der tatsächlichen Produktion?

1. Landed-Anwendung

PLATO bietet offene Domänen-Chat-Funktionen in verschiedenen Szenarien wie Smart Speakers, Virtual People und Community-Chats.

Auf der linken Seite befindet sich der digitale Mensch Du Xiaoxiao. Suchen Sie in der Baidu-App nach Du Xiaoxiao oder geben Sie direkt „Hallo“ ein. Chatten kann den Suchvorgang erleichtern und effizient Antworten und Informationen erhalten. Auf der rechten Seite ist eine virtuelle Person in der Baidu-Eingabemethode zu sehen, die sowohl gut aussieht als auch gut chatten kann. 2. Herausforderungen bei Landeanwendungen Die Anzahl der Operatoren wurde durch Operatorfusion um 98 % reduziert und die Modellinferenzzeit wurde von 1,2 s bei der ursprünglichen v100 auf weniger als 300 ms bei der A10-Karte reduziert. Durch Optimierung der Berechnungsgenauigkeit wurde der Videospeicher um 40 % reduziert. Die Inferenzkarte wurde von v100 auf A10 umgestellt, um die Kosten zu senken. Gleichzeitig wurden Architekturoptimierung und Plattformmigration durchgeführt, um den Link-Overhead zu reduzieren.

Die zweite Herausforderung ist die Gesprächssicherheit . Beispielsweise bedürfen schädliche Äußerungen, politische Sensibilität, regionale Diskriminierung, Privatsphäre und viele andere Aspekte großer Aufmerksamkeit. PLATO bereinigt den Korpus gründlich, löscht unsichere Proben und verwendet ein sicheres Diskriminanzmodell, um unsichere Kandidatenantworten nach der Bereitstellung zu entfernen. Gleichzeitig wird die Schlüsselworttabelle gepflegt und ein gegnerisches Training hinzugefügt, um Lücken zu erkennen und zu schließen und so die Sicherheit zu verbessern.

3. AusblickIn der Vergangenheit dachte man, dass Open-Domain-Chatten eine verdeckte Funktion sei. Mit der Entwicklung großer Modelle wurden in den letzten Jahren erhebliche Fortschritte im Dialogbereich erzielt Das aktuelle Modell kann einen kohärenten, reibungslosen, reichhaltigen und domänenübergreifenden Dialog erzeugen, es gibt jedoch noch viel Raum für Verbesserungen in Aspekten wie Emotion, Charakter, Persönlichkeit und Denken.

Der Weg ist lang und voller Hindernisse, aber er kommt bald. Wenn Sie weitermachen, können Sie sich auf die Zukunft freuen. Ich hoffe auch, dass Kollegen im Dialogbereich zusammenarbeiten können, um den Höhepunkt des Mensch-Computer-Dialogs zu erreichen.

4. Zitat

5. Frage-und-Antwort-Runde

F: Wie wird die Wirksamkeit des Dialogs bewertet?

A: Derzeit gibt es im Dialogsystem keine automatischen Indikatoren, die mit der manuellen Bewertung konsistent sind, und die manuelle Bewertung ist immer noch der Goldstandard. Während der Entwicklungsphase können Sie anhand der Verwirrung iterieren. In der abschließenden umfassenden Bewertung müssen Sie immer noch eine große Anzahl von Crowdsourcern bitten, mit verschiedenen Maschinen zu interagieren und einige Indikatoren manuell zu bewerten. Mit der Entwicklung der Technologie ändern sich auch Bewertungsindikatoren. Wenn beispielsweise Sprachkompetenz kein Problem mehr darstellt, können Indikatoren wie Sicherheit und Wissensgenauigkeit hinzugefügt werden, um fortgeschrittenere Fähigkeiten zu bewerten.

Das obige ist der detaillierte Inhalt vonInteraktiver Dialog zwischen Mensch und Computer, gesteuert durch große Modelle. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!