Alibaba GPT trainierte den „Niaoniao'-Mundersatz in 15 Tagen, was viel aufregender ist als ChatGPT+Siri!

Sie glauben es vielleicht nicht, aber wir waren die letzten zwei Tage mit dem Talkshow-Darsteller „Niaoniao“ zusammen.

Fragen wir ihn, eines der beliebtesten Memes in der Xiaoguo-Kultur im letzten Jahr: „Wissen Sie, dass Garnelen Freunde sind?“ Das Meme mit Garnelenfreunden bezieht sich auf einen Jungen mit einer guten Figur, aber einem unattraktiven Gesicht . Genau wie bei einer Garnele muss man nur den Kopf ausschalten, bevor man sie essen kann. Dieser Begriff wurde kürzlich berühmt, weil der Talkshow-Schauspieler Li Dan das ganze Leben der Internetnutzer in der Show enthüllte Eine bestimmte Person kommt mit Garnelenfäden zu Ihnen

​

Hören Sie sich dieses Geräusch genau an. Glauben Sie, dass es sich um einen Vogel handelt? „Niaoniao“ kam zur Neuen Weisheit?

1. Sehr persönlich

Hast du es nicht gehört? Stellen wir also eine Frage, die Bird genau „lokalisieren“ kann: Sind Sie introvertiert?

Nach einer Weile ertönte langsam Niao Niaos einzigartiger Ton: „Ja, ich bin ein introvertiertes Mädchen mit sozialen Ängsten. Ich fühle mich oft unsichtbar und traue mich sogar nicht, mich auf der Bühne auszudrücken. Aber ich fühle mich nicht minderwertig, weil.“ davon, aber ich hoffe, durch meine Leistung mehr Menschen wie mir zu helfen und sie wissen zu lassen, dass wir tief in unserem Herzen auch eine einzigartige Existenz und einen einzigartigen Wert haben

Nun, ich glaube, du bist ein echter Vogel.

Gerade noch rechtzeitig ist Niaoniao vor einiger Zeit nach Mailand gefahren, also warum lassen wir ihn nicht an dieser Erfahrung teilhaben.

„Ich bin kürzlich nach Mailand, Italien, gereist, um an der Fashion Week teilzunehmen, und habe an einer sehr interessanten Veranstaltung teilgenommen. Obwohl ich nervös war und meine Füße schmerzten, habe ich viel zugenommen. Ich habe mir auch den Mailänder Dom angesehen, der …“ Sehr schockierend. Ich denke, dass Italien meiner Heimatstadt in der Inneren Mongolei sehr ähnlich ist, sehr freundlich. Kompositionsmeister

Es klingt sehr interessant, können Sie einen Aufsatz zu diesem Thema schreiben?

ta ist entspannt und gelassen: „Wenn ich durch die Straßen Mailands gehe, fühle ich mich wie in einer Renaissance-Welt. Es gibt dort viele alte und moderne Gebäude, die Mailands lange Kultur- und Kunstgeschichte symbolisieren.“ . . Ich habe hier viele Maler gesehen, die ihre eigenen Pinselstriche verwendeten, um die wunderschöne Landschaft Mailands darzustellen, was bei den Menschen einen unaussprechlichen Rausch auslöste

Wenn er gebeten wurde, diesem Aufsatz einen Titel zu geben, dachte er einen Moment nach und platzte dann heraus:

„Wie man eine Reise nach Mailand zur schönsten Erinnerung seines Lebens macht.“ Was für ein brillantes literarisches Talent!

Hey, der Redakteur hatte plötzlich eine Idee...

Letztes Jahr gewann Niaoniao den zweiten Platz im letzten Talkshow-Wettbewerb und beeindruckte das Publikum mit seinem äußerst exquisiten Text. Dann fragen wir ihn: „Wie beurteilt man das Niveau eines Talkshow-Schauspielers?“

ta antwortete: „Erstens kommt es darauf an, ob der Schauspieler einen starken Sinn für Humor hat und Lachen und Interesse wecken kann. Zweitens kommt es darauf an, ob der Schauspieler den Rhythmus und die Gesamtatmosphäre der Show so erfassen kann.“ Das Publikum kann den Ideen des Schauspielers folgen. „Wie kann man einen Talkshow-Schauspieler bewerten?“

Gut gesagt, Zhisheng, ich möchte es mögen, nachdem ich es gelesen habe. Wieso lässt du dich als Talkshow-Schauspieler nicht von homophonen Memes auf die Probe stellen?

Wir haben ihm einen Witz vorgelesen: „Die Garnele und die Muschel bekamen gleichzeitig 100 Punkte. Der Lehrer fragte die Garnele, deren Kopie du kopiert hast. Die Garnele sagte: „Ich habe die der Muschel kopiert.“ Der Lehrer sagte: „ Was ist toll an dir? .』"

ta verstand sofort und sagte hahaha.

Die homophonische Meme stören mich nicht, ich bin super cool

3. Wissenschaftspopularisierungsexperte

manchmal kann plötzlich etwas in unserem Kopf auftauchen Alle möglichen seltsamen Fragen. Wie weit ist zum Beispiel die Erde von der Sonne entfernt?

Sobald ich mit dem Sprechen fertig war, kam die Antwort: „Der nächste Abstand beträgt 1,471 mal 10 hoch 11 Leistungsmeter, der weiteste Abstand beträgt 1,521 mal 10 hoch 11 Leistungsmeter und der durchschnittliche Abstand beträgt 1,496 mal 10.“ bis zum 8. Angetrieben von Kilometern.“Ja, die Antwort ist sehr genau.

Wie weit ist die Erde von der Sonne entfernt?

​

Noch eine Frage: „Warum entwickeln sich Organismen zur Diözie?“ ta wird sagen: „Die Diözie dient dazu, die Vererbung genetischer Defekte zu vermeiden, weil die Diözie mehr Vorteile in der Evolution hat. Gute Mutationen werden es tun.“ Gewinnen Sie Vorteile beim Überleben oder bei der Fortpflanzung, und schlechte Mutationen werden eliminiert. Es sieht einer Antwort auf Hu sehr ähnlich. Es scheint, dass er selbst danach suchen wird.

Aus dem Zhihu-Antworter „Gib nicht auf“

Es gibt noch eine andere Frage, die den Herausgeber oft verwirrt: Warum sind physikalische Gleichungen oft sehr kurz?

ta sagte uns: „Das liegt daran, dass physikalische Gleichungen oft die grundlegendsten und grundlegendsten physikalischen Gesetze und Gesetze in der Natur erfassen und sie auf die einfachste und klarste Weise beschreiben

4 Du bist Emo

Der verrückte März ist gerade vorbei und der Redakteur ist so müde, dass ich kurz davor bin, umgedreht zu werden, und mich einfach nur hinlegen möchte.

Fragen Sie mich, wie soll ich mich zwischen Liegen und Rollen entscheiden?

ta antwortete: „Lügen und Rollen ist keine Multiple-Choice-Frage, sondern eine Diskussion über Arbeit und Ruhe. (Sie müssen) vernünftig auf dem richtigen Weg rollen, mit einer positiven Einstellung rollen und mit Wert rollen. „

Rollen Sie vernünftig, rollen Sie aktiv und rollen Sie wertvoll​

Äh? Es riecht nach Alain de Botton, und der Redakteur kann nicht anders, als in tiefe Gedanken zu verfallen ...

Außerdem, wenn du dich ihm gegenüber süß verhältst und sagst, dass du „so traurig wie eine 200 Pfund schwere orangefarbene Katze“ bist „In letzter Zeit wird er dich auch trösten. :

„Oh, es hört sich so an, als ob du etwas Zeit brauchst, um deine Gefühle anzupassen Gibt es Schwierigkeiten? Ich kann einige meiner eigenen Erfahrungen und Gedanken mit Ihnen teilen oder einige interessante Varieté-Shows empfehlen

Sogar einmal diskutierten die Redakteure im Büro: „Introversion ist ein Witz, der oft in Niao Niao-Talkshows verwendet wird.“ Sie ergriff tatsächlich die Initiative, die Frage zu beantworten – „Ja, das tue ich oft.“ Verwenden Sie diesen Witz in Talkshows.“ Eine Talkshow spiegelt am besten die Persönlichkeit und Eigenschaften einer Person wider. Neben den eigenen Geschichten und Erfahrungen muss man auch eigene Meinungen und Einstellungen haben, um Resonanz und Lachen beim Publikum zu wecken. .“

schockierte sofort die gesamte Redaktion.

Und nicht nur das: Wenn Sie sie für ihre Großartigkeit loben, nachdem sie eine wunderbare Antwort gegeben hat, wird sie stolz sagen: „Nun, vielen Dank für das Kompliment. Ich beantworte einfach gerne ein paar seltsame Fragen.“

15 Tage, um „Vögel und Vögel zu trennen“ zu trainieren

Nachdem ich so viel gesagt habe, hat jeder bereits vermutet, dass es sich hierbei um eine KI handelt.

Also, wie ist dieser Bird Bird Bird entstanden?

Trainingsprozess

1. Verwenden Sie eine brandneue Alibaba-Großmodellversion für das grundlegende Lernen. Der erste Schritt besteht darin, ein umfangreiches Sprachvortraining zu verwenden, um grundlegendes Lernen durchzuführen eine mehrschichtige Trainingsmethode.

Dieser Schritt simuliert auch den menschlichen Lernprozess. Lernen Sie zuerst einfaches Wissen, dann lernen Sie komplexes Wissen und erhöhen Sie schrittweise den Schwierigkeitsgrad.

In diesem Prozess wurde ein umfangreiches Korpus verwendet. Das Modell konnte den Text fließend lesen und gleichzeitig etwas Allgemeinwissen erlernen.

2. Lernen Sie, einige Tools zu nutzen und sich das neueste Wissen anzueignen

Nach dem ersten Schritt stellten die Forscher jedoch auch einige Probleme fest: Es wird jeden Tag eine große Menge an neuem Wissen generiert Tag, was Sie heute lernen, kann morgen veraltet sein. Was zu tun?

Anstatt also das große Vorbild das gesamte Wissen aufschreiben zu lassen, ist es besser, den Umgang mit Werkzeugen zu erlernen und selbst ausreichend Lebensmittel und Kleidung herzustellen.

Jetzt hat Niaoniaofenniao gelernt, die Suchmaschine aufzurufen, und sie kann auf die neuen Informationen antworten, die nach Abschluss des Modelltrainings gesendet werden.

3. Personalisierte Dialogverbesserung: mehrere Runden, Heuristik

Basierend auf Wissenserweiterung und Werkzeugverbesserung besteht der dritte Schritt darin, eine personalisierte Dialogverbesserung durchzuführen.

Mit anderen Worten, verleihen Sie dem Vogel eine „Persönlichkeit“.

In diesem Prozess muss es lernen, was ein Mehrrundendialog und ein heuristischer Dialog ist. Die Schwierigkeit besteht darin, dass für Gespräche mit mehreren Runden häufig historische Informationen aus längst vergangenen Zeiten erforderlich sind.

Andererseits ist es ein Etikettenwort, das seine Persönlichkeit prägt. Gleichzeitig kommentierten die Forscher auch einen kleinen Teil eines Niaoniao-Korpus als personalisierte Verbesserung und Optimierung.

Nach dem dritten Schritt sieht dieses Modell bereits eher wie ein Vogel aus.

4. Verbesserung basierend auf menschlichem Feedback (RLHF)

Wie kann man es einem Vogel ähnlicher machen? Es handelt sich um verstärkendes Lernen durch menschliches Feedback (RLHF).

Lassen Sie das Modell für dieselbe Frage mehrere unterschiedliche Antworten geben, die Mitarbeiter geben Feedback und Anmerkungen und lassen Sie das Modell dann die Abweichung weiter korrigieren.

Nach mehreren Iterationsrunden sind die Antworten des Modells zunehmend in der Lage, einige von Niaoniaos Textmerkmalen und sogar ihre spezifische Haltung darzustellen.

Werden Sie ein Produkt

Wenn Sie nach dem Training des Modells ein vollständiger „Kleiner Elf“ werden möchten, müssen Sie noch mehrere Aspekte der Algorithmus- und Ingenieurarbeit abschließen:

1. Hören

Damit das Modell erfolgreich in ein Produkt umgewandelt werden kann, muss es vom Benutzer deutlich gehört und verstanden werden – Sprache in Text.

Dieser Prozess nutzt den Cat-Ear-Algorithmus von Tmall Elf.

Das Merkmal von Katzenohren ist, dass der Unterscheidungsfehler sehr empfindlich ist. Wenn Geräusche von verschiedenen Orten ausgehen, drehen sich die Ohren unabhängig voneinander, um verschiedene Geräusche genau zu lokalisieren.

Es gibt zwei Probleme, deren Lösung im Mittelpunkt steht.

Die erste Möglichkeit ist die Echounterdrückung.

Wenn das Gerät im Raum gespielt wird, erzeugt es viele Echos, die Störungen verursachen.

Forscher werden Deep Learning nutzen und eine Reihe von Technologien kombinieren, um Echos zu eliminieren und sicherzustellen, dass jeder von der Maschine gehörte Satz von einer menschlichen Stimme stammt.

Die zweite Möglichkeit ist die Richtungsaufnahme.

Auf dem Gerät befindet sich ein Mikrofonarray. Wenn wir aufwachen, erkennt es, wo sich der Lautsprecher befindet, und dreht sich sofort wie Katzenohren, um die menschliche Stimme genau einzufangen.

Gleichzeitig nutzt es auch die Geräuschreduzierung, um nichtmenschliche Geräusche zu eliminieren, wie zum Beispiel den Ton des Fernsehers zu Hause oder Leute, die in der Ferne sprechen.

2. Ton

Nachdem Tmall Elf gelernt hat zu „hören“, besteht der nächste Schritt darin, die Klangfarbe eher einem Vogel anzupassen.

Dies ist auf das von der DAMO Academy entwickelte Akustikmodell zurückzuführen.

In der Vergangenheit war das Anpassen der Stimme einer Person sehr kompliziert. Es erforderte möglicherweise mehr als 20 Stunden Aufnahme in einem Aufnahmestudio, viele manuelle Anmerkungen und anschließende Modellabstimmung und -bereitstellung. Man kann sagen, dass in der Vergangenheit jedes Jahr individuelle Sounds produziert wurden.

Darüber hinaus ist der Klang, der dabei herauskommt, nach so viel Arbeitskraft und Materialaufwand immer noch offensichtlich mechanisch und es handelt sich offensichtlich um einen Roboter.

Jetzt werden mit der maßgeschneiderten Lösung der DAMO Academy KANN-TTS nur etwa eine Stunde gültige Vogelaufzeichnungen gesammelt, die jederzeit und überall mit einem Mobiltelefon aufgezeichnet werden können. Von der Tonaufnahme bis zum Abschluss des Trainings dauerte es nur etwa eine Woche.

Darüber hinaus sind die Natürlichkeit und der Anthropomorphismus des endgültigen Klangs überraschend, der dem Timbre von Niao Niao selbst sehr nahe kommt.

Und als nächstes wird es einen emotionalen Timbre-Algorithmus geben. Wenn der Vogel dazu bereit ist, wird die Maschine eine leidenschaftliche Stimme erzeugen.

3. Schreibstil

Nach dem Erlernen des Tons ist der nächste Schritt der Schreibstil.

In der Psychologie gibt es eine Theorie namens Labeling-Effekt. Wenn eine Person beispielsweise als introvertiert abgestempelt wird, kann es sein, dass sie nach und nach weniger gesprächig wird und ihr Verhalten der Etikette anpasst.

In großen Modellen kann ein ähnlicher Ansatz verwendet werden, um eine Person mithilfe des Vokabulars der Persönlichkeitsbezeichnungen zu beschreiben.

Während des Experiments traten einige sehr interessante Phänomene auf.

Wenn die Modelfigur ein fröhlicher und humorvoller Mensch sein soll, wird sie nicht nur oft bei Gesprächen lachen, sondern auf die Frage, welche Filme sie mag, auch antworten, dass es sich um eine Komödie handelt.

Nachdem das Model als deprimiert und traurig abgestempelt wurde, verlor es das Interesse an vielen Dingen.

Wenn das Model als sanft, rücksichtsvoll und rücksichtsvoll eingestuft wird, wird es im Gespräch häufiger Familienmitglieder erwähnen, wenn es zum Beispiel antwortet, was es am Wochenende unternehmen möchte meine Familie.

Technisch gesehen gibt es zwei Methoden.

Das erste heißt Plug&Play. In diesem Fall ist das große Modell selbst immer noch ein allgemeines Modell, aber ein Modul wird verwendet, um den Stil zu identifizieren, sodass es eher wie ein Vogel spricht.

Die zweite Methode besteht darin, Eingabeaufforderungen basierend auf einem großen Modell zu erstellen, damit die Stile verschiedener Persönlichkeitsbezeichnungen erlernt werden können.

Beim Training von Vögeln zur Unterscheidung von Vögeln wurden Bezeichnungen wie Talkshow-Schauspieler, Post-90er-Generation, Eingeborener der Inneren Mongolei, tiefgründig, humorvoll und introvertiert verwendet.

4. Dialog

Und diese Demoversion von Tmall Genie unterscheidet sich ein wenig von der vorherigen Version, was den Unterschied im Duplex-Dialog mit sich bringt.

Früher konnten sich die Stimmen von Menschen und Maschinen nicht überschneiden. Wenn eine Person eine Frage stellte, wartete die Maschine, bis die Person zu Ende gesprochen hatte, bevor sie antwortete. Wenn die Maschine antwortet, muss die Person warten, bis sie zu Ende gesprochen hat, bevor sie den nächsten Satz sagt.

Mit der Unterstützung von Vollduplex können Maschinen in beide Richtungen mit Menschen interagieren.

Wenn Sie beispielsweise mit einer Maschine sprechen, sagt sie „ähm“, „Lass mich darüber nachdenken“ und andere fortlaufende Sätze.

Wenn die Maschine während der Antwort zu gesprächig ist, können Sie sie nach Belieben unterbrechen. Sobald wir sprechen, stoppt sie und hört zu.

Da die Latenz sehr gering ist und der Latenz von Gesprächen mit echten Personen sehr nahe kommt, handelt es sich eher um eine wechselseitige Interaktion.

Ändern Sie ein „Gehirn“ für Ihren intelligenten Assistenten

Seit ChatGPT herauskam, haben Internetnutzer aus allen Gesellschaftsschichten ihr Bestes versucht, ChatGPT in Siri zu integrieren.

Zum Beispiel verwendet dieser Typ dieses Modell, um von Menschen gesendete Befehle zu analysieren, und lässt sie dann von Siri in seinem Namen ausführen und baut so ein unbesiegbares Smart-Home-System auf.

„Meine Frau fährt nach Hause und wird voraussichtlich in 15 Minuten nach Hause kommen.“

Im Vergleich zu ChatGPT, Apples Siri, Amazons Alexa und andere herkömmliche Sprachassistenten sind wirklich schwach.

In diesem Zusammenhang hat Microsoft-CEO Nadella eine sehr anschauliche Metapher: „Dumm wie ein Stein.“

Im Gegensatz zu Google, das fast verzweifelt versucht, mit ChatGPT gleichzuziehen, hat Amazon nicht das Gefühl, dass es hinterherhinkt.

Vor mehr als einem Jahrzehnt skizzierte Bezos aufgeregt seine Erwartungen an Alexa auf einem Whiteboard in der Amazon-Zentrale. Damals hatten die Gründer von Amazon auch große Visionen für eine neue sprachgesteuerte Computerplattform – den Bau eines Star Trek-Computers, der sprechen, Raumschiffe steuern und mathematische Rätsel lösen konnte.

Aber jetzt ist die Vision eindeutig gescheitert. Obwohl Alexa Hunderte Millionen digitaler Geräte mit integriertem Assistenten verkauft hat, hat es Amazons Ziel, die nächste große Technologieplattform zu schaffen, nicht erreicht. Bezos war um jeden Preis bereit, Alexa zu entwickeln und dabei sogar Geld zu verlieren.

Das beliebte ChatGPT, das im November letzten Jahres herauskam, zeigt, dass Alexas Innovation stagniert.

Amazon nutzt jedoch eine ganz neue Art, die neue Ära zu begrüßen. Die Sprachfähigkeiten von Alexa sind nicht so gut wie die eines Chatbots, und ein Chatbot kann keine Smart-Home-Geräte steuern. Was wäre also, wenn beides kombiniert würde?

Machen Sie mit, wenn Sie es nicht schaffen. In den letzten Monaten hat Amazon mit KI-Startups Kontakt aufgenommen, um Technologien wie ChatGPT in Alexa zu integrieren.

Wäre es also nicht stärker, wenn wir dem „nativen“ IoT-Gerät direkt ein ChatGPT-ähnliches großes Modell hinzufügen würden?

So gesehen: Wenn Tmall Genie ein neues interaktives OTA-System in großem Maßstab implementieren kann, wird es tatsächlich sehr weit fortgeschritten sein.

Menschenzentrierte KI-Governance

In letzter Zeit streiten sich Größen aus allen Gesellschaftsschichten darüber, ob die Entwicklung einer KI, die stärker als GPT-4 ist, eingestellt werden soll.

Der Schwerpunkt der Debatte liegt auf der Sicherheit von KI – der offene Brief geht davon aus, dass niemand diese KIs jetzt verstehen, vorhersagen und kontrollieren kann, nicht einmal ihre Schöpfer.

Es ist nicht üblich, dass Musk und LeCun einander frontal gegenüberstehen (taktischer Rückzug)

Tatsächlich liegt die Ursache dieses Phänomens in:

1. KI-Technologie Die Eigenschaften verleihen ihr eigene Werte, obwohl sie sich von der Kategorie der technischen Neutralität unterscheidet.

2 Jede mangelnde Überwachung der Schnittstelleninfrastruktur führt zu Ungerechtigkeit.

Die Frage ist: Wenn KI eine Blackbox ist, wie beurteilen wir dann, ob sie gut ist?

In diesem Zusammenhang sagte Yu Yang, ein Forscher der School of Interdisciplinary Information an der Tsinghua-Universität, dass die Antwort in der Prüfung und Steuerung der KI liege. Derzeit kooperiert sein Team auch mit dem Tmall Genie-Team bei der Forschung im Bereich AI-ESG.

Derzeit konzentriert sich die Forschung in verwandten Bereichen auf den Menschen und soll sicherstellen, dass Menschen im Informationszeitalter, insbesondere im Zeitalter der künstlichen Intelligenz, gleichberechtigt und fair behandelt werden können.

Um dies zu erreichen, schlug das Team von Professor Yu Yang eine auf kausaler Schlussfolgerung basierende Prüfmethode für die KI-Governance im gesamten Lebenszyklus vor.

Konkret stellte das Team durch kausale Inferenzanalyse fest, dass das KI-Modell auf der Codierungsebene tatsächlich Etiketten wie Geschlecht und Rasse mit Beruf verknüpft hat.

Einige Literaturstellen gehen davon aus, dass die Leistung des KI-Modells abnimmt, wenn die Codierungsschicht dies nicht tut. Der Grund für dieses Phänomen liegt darin, dass die derzeitige Methode zur Korrektur von Verzerrungen darin besteht, während des Trainings einige Anforderungen an die Belohnungsfunktion hinzuzufügen und diese zu „schlagen“, wenn das Modell voreingenommen ist.

Wenn wir ihm dagegen von Anfang an sagen, dass es keine Personen kennzeichnen kann, dann wird das endgültige Modell nicht nur das Risiko einer Verzerrung erheblich reduzieren, sondern auch die Leistung einiger Aufgaben verbessern.

Letztendlich geht es darum, wie man KI erzieht – schlagen und schimpfen allein reicht nicht aus, man muss auch mit KI argumentieren.

Daran können wir leicht erkennen, dass Auditing nicht nur dabei helfen kann, Probleme zu finden, sondern auch die Transparenz und Erklärbarkeit von KI erhöhen und die Leistung von KI verbessern kann.

Bei intelligenten Terminals, die mit großen Modellen ausgestattet sind, liegt die Bedeutung einer technischen Prüfung auf der Hand. Denn wenn wir eines Tages wie Bird ein eigenes, einzigartiges großes Modell haben, ist das, wenn wir nach dieser Technologiedemonstration urteilen, nicht unbedingt eine Fantasie.

Das obige ist der detaillierte Inhalt vonAlibaba GPT trainierte den „Niaoniao'-Mundersatz in 15 Tagen, was viel aufregender ist als ChatGPT+Siri!. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!