Stanfords „Grass Mud Horse“ ist beliebt: 100 $ können mit GPT-3,5 mithalten! Die Art, die auf Mobiltelefonen ausgeführt werden kann

Über Nacht gab es eine weitere große Neuigkeit in der Großmodellbranche!

Stanford veröffentlichte Alpaka (Alpaka, wie Internetnutzer es „Grasschlammpferd“ nennen):

Für nur 100 US-Dollar kann jeder das 7-Milliarden-Parameter-LLaMA-Großmodell von Meta verfeinern, und der Effekt ist mit dem 175-Milliarden-Parameter vergleichbar GPT-3.5 (text-davinci-003).

Und es kann mit einer einzigen Karte betrieben werden, sogar ein Raspberry Pi und ein Mobiltelefon können es aufnehmen!

Es gibt auch eine noch tollere „Sexy-Operation“.

Der in die Studie einbezogene Datensatz wurde vom Stanford-Team mithilfe der OpenAI-API für weniger als 500 US-Dollar generiert.

Der gesamte Prozess entspricht also dem GPT-3.5-Lernen einer vergleichbaren Gegner-KI.

Dann sagte das Team auch, dass die Kosten für die Nutzung der meisten Cloud-Computing-Plattformen zur Feinabstimmung eines trainierten Modells weniger als 100 US-Dollar betragen:

Das Kopieren einer KI mit GPT-3.5-Effekt ist sehr günstig, einfach und sehr klein.

Und das Team hat auch den Datensatz (Einsparung von 500 US-Dollar pro Sekunde) und den Code komplett in Open Source erstellt. Jetzt kann jeder eine Konversations-KI mit explosiven Effekten verfeinern:

Es ist erst ein halber Tag her Das Projekt wurde auf GitHub veröffentlicht und hat bereits über 1800 Sterne erhalten, was seine Beliebtheit zeigt.

Django-Mitentwickler beschrieb Stanfords neue Forschung sogar als „ein schockierendes Ereignis“:

Darüber hinaus hat das Stanford-Team auch eine Demo erstellt, die online gespielt werden kann.

Lassen Sie uns ohne weitere Umschweife einen Blick auf die Wirkung dieses „Grass Mud Horse“ werfen.

Aplaca, ein Gras-Schlamm-Pferd, vergleichbar mit davinci-003

Bei der offiziellen Stanford-Demonstration stellten sie zunächst eine Frage:

Was ist ein Alpaka? Was ist der Unterschied zwischen ihm und einem Lama?

Die Antwort des Grasschlammpferdes Aplaca ist prägnanter:

Das Alpaka ist ein kleines Kamelid, das in Peru, Bolivien, Ecuador und Chile beheimatet ist. Es ist kleiner als das Lama, hat feineres Fell und nein Buckel.

Dann stellte er kurz die Unterschiede zwischen den beiden in Gruppen lebenden Menschen vor.

Wenn die gleiche Frage an ChatGPT (GPT3.5-turbo) gestellt wird, ist die Antwort nicht so prägnant wie das Grasschlammpferd Aplace:

In dieser Hinsicht lautet die Erklärung des Teams:

Alpacas Antwort ist normalerweise kürzer als ChatGPT, was die kürzere Ausgabe von text-davinci-003 widerspiegelt.

Dann demonstrierte das Team, dass Alpaca eine E-Mail schreiben durfte:

Schreiben Sie eine E-Mail, um den Studienanfängern zu gratulieren, die an der Stanford University zugelassen wurden, und erwähnen Sie, dass Sie sich freuen, sie persönlich kennenzulernen.

Alpaca ist auch mit dieser Aufgabe bestens vertraut und hat direkt eine anständige E-Mail-Vorlage bereitgestellt:

Der Schwierigkeitsgrad ist erneut gestiegen. Diesmal hat das Team die Anforderung an Alpaca gestellt, eine Zusammenfassung zu schreiben:

Schreiben Sie eine gut durchdachte Zusammenfassung einer Arbeit zum maschinellen Lernen, die zeigt, dass 42 der optimale Startwert für das Training neuronaler Netze ist.

Die von Alpaca gegebene Antwort stimmt inhaltlich sehr gut mit der abstrakten Form der meisten Arbeiten überein: Welche Frage versucht sie zu beantworten, welche Methode wird verwendet, was sind die Ergebnisse und welche Zukunftsaussichten gibt es?

Natürlich gibt es auch Internetnutzer, die es kaum erwarten können, es selbst auszuprobieren, und feststellen, dass es einfach ist, mit Alpaca Code zu schreiben.

Aber auch wenn Alpaka die meisten Probleme aushält, heißt das nicht, dass es fehlerfrei ist.

Beispielsweise demonstrierte das Team bei der Beantwortung der Frage „Was ist die Hauptstadt von Tansania?“ die Antwort von Alpaca: „Dar es Salaam“.

Aber tatsächlich wurde es bereits 1975 durch „Dodoma“ ersetzt.

Wenn Sie das Alpaka außerdem persönlich erlebt haben, werden Sie feststellen, dass es ... extrem langsam ist:

In dieser Hinsicht glauben einige Internetnutzer, dass es möglicherweise daran liegt, dass zu viele Menschen es verwenden Es.

Laptops, Mobiltelefone und Raspberry Pi können es alle ausführen

Metas Open-Source-LLaMA-Großmodell wurde nur wenige Wochen nach seiner Veröffentlichung arrangiert und verstanden und kann auf einer einzigen Karte ausgeführt werden.

Theoretisch kann Alpaca auf Basis der LLaMA-Feinabstimmung also auch problemlos vor Ort eingesetzt werden.

Es spielt keine Rolle, ob Sie keine Grafikkarte haben. Sie können es auf einem Apple-Laptop spielen, sogar auf einem Raspberry Pi oder einem Mobiltelefon.

Die Methode zur Bereitstellung von LLaMA auf Apple-Notebooks stammt aus dem GitHub-Projekt llama.cpp, das zur Argumentation reines C/C++ verwendet und speziell für ARM-Chips optimiert ist.

Laut tatsächlichen Tests des Autors kann es auf MacBook Pro mit M1-Chip ausgeführt werden und unterstützt auch Windows- und Linux-Systeme.

Immer noch diese C++-portierte Version, jemand hat die 7-Milliarden-Parameter-Version von LLaMA erfolgreich auf einem Raspberry Pi 4 mit 4 GB Speicher ausgeführt.

Obwohl die Geschwindigkeit sehr langsam ist, dauert die Generierung eines Tokens etwa 10 Sekunden (d. h. 4,5 Wörter werden in einer Minute angezeigt).

Was noch empörender ist, ist, dass nur zwei Tage später jemand das LLaMA-Modell quantifizierte, komprimierte (die Gewichte in ein Datenformat mit geringerer Genauigkeit umwandelte) und es erfolgreich auf einem Pixel 6-Android-Telefon ausführte (ein Token von 26). Sekunden).

Pixel 6 nutzt Googles selbst entwickelten Prozessor Google Tensor und seine Laufwerte reichen von Snapdragon 865+ bis 888, was bedeutet, dass neuere Mobiltelefone diese Aufgabe theoretisch erfüllen können.

Der Feinabstimmungsdatensatz ist ebenfalls Open Source

Die Methode zur Feinabstimmung von LLaMA durch das Stanford-Team stammt von Self-Instruct, das Ende letzten Jahres von Yizhong Wang und anderen an der University of Washington vorgeschlagen wurde .

Verwenden Sie 175 Fragen als Startaufgaben, lassen Sie die KI neue Fragen kombinieren und passende Antwortbeispiele generieren, filtern Sie manuell diejenigen mit geringer Qualität heraus und fügen Sie dann neue Aufgaben zum Aufgabenpool hinzu.

Für all diese Aufgaben kann später die InstructGPT-Methode verwendet werden, um die KI lernen zu lassen, menschlichen Anweisungen zu folgen.

Nach ein paar Runden mit der Nistpuppe ist es so, als würde man sich von der KI selbst führen lassen.

Die Stanford-Version von Alpaca wurde mithilfe der OpenAI-API erstellt, um 52.000 solcher Beispiele für weniger als 500 US-Dollar zu generieren.

Diese Daten stammen ebenfalls aus offenen Quellen und sind vielfältiger als die Daten im Originalpapier.

Gleichzeitig wird auch der Code zum Generieren dieser Daten bereitgestellt, was bedeutet, dass jemand, der immer noch das Gefühl hat, dass dies nicht ausreicht, die Daten selbst erweitern und verfeinern kann, um die Leistung des weiter zu verbessern Modell.

Der Feinabstimmungscode wird auch veröffentlicht, nachdem HuggingFace LLaMA offiziell unterstützt.

Für die endgültigen Modellgewichte von Alpaca ist jedoch die Veröffentlichung einer Meta-Lizenz erforderlich, und es erbt die nichtkommerzielle Open-Source-Vereinbarung von LLaMA, die jegliche kommerzielle Nutzung verbietet.

Und da die Feinabstimmungsdaten die API von OpenAI verwenden, ist es gemäß den Nutzungsbedingungen auch verboten, diese zur Entwicklung von Modellen zu verwenden, die mit OpenAI konkurrieren.

One More Thing

Erinnern Sie sich noch an die Entwicklungsgeschichte der KI-Malerei?

Im ersten Halbjahr 2022 war das Thema immer noch heiß. Die Open Source von Stable Diffusion im August senkte die Kosten auf ein nutzbares Niveau und führte zu explosiven Werkzeuginnovationen, die es der KI-Malerei ermöglichten, wirklich in verschiedene Arbeitsabläufe einzudringen.

Die Kosten für Sprachmodelle sind inzwischen auf das Niveau gesunken, auf dem persönliche elektronische Geräte verfügbar sind.

Schließlich rief Simon Willison, der Gründer des Django-Frameworks:

Die Zeit für die stabile Verbreitung großer Sprachmodelle ist gekommen.

Das obige ist der detaillierte Inhalt vonStanfords „Grass Mud Horse“ ist beliebt: 100 $ können mit GPT-3,5 mithalten! Die Art, die auf Mobiltelefonen ausgeführt werden kann. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!