Möchten Sie ChatGPT auf Ihrem Computer installieren? Das inländische Open-Source-Großsprachenmodell ChatGLM hilft Ihnen dabei!

Hallo zusammen.

Heute möchte ich mit Ihnen ein Open-Source-Großsprachenmodell ChatGLM-6B teilen.

In nur zehn Tagen habe ich fast 10.000 Sterne gesammelt.

ChatGLM-6B ist ein Open-Source-Konversationssprachmodell, das zweisprachige Sprachen auf Chinesisch und Englisch unterstützt. Es basiert auf der Architektur des General Language Model (GLM) und verfügt über 6,2 Milliarden Parameter. In Kombination mit der Modellquantisierungstechnologie können Benutzer es lokal auf Grafikkarten der Verbraucherklasse bereitstellen (auf der INT4-Quantisierungsebene sind mindestens 6 GB Videospeicher erforderlich). ChatGLM-6B verwendet eine ähnliche Technologie wie ChatGPT und ist für chinesische Fragen und Antworten sowie Dialoge optimiert. Nach zweisprachigem Training in Chinesisch und Englisch mit etwa 1T-Identifikatoren, ergänzt durch überwachte Feinabstimmung, Feedback-Selbstbedienung, Lernen zur Verstärkung menschlicher Rückmeldungen und anderen Technologien, konnte der 6,2 Milliarden Parameter umfassende ChatGLM-6B Antworten generieren, die ziemlich konsistent sind mit menschliche Vorlieben.

Jeder kann es auf seinem eigenen Computer installieren und ausprobieren. Der minimale Videospeicher unabhängiger Grafiken beträgt 6 GB, und ein CPU-Computer kann ihn auch ausführen, ist jedoch sehr langsam.

Das Projekt stellt derzeit nur das Modell und den Inferenzcode als Open Source zur Verfügung, nicht jedoch das Training des Modells.

Um das Projekt auszuführen, sind nur zwei Schritte erforderlich. Der erste Schritt besteht darin, den Quellcode herunterzuladen

Nach der Ausführung wird die Modelldatei automatisch heruntergeladen. Wahrscheinlich etwa 4G.

Wenn es auf einer GPU läuft, beträgt der Videospeicher des Modells standardmäßig mindestens 13 GB. Wenn der Videospeicher nicht ausreicht, können Sie web_demo.py

git clone https://github.com/THUDM/ChatGLM-6B.git

Ändern Sie THUDM/chatglm-6b im obigen Code zu THUDM/chatglm-6b-int4 ​, das heißt: Wechseln Sie zum quantisierten int4-Modell, und es kann reibungslos laufen, solange der Videospeicher größer als 6 g ist.

Wenn gemeldet wird, dass der CPU-Speicher nicht ausreicht, schließen Sie andere Software, insbesondere den Browser.

Nach erfolgreicher Ausführung springt es automatisch zur Browserseite und Sie können es wie ChatGPT verwenden.

Das Folgende ist das Ergebnis meiner lokalen Operation. Sie können den Unterschied mit ChatGPT sehen Code schreiben

Rollenspiel

Das Projekt ist sehr einfach auszuführen, Sie können es ausprobieren.

Wenn Sie diesen Artikel für Sie nützlich finden, klicken Sie bitte auf „Lesen“, um mich zu ermutigen, weiterhin hervorragende Python+KI-Projekte zu teilen.

Das obige ist der detaillierte Inhalt vonMöchten Sie ChatGPT auf Ihrem Computer installieren? Das inländische Open-Source-Großsprachenmodell ChatGLM hilft Ihnen dabei!. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!