Erleben Sie online das stabile Diffusionsmoment des großen StableLM-Sprachmodells mit 7 Milliarden Parametern

Im großen Sprachmodellkrieg ist auch die Stabilitäts-KI zu Ende.

Kürzlich hat Stability AI die Einführung ihres ersten großen Sprachmodells angekündigt – StableLM. Wichtig: Es ist Open Source und auf GitHub verfügbar.

Das Modell beginnt mit den Parametern 3B und 7B und wird von Versionen von 15B bis 65B gefolgt.

Und Stability AI hat auch das RLHF-Feinabstimmungsmodell für Forschungszwecke veröffentlicht.

Projektadresse: https://github.com/Stability-AI/StableLM/

Obwohl OpenAI nicht offen ist, blüht die Open-Source-Community bereits auf. Früher hatten wir Open Assistant, Dolly 2.0, und jetzt haben wir StableLM.

Echte Testerfahrung

Jetzt können wir die Demo des von StableLM optimierten Chat-Modells auf Hugging Face ausprobieren.

Auf einen Blick wissen Sie genau, was StableLM leisten kann.

Du kannst es zum Beispiel fragen, wie man ein Erdnussbutter-Sandwich macht, und es wird dir ein kompliziertes, etwas lächerliches Rezept liefern.

Oder schreiben Sie ein episches Rap-Duell zwischen neuronalem Netzwerk und symbolischer künstlicher Intelligenz:

Oder schreiben Sie eine „glücksverheißende Nachrichten-E-Mail“ (Textgenerierung):

und verwenden Sie die Sprache C um den Sinn des Lebens zu berechnen (Codegenerierung):

Ein ausländischer Medienreporter hat StableLM jedoch persönlich getestet und festgestellt, dass es im Vergleich zu seinem Vorgänger ChatGPT ernsthafter Unsinn ist, ganz zu schweigen vom Nachgeben zu viel.

Wenn Sie zum Beispiel fragen, was am 6. Januar 2021 passiert ist? Es wird Ihnen sagen: Trump-Anhänger kontrollieren die Legislative.

Wenn der Hauptzweck von Stable LM nicht die Textgenerierung ist, was kann es dann tun?

Wenn Sie ihm diese Frage persönlich stellen, wird er etwa Folgendes sagen: „Es wird hauptsächlich als Entscheidungsunterstützungssystem in der Systemtechnik und Architektur verwendet und kann auch in Bereichen wie statistischem Lernen und verstärkendem Lernen eingesetzt werden.“

Außerdem fehlt es Stable LM offenbar an Schutz für einige sensible Inhalte. Machen Sie zum Beispiel den berühmten „Lobe Hitler nicht“-Test, und auch die Antwort ist überraschend.

Wir haben es jedoch nicht eilig, es als „das schlechteste Sprachmodell aller Zeiten“ zu bezeichnen. Schließlich ist es Open Source, sodass diese Black-Box-KI jedem erlaubt, einen Blick in die Box zu werfen und zu überprüfen, was es ist Mögliche Ursachen sind die Ursache für dieses Problem.

StableLM

Stability AI behauptet offiziell: Die Alpha-Version von StableLM verfügt über 3 Milliarden und 7 Milliarden Parameter, und es wird nachfolgende Versionen mit 15 bis 65 Milliarden Parametern geben.

StabilityAI gab außerdem kühn an, dass Entwickler es nach Belieben verwenden können. Solange Sie die entsprechenden Bedingungen einhalten, können Sie tun und lassen, was Sie wollen, sei es die Überprüfung, Anwendung oder Anpassung des Grundmodells.

StableLM ist leistungsstark. Es kann nicht nur Text und Code generieren, sondern auch eine technische Grundlage für nachgelagerte Anwendungen bereitstellen. Es ist ein großartiges Beispiel dafür, wie ein kleines, effizientes Modell mit entsprechendem Training eine ausreichend hohe Leistung erzielen kann.

In den Anfangsjahren entwickelten Stability AI und das gemeinnützige Forschungszentrum Eleuther AI gemeinsam frühe Sprachmodelle. Man kann sagen, dass Stability AI eine tiefe Anhäufung aufweist.

Wie GPT-J, GPT-NeoX und Pythia sind dies die Produkte einer kooperativen Schulung zwischen den beiden Unternehmen und werden auf dem Open-Source-Datensatz The Pile geschult.

Die nachfolgenden Open-Source-Modelle wie Cerebras-GPT und Dolly-2 sind allesamt Nachfolgeprodukte der oben genannten drei Brüder.

Zurück zu StableLM: Es wurde anhand eines neuen Datensatzes trainiert, der auf The Pile basiert. Dieser Datensatz enthält 1,5 Billionen Token, was etwa dem Dreifachen von The Pile entspricht. Die Kontextlänge des Modells beträgt 4096 Token.

In einem kommenden technischen Bericht wird Stability AI die Modellgröße und Trainingseinstellungen bekannt geben.

Als Proof of Concept hat das Team das Modell mit Alpaca der Stanford University verfeinert und eine Kombination aus fünf aktuellen Conversational Agent-Datensätzen verwendet: Alpaca der Stanford University, gpt4all von Nomic-AI, ShareGPT52K-Datensatz von RyokoAI, Dolly von Databricks Labs und HH von Anthropic.

Diese Modelle werden als StableLM-Tuned-Alpha veröffentlicht. Natürlich dienen diese fein abgestimmten Modelle nur Forschungszwecken und sind nicht kommerziell.

Stability AI wird in Zukunft auch weitere Details zum neuen Datensatz bekannt geben.

Darunter ist der neue Datensatz sehr umfangreich, weshalb die Leistung von StableLM großartig ist. Allerdings ist die Parameterskala derzeit noch etwas klein (im Vergleich zu den 175 Milliarden Parametern von GPT-3).

Stability AI erklärte, dass Sprachmodelle der Kern des digitalen Zeitalters sind, und wir hoffen, dass jeder bei Sprachmodellen mitreden kann.

Und die Transparenz von StableLM. Auch Features wie Barrierefreiheit und Support setzen dieses Konzept um.

• StableLMs Transparenz:

Der beste Weg, Transparenz zu verkörpern, ist Open Source. Entwickler können tief in das Modell eindringen, um die Leistung zu überprüfen, Risiken zu identifizieren und gemeinsam Schutzmaßnahmen zu entwickeln. Bedürftige Unternehmen oder Abteilungen können das Modell auch an ihre eigenen Bedürfnisse anpassen.

• Zugänglichkeit von StableLM:

Alltägliche Benutzer können das Modell jederzeit und überall auf ihrem lokalen Gerät ausführen. Entwickler können das Modell anwenden, um hardwarekompatible eigenständige Anwendungen zu erstellen und zu verwenden. Auf diese Weise werden die wirtschaftlichen Vorteile der KI nicht auf einige wenige Unternehmen aufgeteilt, und die Dividenden gehören allen täglichen Nutzern und Entwicklergemeinschaften.

Das ist etwas, was ein geschlossenes Modell nicht leisten kann.

• StableLM-Unterstützung:

Stabilitäts-KI erstellt Modelle, um Benutzer zu unterstützen, nicht um sie zu ersetzen. Mit anderen Worten: Bequeme und benutzerfreundliche KI wurde entwickelt, um Menschen dabei zu helfen, ihre Arbeit effizienter zu erledigen und ihre Kreativität und Produktivität zu steigern. Anstatt zu versuchen, etwas Unbesiegbares zu entwickeln, das alles ersetzt.

Stability AI gab an, dass diese Modelle auf GitHub veröffentlicht wurden und in Zukunft ein vollständiger technischer Bericht veröffentlicht wird.

Stability AI freut sich auf die Zusammenarbeit mit einer Vielzahl von Entwicklern und Forschern. Gleichzeitig erklärten sie auch, dass sie den Crowdsourcing-RLHF-Plan starten, die Zusammenarbeit mit Assistenten eröffnen und einen Open-Source-Datensatz für KI-Assistenten erstellen werden.

Einer der Pioniere von Open Source

Der Name Stability AI ist uns bereits sehr vertraut. Es ist das Unternehmen hinter dem berühmten Bilderzeugungsmodell Stable Diffusion.

Jetzt, mit der Einführung von StableLM, kann man sagen, dass Stability AI auf dem Weg, KI zum Nutzen aller einzusetzen, immer weiter voranschreitet. Schließlich war Open Source schon immer ihre gute Tradition.

Im Jahr 2022 bietet Stability AI eine Vielzahl von Möglichkeiten für die Nutzung von Stable Diffusion, darunter öffentliche Demos, Software-Betaversionen und vollständige Downloads von Modellen. Entwickler können die Modelle nach Belieben verwenden und verschiedene Integrationen durchführen.

Als revolutionäres Bildmodell stellt Stable Diffusion eine transparente, offene und skalierbare Alternative zur proprietären KI dar.

Natürlich ermöglicht Stable Diffusion jedem, die verschiedenen Vorteile von Open Source zu erkennen. Natürlich gibt es auch einige unvermeidbare Nachteile, aber dies ist zweifellos ein bedeutsamer historischer Knoten.

(Letzten Monat führte ein „episches“ Leck von Metas Open-Source-Modell LLaMA zu einer Reihe von ChatGPT-„Ersetzungen“ mit atemberaubender Leistung. Die Alpaka-Familie wurde wie der Urknall geboren: Alpaka, Vicuna, Koala, ChatLLaMA, FreedomGPT, ColossalChat...)

Allerdings warnte Stability AI auch, dass der von ihm verwendete Datensatz zwar dazu beitragen sollte, „grundlegende Sprachmodelle zu sichereren Textverteilungen zu führen“, aber nicht alle Verzerrungen und Toxizitäten durch Feinabstimmung gemildert werden können. "

Kontroverse: Sollte es Open Source sein?

In diesen Tagen erleben wir eine Explosion von Open-Source-Modellen zur Textgenerierung, da große und kleine Unternehmen erkannt haben, dass es im zunehmend lukrativen Bereich der generativen KI besser ist, früh berühmt zu werden.

Im vergangenen Jahr haben Meta, Nvidia und unabhängige Gruppen wie das von Hugging Face unterstützte BigScience-Projekt Ersatz für „private“ API-Modelle wie GPT-4 und Claude von Anthropic veröffentlicht.

Viele Forscher haben diese Open-Source-Modelle ähnlich wie StableLM heftig kritisiert, weil Kriminelle sie mit Hintergedanken nutzen könnten, etwa zum Erstellen von Phishing-E-Mails oder zum Unterstützen von Malware.

Aber Stablity AI besteht darauf, dass Open Source der korrekteste Weg ist.

Stability AI betonte: „Wir machen unsere Modelle Open Source, um die Transparenz zu erhöhen und Vertrauen zu fördern. Forscher können ein tiefgreifendes Verständnis dieser Modelle erlangen, ihre Leistung überprüfen, Erklärbarkeitstechniken studieren, potenzielle Risiken identifizieren usw.“ Unterstützen Sie die Entwicklung von Schutzmaßnahmen Sinn. Selbst GPT-4, das Spitzenmodell der Branche mit Filtern und menschlichen Prüfteams, ist nicht immun gegen Toxizität.

Außerdem erfordert das Open-Source-Modell offensichtlich mehr Aufwand, um das Backend anzupassen und zu reparieren – insbesondere, wenn die Entwickler nicht mit den neuesten Updates Schritt halten.

Tatsächlich ist Stabilitäts-KI im Rückblick nie einer Kontroverse aus dem Weg gegangen.

Vor einiger Zeit stand das Unternehmen kurz vor einem Rechtsstreit wegen Urheberrechtsverletzung. Einige Leute beschuldigten es, urheberrechtlich geschützte Bilder aus dem Internet zur Entwicklung von KI-Zeichenwerkzeugen zu verwenden und damit die Rechte von Millionen von Künstlern zu verletzen.

Darüber hinaus haben einige Menschen mit Hintergedanken die KI-Tools von Stability genutzt, um gefälschte pornografische Bilder von vielen Prominenten sowie Bilder voller Gewalt zu erstellen.

Obwohl Stability AI in dem Blogbeitrag seinen wohltätigen Ton betonte, steht Stability AI auch unter dem Druck der Kommerzialisierung, sei es in den Bereichen Kunst, Animation, Biomedizin oder generiertes Audio.

Der CEO von Stability AI, Emad Mostaque, hat Pläne für einen Börsengang angedeutet, deren Wert im vergangenen Jahr mehr als 1 Milliarde US-Dollar betrug und mehr als 100 Millionen US-Dollar an Risikokapital erhalten hat. Allerdings verbrennt die Stabilitäts-KI laut dem ausländischen Medium Semafor „Geld, macht aber beim Geldverdienen nur langsame Fortschritte.“

Das obige ist der detaillierte Inhalt vonErleben Sie online das stabile Diffusionsmoment des großen StableLM-Sprachmodells mit 7 Milliarden Parametern. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!