Als Hommage an TempleOS hat ein Entwickler ein Betriebssystem zum Starten von Llama 2 erstellt. Netizens: Ein alter Computer mit 8G-Speicher kann es ausführen

Ich muss sagen, dass die „Secondary Creation“-Projekte von Llama 2 immer härter und interessanter werden.

Seit Meta das Open-Source-Großmodell Llama 2 veröffentlicht hat, gibt es weitere „sekundäre“ Projekte rund um dieses Modell.

Im Juli nutzte Andrej Karpathy, der ehemalige KI-Direktor von Tesla und Rückkehrer zu OpenAI, seine Wochenendzeit, um ein interessantes Projekt llama2.c über Llama 2 zu erstellen, das es Benutzern ermöglichte, ein Baby Llama 2 im PyTorch-Modell zu trainieren und dann fast 500 Zeilen reiner C-Dateien ohne Abhängigkeiten für Rückschlüsse verwenden.

Heute hat ein anderer Entwickler basierend auf dem Karpathy llama2.c-Projekt ein Demo-Betriebssystem erstellt, das Llama 2 startet, und ein Kernel-Modul, das den Benutzermodus-Assistenten für die Llama 2-Inferenz aufruft. Das Projekt heißt Llama 2 Everywhere, kurz L2E.

Der Autor gab jedoch auch an, dass die aktuellen Systemanforderungen 512 MB RAM und x86_64 (64-Bit) PC sind und die Benutzerfreundlichkeit verbessert werden muss.

Gleichzeitig versteckt dieses Projekt auch einige Easter Eggs, wie zum Beispiel das „Doom“-Spiel, aber man muss Rätsel lösen, um es zu finden.

Projektadresse: https://github.com/trholding/llama2.c

Andrej Karpathy leitete dieses neue Projekt ebenfalls weiter und sagte, dass es die Eigenschaften „unabhängiger Betrieb, binär, tragbar und bootfähig“ habe. Er erwartet, dass sein llama2.c-Projekt ein Erfolg wird, und dieses neue Projekt erweitert die Fantasie.

L2E wurde von Internetnutzern aus allen Gesellschaftsschichten anerkannt und einige Leute sagten, das sei wirklich großartig. Grundsätzlich kann es auf jedem alten Laptop gestartet werden und läuft nur auf der CPU, 8G RAM reichen aus, 16G sind besser.

Einige Leute denken, dass das Projekt TempleOS, dem für Gott entwickelten Betriebssystem, sehr ähnlich ist (es wurde allein vom verstorbenen genialen Programmierer Terry Davis entwickelt), aber der Projektautor gab an, dass er nur eine Hommage an Terry sei und TempleOS.

L2E hat ein Betriebssystem nur mit dem Linux-Kernel und etwas Wissen erstellt, ein gewaltiger Unterschied zu dem, das Terry von Grund auf erstellt hat.

Als Nächstes lernen wir die ursprüngliche Absicht, Demo und Funktionen des L2E-Projekts kennen.

L2E-Projekteinführung

Der Projektautor gab an, dass L2E darauf abzielt, die Kompatibilität auf verschiedenen Geräten sicherzustellen, z. B. den Start auf Chromebooks und die Bereitstellung auf Unikernels mit hoher Dichte für Unternehmen.

In der Zukunft hat dieses Projekt das Potenzial, Crowd-Intelligenz über ein einzelnes großes LLM hinaus freizusetzen, indem es eine große Anzahl vernetzter, verteilter und selbstkoordinierender kleiner professioneller LLMs mit bescheidenen Hardwareanforderungen nutzt.

Derzeit ist ein bemerkenswerter Anwendungsfall für L2E das Training kleiner Modelle auf verschiedenen Textquellen, darunter Lehrbücher, offene Bücher und das SlimPajama-Korpus. Diese trainierten Modelle werden mithilfe von L2E bereitgestellt, um als bootfähige Instanzen auf älteren, veralteten Schulcomputern ausgeführt zu werden. Diese Bereitstellungsoption kann in Schulbibliotheken oder Klassenzimmern nützlich sein, in denen die Internetverbindung begrenzt oder nicht verfügbar ist.

Das ultimative Ziel des Projekts ist die Schaffung eines integrativen KI-Ökosystems, das sich an unterschiedliche Umgebungen anpassen und Einzelpersonen und Gemeinschaften auf globaler Ebene stärken kann.

Darüber hinaus hofft man, dass das Modell durch das Training mit verschiedenen Hardware-Telemetriedaten lernen wird, Sensoreingänge zu interpretieren und Aktoren auf der Grundlage der aus den Sensoreingängen gewonnenen Erkenntnisse zu steuern. Diese Forschungsrichtung dürfte in Bereichen wie Automatisierung, Raumfahrt, Robotik und dem Internet der Dinge eine Rolle spielen, und L2E wird eine Schlüsselrolle bei der Überbrückung der Lücke zwischen KI und physischen Systemen spielen.

L2E Demo Showcase

Der Projektautor zeigt einige Beispiele für den Start von Llama 2.

Das Folgende ist das L2E-Betriebssystem des Linux-Kernels. Jetzt können Sie das Llama 2-Modell tatsächlich auf dem Computer starten und ableiten.

Sie können auch cat /dev/llama- und echo-Befehle wie „Sudo mach mir ein Sandwich!“ > /dev/llama ausführen oder einen Kernel-Parameter l2e.quest="Was bedeutet das? des Lebens?".

Schließlich ist es auch möglich, einen Satz von 1000 Virtual Baby Llama 2-Modellen auf einem großen Unternehmensserver zu starten und abzuleiten.

L2E ist hochgradig portierbar und kann eine einzelne ausführbare Datei auf jedem x86_64-Betriebssystem wie Windows, GNU Linux, GNU/Systemd, NetBSD, OpenBSD usw. ausführen. Die Unabhängigkeit spiegelt sich in der Möglichkeit wider, Modelle und Tokenizer über ZipOS (cosmocc), INCBIN, strliteral einzubetten. L2E kann auf CPU/GPU ausgeführt werden.

Weitere Einzelheiten finden Sie im Originalprojekt.

Das obige ist der detaillierte Inhalt vonAls Hommage an TempleOS hat ein Entwickler ein Betriebssystem zum Starten von Llama 2 erstellt. Netizens: Ein alter Computer mit 8G-Speicher kann es ausführen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!