Ausführen von Llama auf Android: Eine Schritt-für-Schritt-Anleitung zur Verwendung von Ollama

Llama 3.2 wurde kürzlich auf der Entwicklerkonferenz von Meta vorgestellt und präsentiert beeindruckende multimodale Fähigkeiten und eine für mobile Geräte mit Qualcomm- und MediaTek-Hardware optimierte Version. Dieser Durchbruch ermöglicht es Entwicklern, leistungsstarke KI-Modelle wie Llama 3.2 auf mobilen Geräten auszuführen und ebnet so den Weg für effizientere, privatere und reaktionsfähigere KI-Anwendungen.

Meta hat vier Varianten von Llama 3.2 veröffentlicht:

• Multimodale Modelle mit 11 Milliarden (11B) und 90 Milliarden (90B) Parametern.
• Nur-Text-Modelle mit 1 Milliarde (1B) und 3 Milliarden (3B) Parametern.

Die größeren Modelle, insbesondere die 11B- und 90B-Varianten, zeichnen sich durch Aufgaben wie Bildverständnis und Diagrammbegründung aus, übertreffen oft andere Modelle wie Claude 3 Haiku und konkurrieren in bestimmten Fällen sogar mit GPT-4o-mini. Andererseits sind die leichten 1B- und 3B-Modelle für die Textgenerierung und Mehrsprachigkeit konzipiert und eignen sich daher ideal für Anwendungen auf dem Gerät, bei denen Datenschutz und Effizienz im Vordergrund stehen.

In dieser Anleitung zeigen wir Ihnen, wie Sie Llama 3.2 auf einem Android-Gerät mit Termux und Ollama ausführen. Termux bietet eine Linux-Umgebung auf Android und Ollama hilft bei der lokalen Verwaltung und Ausführung großer Modelle.

Warum Llama 3.2 lokal ausführen?

Das lokale Ausführen von KI-Modellen bietet zwei große Vorteile:

1. Sofortige Verarbeitung da alles auf dem Gerät abgewickelt wird.
2. Erhöhter Datenschutz, da keine Daten zur Verarbeitung an die Cloud gesendet werden müssen.

Auch wenn es noch nicht viele Produkte gibt, mit denen mobile Geräte Modelle wie Llama 3.2 reibungslos ausführen können, können wir es dennoch mit einer Linux-Umgebung auf Android erkunden.

---

Schritte zum Ausführen von Llama 3.2 auf Android

1. Installieren Sie Termux auf Android

Termux ist ein Terminalemulator, der es Android-Geräten ermöglicht, eine Linux-Umgebung auszuführen, ohne Root-Zugriff zu benötigen. Es ist kostenlos verfügbar und kann von der Termux-GitHub-Seite heruntergeladen werden.

Für diese Anleitung laden Sie termux-app_v0.119.0-beta.1 apt-android-7-github-debug_arm64-v8a.apk herunter und installieren Sie es auf Ihrem Android-Gerät.

2. Richten Sie Termux ein

Nach dem Start von Termux befolgen Sie diese Schritte, um die Umgebung einzurichten:

1. Speicherzugriff gewähren:

   termux-setup-storage

Mit diesem Befehl kann Termux auf den Speicher Ihres Android-Geräts zugreifen und so die Dateiverwaltung vereinfachen.

1. Pakete aktualisieren:

   pkg upgrade

Geben Sie Y ein, wenn Sie aufgefordert werden, Termux und alle installierten Pakete zu aktualisieren.

1. Installieren Sie wichtige Tools:

   pkg install git cmake golang

Diese Pakete umfassen Git zur Versionskontrolle, CMake zum Erstellen von Software und Go, die Programmiersprache, in der Ollama geschrieben ist.

3. Installieren und kompilieren Sie Ollama

Ollama ist eine Plattform für den lokalen Betrieb großer Modelle. So installieren und richten Sie es ein:

1. Ollamas GitHub-Repository klonen:

   git clone --depth 1 https://github.com/ollama/ollama.git

1. Navigieren Sie zum Ollama-Verzeichnis:

   cd ollama

1. Go-Code generieren:

   go generate ./...

1. Ollama bauen:

   go build .

1. Ollama Server starten:

   ./ollama serve &

Jetzt läuft der Ollama-Server im Hintergrund, sodass Sie mit den Modellen interagieren können.

4. Ausführen von Llama 3.2-Modellen

Um das Llama 3.2-Modell auf Ihrem Android-Gerät auszuführen, befolgen Sie diese Schritte:

1. Wählen Sie ein Modell:

   • Modelle wie llama3.2:3b (3 Milliarden Parameter) stehen zum Testen zur Verfügung. Diese Modelle werden aus Effizienzgründen quantisiert. Eine Liste der verfügbaren Modelle finden Sie auf der Website von Ollama.

2. Laden Sie das Llama 3.2-Modell herunter und führen Sie es aus:
   

   ./ollama run llama3.2:3b --verbose

Das Flag --verbose ist optional und stellt detaillierte Protokolle bereit. Nachdem der Download abgeschlossen ist, können Sie mit der Interaktion mit dem Modell beginnen.

5. Leistungsmanagement

Beim Testen von Llama 3.2 auf Geräten wie dem Samsung S21 Ultra war die Leistung beim 1B-Modell reibungslos und beim 3B-Modell beherrschbar, obwohl Sie bei älterer Hardware möglicherweise eine Verzögerung bemerken. Wenn die Leistung zu langsam ist, kann der Wechsel zum kleineren 1B-Modell die Reaktionsfähigkeit deutlich verbessern.

---

Optionale Bereinigung

Nach der Verwendung von Ollama möchten Sie möglicherweise das System bereinigen:

1. Remove Unnecessary Files:

   chmod -R 700 ~/go
   rm -r ~/go

1. Move the Ollama Binary to a Global Path:

   cp ollama/ollama /data/data/com.termux/files/usr/bin/

Now, you can run ollama directly from the terminal.

---

Conclusion

Llama 3.2 represents a major leap forward in AI technology, bringing powerful, multimodal models to mobile devices. By running these models locally using Termux and Ollama, developers can explore the potential of privacy-first, on-device AI applications that don’t rely on cloud infrastructure. With models like Llama 3.2, the future of mobile AI looks bright, allowing faster, more secure AI solutions across various industries.

Das obige ist der detaillierte Inhalt vonAusführen von Llama auf Android: Eine Schritt-für-Schritt-Anleitung zur Verwendung von Ollama. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!