Apples DCLM-7B: Setup, Beispielnutzung, Feinabstimmung

Apples Open-Source-Beitrag zum LLM-Feld des großen Sprachmodells (LLM), DCLM-7B, markiert einen bedeutenden Schritt zur Demokratisierung der KI. Dieses 7-Milliarden-Parametermodell, das unter der Apple-Beispiel-Code-Lizenz veröffentlicht wurde, bietet Forschern und Entwicklern ein leistungsstarkes, zugängliches Werkzeug für verschiedene Aufgaben für die Verarbeitung verschiedener natürlicher Sprache (NCLP).

Zu den wichtigsten Merkmalen von DCLM-7B gehören seine Nur-Decoder-Transformatorarchitektur-ähnlich wie Chatgpt und GPT-4-optimiert, um kohärentes Text zu generieren. Auf einem massiven Datensatz von 2,5 Billionen Token ausgebildet, ist es ein robustes Verständnis von Englisch und ist für die Feinabstimmung bestimmte Aufgaben geeignet. Während das Basismodell ein Kontextfenster von 2048 enthält, bietet eine Variante mit einem 8K-Token-Fenster verbesserte Funktionen für die Verarbeitung längerer Texte.

Erste Schritte und Verwendung:

DCLM-7B integriert nahtlos in die Transformers Library von Sugging Face. Die Installation erfordert

und pip install transformers. Aufgrund seiner Größe (ca. 27,5 GB) wird ein Hoch-/VRAM-System oder eine Cloud-Umgebung empfohlen. pip install git https://github.com/mlfoundations/open_lm.git

Ein grundlegendes Beispiel, das den Code der Umarmungs -Face -Webseite verwendet, zeigt seine Funktionalität:

from open_lm.hf import *
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("apple/DCLM-Baseline-7B")
model = AutoModelForCausalLM.from_pretrained("apple/DCLM-Baseline-7B")

inputs = tokenizer(["Machine learning is"], return_tensors="pt")
gen_kwargs = {"max_new_tokens": 50, "top_p": 0.8, "temperature": 0.8, "do_sample": True, "repetition_penalty": 1.1}
output = model.generate(inputs['input_ids'], **gen_kwargs)
output = tokenizer.decode(output[0].tolist(), skip_special_tokens=True)
print(output)

Feinabstimmung (Übersicht):

Während die Feinabstimmung DCLM-7B erhebliche Ressourcen erfordert, umfasst der Prozess die Verwendung der

-Bibliothek und eines Datensatzes (z. B. von der transformers -Bibliothek von Face, wie datasets). Die Schritte umfassen die Datensatzvorbereitung (Tokenisierung) und die Verwendung wikitext und TrainingArguments Objekte für den Feinabstimmungsvorgang selbst. Dies erfordert eine signifikante Rechenleistung und ist hier aufgrund seiner Komplexität nicht detailliert. Trainer

Schlussfolgerung:

Apples DCLM-7B ist ein wertvoller Beitrag zur Open-Source-LLM-Community. Die Zugänglichkeit in Verbindung mit seiner Leistung und Architektur positioniert es als starkes Instrument für Forschung und Entwicklung in verschiedenen NLP -Anwendungen. Die Open-Source-Natur fördert die Zusammenarbeit und beschleunigt die Innovation im Bereich KI.

Das obige ist der detaillierte Inhalt vonApples DCLM-7B: Setup, Beispielnutzung, Feinabstimmung. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!