Adaptive-Classifier: Reduzieren Sie Ihre LLM-Kosten mit intelligentem Abfragerouting (Kosteneinsparungen nachgewiesen)

Aufregende Neuigkeiten! Eine neue Open-Source-Bibliothek, adaptive-classifier, ist hier, um Ihre LLM-Bereitstellungskostenoptimierung zu revolutionieren. Diese clevere Bibliothek leitet Abfragen dynamisch zwischen Ihren Modellen basierend auf deren Komplexität weiter und lernt und verfeinert ihre Routing-Strategie kontinuierlich durch die reale Nutzung.

Unsere Tests mit dem Arena-Hard-Auto-Datensatz (unter Verwendung eines High-Cost- und Low-Cost-Modells mit einem 2-fachen Kostenunterschied) lieferten bemerkenswerte Ergebnisse:

• Erzielte erhebliche Kostenreduzierung um 32,4 % bei aktivierter Anpassung.
• Es wurde die gleiche Gesamterfolgsquote (22 %) wie beim Ausgangswert beibehalten.
• Demonstrierte beeindruckende Lernfähigkeiten und passte sich während der Bewertung erfolgreich an 110 neue Beispiele an.
• 80,4 % der Anfragen wurden erfolgreich auf das günstigere Modell umgeleitet.

Dies ist ideal für Umgebungen mit mehreren Llama-Modellen (z. B. Llama-3.1-70B und Llama-3.1-8B), in denen Kostenoptimierung ohne Kompromisse bei der Leistung von entscheidender Bedeutung ist. Die Bibliothek lässt sich nahtlos in transformatorbasierte Modelle integrieren und verfügt über eine integrierte Zustandspersistenz für mehr Effizienz.

Durchsuchen Sie das Repository nach Implementierungsdetails und Benchmark-Daten. Wir sind gespannt auf Ihr Feedback nach dem Ausprobieren!

Repository – https://www.php.cn/link/bbe2977a4c5b136df752894d93b44c72

Das obige ist der detaillierte Inhalt vonAdaptive-Classifier: Reduzieren Sie Ihre LLM-Kosten mit intelligentem Abfragerouting (Kosteneinsparungen nachgewiesen). Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!