classificateur adaptatif : réduisez vos coûts LLM grâce au routage intelligent des requêtes (économies de coûts démontrées)

Une nouvelle passionnante ! Une nouvelle bibliothèque open source, adaptive-classifier, est là pour révolutionner l'optimisation de vos coûts de déploiement LLM. Cette bibliothèque intelligente achemine dynamiquement les requêtes entre vos modèles en fonction de leur complexité, apprenant et affinant continuellement sa stratégie de routage grâce à une utilisation réelle.

Nos tests sur l'ensemble de données arena-hard-auto (en utilisant un modèle à coût élevé et à faible coût avec une différence de coût 2x) ont donné des résultats remarquables :

• Réduction significative des coûts de 32,4 % avec l'adaptation activée.
• Maintien du même taux de réussite global (22 %) que la référence.
• Capacités d'apprentissage impressionnantes démontrées, s'adaptant avec succès à 110 nouveaux exemples lors de l'évaluation.
• A dirigé avec succès 80,4 % des requêtes vers le modèle le plus économique.

C'est idéal pour les environnements comportant plusieurs modèles Llama (par exemple, Llama-3.1-70B et Llama-3.1-8B) où l'optimisation des coûts est cruciale sans compromettre les performances. La bibliothèque s'intègre de manière transparente aux modèles basés sur des transformateurs et propose une persistance d'état intégrée pour une efficacité améliorée.

Explorez le référentiel pour les détails de mise en œuvre et les données de référence. Nous attendons avec impatience vos retours après l’avoir essayé !

Dépôt - https://www.php.cn/link/bbe2977a4c5b136df752894d93b44c72

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!