적응형 분류자: 스마트 쿼리 라우팅으로 LLM 비용 절감(비용 절감 입증)

신나는 소식! LLM 배포 비용 최적화에 혁명을 일으킬 새로운 오픈 소스 라이브러리 adaptive-classifier가 출시되었습니다. 이 영리한 라이브러리는 복잡성을 기반으로 모델 간의 쿼리를 동적으로 라우팅하고 실제 사용을 통해 라우팅 전략을 지속적으로 학습하고 개선합니다.

arena-hard-auto 데이터 세트(2배의 비용 차이가 있는 고비용 및 저비용 모델 사용)에 대한 테스트에서 놀라운 결과가 나왔습니다.

• 적응을 활성화하여 32.4%의 상당한 비용 절감을 달성했습니다.
• 기준과 동일한 전체 성공률(22%)을 유지했습니다.
• 평가 중 110개의 새로운 사례에 성공적으로 적응하며 인상적인 학습 능력을 보여주었습니다.
• 보다 경제적인 모델로 쿼리의 80.4%를 성공적으로 전달했습니다.

이는 성능 저하 없이 비용 최적화가 중요한 여러 Llama 모델(예: Llama-3.1-70B 및 Llama-3.1-8B)이 있는 환경에 이상적입니다. 라이브러리는 변환기 기반 모델과 원활하게 통합되며 효율성 향상을 위해 내장된 상태 지속성을 제공합니다.

구현 세부정보와 벤치마크 데이터를 보려면 저장소를 살펴보세요. 시험해본 후 여러분의 피드백을 기다립니다!

저장소 - https://www.php.cn/link/bbe2977a4c5b136df752894d93b44c72

위 내용은 적응형 분류자: 스마트 쿼리 라우팅으로 LLM 비용 절감(비용 절감 입증)의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!