찾다
기술 주변기기일체 포함S-LoRA: 하나의 GPU에서 수천 개의 대형 모델 실행이 가능합니다.

일반적으로 대규모 언어 모델 배포에서는 일반적으로 "사전 학습-미세 조정" 방법을 채택합니다. 그러나 여러 작업(예: 개인화된 비서)에 대한 기본 모델을 미세 조정하는 경우 학습 및 서비스 비용이 매우 높아집니다. LoRA(LowRank Adaptation)는 효율적인 매개변수 미세 조정 방법으로, 일반적으로 기본 모델을 여러 작업에 적용하여 파생된 LoRA 어댑터를 대량으로 생성하는 데 사용됩니다.

다시 작성: 일괄 추론은 제공 중에 많은 기회를 제공하며 이 패턴은 어댑터 가중치를 미세 조정하여 전체 미세 조정과 비슷한 성능을 달성하는 것으로 나타났습니다. 이 접근 방식을 사용하면 대기 시간이 짧은 단일 어댑터 추론과 어댑터 전체의 직렬 실행이 가능하지만 여러 어댑터를 동시에 제공할 때 전체 서비스 처리량이 크게 줄어들고 전체 대기 시간이 늘어납니다. 따라서 이러한 미세 조정 변형의 대규모 서비스 문제를 어떻게 해결할지는 아직 알려지지 않았습니다

최근 UC Berkeley, Stanford 및 기타 대학의 연구자들은 S-LoRA라는 새로운 미세 조정 방법을 논문에서 제안했습니다

S-LoRA: 하나의 GPU에서 수천 개의 대형 모델 실행이 가능합니다.

  • 논문 주소: https://arxiv.org/pdf/2311.03285.pdf
  • 프로젝트 주소: https://github.com/S-LoRA/S-LoRA

S-LoRA는 많은 LoRA 어댑터의 확장 가능한 서비스를 위해 설계된 시스템입니다. 모든 어댑터를 메인 메모리에 저장하고 현재 실행 중인 쿼리에서 사용되는 어댑터를 GPU 메모리로 가져옵니다.

S-LoRA는 통합 메모리 풀을 사용하여 다양한 수준의 동적 어댑터 가중치와 다양한 시퀀스 길이의 KV 캐시 텐서를 관리하는 "통합 페이징" 기술을 제안합니다. 또한 S-LoRA는 새로운 텐서 병렬성 전략과 고도로 최적화된 맞춤형 CUDA 커널을 사용하여 LoRA 계산의 이기종 일괄 처리를 가능하게 합니다.

이러한 기능을 통해 S-LoRA는 적은 비용으로(2000개의 어댑터를 동시에 제공) 단일 또는 다중 GPU에서 수천 개의 LoRA 어댑터를 제공하고 추가 LoRA 계산 비용을 최소화할 수 있습니다. 이에 비해 vLLM 팩은 여러 개의 가중치 사본을 유지해야 하며 GPU 메모리 제한으로 인해 5개 미만의 어댑터만 제공할 수 있습니다.

HuggingFace PEFT 및 vLLM과 같은 최신 기술과 비교(LoRA 서비스만 지원) ) 라이브러리와 비교하여 S-LoRA의 처리량은 최대 4배까지 증가할 수 있으며, 제공되는 어댑터 수는 몇 배까지 증가할 수 있습니다. 따라서 S-LoRA는 다양한 작업별 미세 조정 모델에 확장 가능한 서비스를 제공할 수 있으며 미세 조정 서비스의 대규모 사용자 정의 가능성을 제공합니다.

S-LoRA: 하나의 GPU에서 수천 개의 대형 모델 실행이 가능합니다.

S-LoRA에는 세 가지 주요 혁신 부품이 포함되어 있습니다. 섹션 4에서는 기본 모델과 LoRA 어댑터 간의 계산을 분해하는 데 사용되는 일괄 처리 전략을 소개합니다. 또한 연구원들은 어댑터 클러스터링 및 승인 제어와 같은 측면을 포함하여 수요 일정 관리의 문제도 해결했습니다. 동시 어댑터 전체에 걸쳐 일괄 처리하는 기능은 메모리 관리에 새로운 과제를 안겨줍니다. 다섯 번째 부분에서 연구원들은 LoRA 어댑터의 동적 로딩을 지원하기 위해 PagedAttention을 Unfied Paging으로 승격합니다. 이 접근 방식은 통합 메모리 풀을 사용하여 KV 캐시 및 어댑터 가중치를 페이징 방식으로 저장합니다. 이를 통해 조각화를 줄이고 KV 캐시 및 어댑터 가중치의 동적으로 변화하는 크기의 균형을 맞출 수 있습니다. 마지막으로 6부에서는 기본 모델과 LoRA 어댑터를 효율적으로 분리할 수 있는 새로운 텐서 병렬 전략을 소개합니다.

다음은 주요 내용입니다.

일괄 처리

단일 어댑터의 경우 Hu et al. (2021)은 어댑터 가중치를 기본 모델 가중치와 병합하여 새로운 모델을 생성하는 권장 방법을 제안했습니다(수식 1 참조). 이것의 이점은 새 모델이 기본 모델과 동일한 수의 매개변수를 갖기 때문에 추론 중에 추가 어댑터 오버헤드가 없다는 것입니다. 사실 이는 원본 LoRA 작업의 주목할만한 기능이기도 합니다

S-LoRA: 하나의 GPU에서 수천 개의 대형 모델 실행이 가능합니다.

이 기사에서는 LoRA 어댑터를 기본 모델에 병합하는 것이 다중 LoRA 고처리량 서비스 설정에 비효율적임을 지적합니다. 대신 연구진은 xAB를 계산하기 위해 실시간으로 LoRA를 계산할 것을 제안했다(수학식 2 참조).

S-LoRA에서는 기본 모델을 일괄 처리한 다음 맞춤형 CUDA 커널을 사용하여 모든 어댑터에 대해 개별적으로 추가 xAB를 수행합니다. 이 프로세스는 그림 1에 나와 있습니다. LoRA를 계산하기 위해 BLAS 라이브러리의 패딩 및 배치 GEMM 커널을 사용하는 대신 패딩 없이 보다 효율적인 계산을 달성하기 위해 맞춤형 CUDA 커널을 구현했습니다. 구현 세부 사항은 하위 섹션 5.3에 있습니다.

S-LoRA: 하나의 GPU에서 수천 개의 대형 모델 실행이 가능합니다.

LoRA 어댑터를 메인 메모리에 저장하면 개수가 많아질 수 있지만, 현재는 배치 크기가 GPU 메모리에 의해 제한되기 때문에 배치 실행에 필요한 LoRA 어댑터 개수를 제어할 수 있습니다. 이를 활용하기 위해 모든 LoRA 어댑터를 메인 메모리에 저장하고 현재 실행 중인 배치를 추론할 때 해당 배치에 필요한 LoRA 어댑터만 GPU RAM으로 가져옵니다. 이 경우 서비스 가능한 최대 어댑터 수는 주 메모리 크기에 따라 제한됩니다. 그림 2는 이 프로세스를 보여줍니다. 섹션 5에서는 효율적인 메모리 관리를 위한 기술도 논의합니다

S-LoRA: 하나의 GPU에서 수천 개의 대형 모델 실행이 가능합니다.

메모리 관리

단일 기본 모델을 제공하는 것과 비교하여 여러 LoRA 어댑터 카드를 동시에 제공하면 새로운 메모리 관리 문제가 발생합니다. 여러 어댑터를 지원하기 위해 S-LoRA는 이를 메인 메모리에 저장하고 현재 실행 중인 배치에 필요한 어댑터 가중치를 GPU RAM에 동적으로 로드합니다.

이 과정에는 두 가지 분명한 과제가 있습니다. 첫 번째는 다양한 크기의 어댑터 가중치를 동적으로 로드 및 언로드함으로써 발생하는 메모리 조각화 문제입니다. 두 번째는 어댑터 로드 및 언로드로 인해 발생하는 대기 시간 오버헤드입니다. 이러한 문제를 효과적으로 해결하기 위해 연구진은 "통합 페이징"이라는 개념을 제안하고 어댑터 가중치를 미리 가져옴으로써 I/O와 계산의 중첩을 구현했습니다

Unified Paging

연구원 개념 확장 통합 페이징에 대한 PagedAttention입니다. 통합 페이징은 KV 캐시 관리뿐만 아니라 어댑터 가중치 관리에도 사용됩니다. 통합 페이징은 통합 메모리 풀을 사용하여 KV 캐시와 어댑터 가중치를 공동으로 관리합니다. 이를 달성하기 위해 먼저 메모리 풀에 대규모 버퍼를 정적으로 할당합니다. 이는 기본 모델 가중치와 임시 활성화 텐서를 저장하는 데 사용되는 공간을 제외하고 사용 가능한 모든 공간을 활용합니다. KV 캐시 및 어댑터 가중치는 페이징 방식으로 메모리 풀에 저장되며 각 페이지는 H 벡터에 해당합니다. 따라서 시퀀스 길이가 S인 KV 캐시 텐서는 S 페이지를 차지하는 반면, R 수준 LoRA 가중치 텐서는 R 페이지를 차지합니다. 그림 3은 KV 캐시와 어댑터 가중치가 인터리브되고 연속되지 않은 방식으로 저장되는 메모리 풀의 레이아웃을 보여줍니다. 이 접근 방식은 조각화를 크게 줄이고 다양한 수준의 어댑터 가중치가 구조적이고 체계적인 방식으로 동적 KV 캐시와 공존할 수 있도록 보장합니다.

S-LoRA: 하나의 GPU에서 수천 개의 대형 모델 실행이 가능합니다.

Tensor Parallel

또한, 배치 LoRA 추론 A 연구원 새로운 텐서 병렬 전략은 대규모 Transformer 모델의 다중 GPU 추론을 지원하도록 설계되었습니다. Tensor 병렬 처리는 단일 프로그램, 다중 데이터 패러다임이 구현 및 기존 시스템과의 통합을 단순화하기 때문에 가장 널리 사용되는 병렬 접근 방식입니다. Tensor 병렬 처리는 대규모 모델을 제공할 때 GPU당 메모리 사용량과 대기 시간을 줄일 수 있습니다. 이 설정에서 추가 LoRA 어댑터는 새로운 가중치 행렬과 행렬 곱셈을 도입하므로 이러한 추가에 대한 새로운 분할 전략이 필요합니다.

S-LoRA: 하나의 GPU에서 수천 개의 대형 모델 실행이 가능합니다.

Evaluation

마지막으로 연구진은 Llama-7B/13B/30B/70B

S-LoRA: 하나의 GPU에서 수천 개의 대형 모델 실행이 가능합니다.

를 제공하여 S-LoRA를 평가했습니다. 단일 GPU에서 수천 개의 LoRA 어댑터를 제공하거나 오버헤드가 거의 없는 여러 GPU를 제공합니다. S-LoRA는 최첨단 매개변수 효율적인 미세 조정 라이브러리인 Huggingface PEFT에 비해 최대 30배 더 높은 처리량을 달성합니다. S-LoRA는 LoRA 서비스를 지원하는 고처리량 서비스 시스템 vLLM을 사용하는 것에 비해 처리량을 4배 증가시키고 서비스 어댑터 수를 몇 배로 늘립니다.

자세한 연구 내용은 원문을 참고해주세요.

위 내용은 S-LoRA: 하나의 GPU에서 수천 개의 대형 모델 실행이 가능합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명
이 기사는 51CTO.COM에서 복제됩니다. 침해가 있는 경우 admin@php.cn으로 문의하시기 바랍니다. 삭제
Tesla의 Robovan은 2024 년 Robotaxi 티저의 숨겨진 보석이었습니다.Tesla의 Robovan은 2024 년 Robotaxi 티저의 숨겨진 보석이었습니다.Apr 22, 2025 am 11:48 AM

2008 년 이래로 저는 도시 교통의 미래로서 "Robotjitney"라고 불리는 공유 라이드 밴을 옹호했습니다. 나는이 차량들을 21 세기의 차세대 대중 교통 솔루션 인 Surpas로 예측합니다.

Sam 's Club은 영수증 수표를 제거하고 소매를 강화하기 위해 AI에 베팅합니다.Sam 's Club은 영수증 수표를 제거하고 소매를 강화하기 위해 AI에 베팅합니다.Apr 22, 2025 am 11:29 AM

체크 아웃 경험 혁명 Sam 's Club의 혁신적인 "Just Go"시스템은 기존 AI 기반 AI 기반 "Scan & Go"기술을 기반으로하여 회원이 쇼핑 중에 Sam's Club 앱을 통해 구매를 스캔 할 수 있습니다.

Nvidia의 AI Omniverse는 GTC 2025에서 확장됩니다Nvidia의 AI Omniverse는 GTC 2025에서 확장됩니다Apr 22, 2025 am 11:28 AM

GTC 2025에서 Nvidia의 향상된 예측 가능성 및 신제품 라인업 AI 인프라의 핵심 업체 인 Nvidia는 고객의 예측 가능성 증가에 중점을두고 있습니다. 여기에는 일관된 제품 제공, 성과 기대치 충족 및 충족이 포함됩니다

Google의 Gemma 2 모델의 기능을 탐색합니다Google의 Gemma 2 모델의 기능을 탐색합니다Apr 22, 2025 am 11:26 AM

Google의 Gemma 2 : 강력하고 효율적인 언어 모델 효율성과 성능으로 축하되는 Google의 Gemma Family of Language 모델은 Gemma 2의 도착으로 확장되었습니다.이 최신 릴리스는 두 가지 모델로 구성됩니다 : 27 억 매개 변수 Ver Ver

Genai의 다음 물결 : Kirk Borne 박사와의 관점 -Salystics VidhyaGenai의 다음 물결 : Kirk Borne 박사와의 관점 -Salystics VidhyaApr 22, 2025 am 11:21 AM

이 데이터 에피소드와 함께이 선도에는 주요 데이터 과학자, 천체 물리학 자, TEDX 스피커 인 Kirk Borne 박사가 있습니다. Borne 박사는 빅 데이터, AI 및 머신 러닝 분야의 유명한 전문가 인 현재 상태와 미래의 Traje에 대한 귀중한 통찰력을 제공합니다.

주자와 운동 선수를위한 AI : 우리는 훌륭한 진전을 이루고 있습니다주자와 운동 선수를위한 AI : 우리는 훌륭한 진전을 이루고 있습니다Apr 22, 2025 am 11:12 AM

이 연설에는 인공 지능이 사람들의 신체 운동을 지원하는 데 왜 좋은지를 보여주는 공학에 대한 백 그라운드 정보가 매우 통찰력있는 관점이있었습니다. 스포츠에서 인공 지능 적용을 탐구하는 데 중요한 부분 인 세 가지 디자인 측면을 보여주기 위해 각 기고자의 관점에서 핵심 아이디어를 간략하게 설명 할 것입니다. 에지 장치 및 원시 개인 데이터 인공 지능에 대한이 아이디어에는 실제로 두 가지 구성 요소가 포함되어 있습니다. 하나는 우리가 큰 언어 모델을 배치하는 위치와 관련하여 하나의 구성 요소와 다른 하나는 인간 언어와 활력 징후가 실시간으로 측정 될 때“표현”하는 언어의 차이와 관련이 있습니다. Alexander Amini는 달리기와 테니스에 대해 많은 것을 알고 있지만 그는 여전히

Caterpillar의 기술, 인재 및 혁신에 관한 Jamie EngstromCaterpillar의 기술, 인재 및 혁신에 관한 Jamie EngstromApr 22, 2025 am 11:10 AM

Caterpillar의 최고 정보 책임자이자 IT의 수석 부사장 인 Jamie Engstrom은 28 개국에서 2,200 명 이상의 IT 전문가로 구성된 글로벌 팀을 이끌고 있습니다. 현재 역할에서 4 년 반을 포함하여 Caterpillar에서 26 년 동안 Engst

새로운 Google 사진 업데이트는 Ultra HDR 품질로 모든 사진 팝을 만듭니다.새로운 Google 사진 업데이트는 Ultra HDR 품질로 모든 사진 팝을 만듭니다.Apr 22, 2025 am 11:09 AM

Google Photos의 새로운 Ultra HDR 도구 : 빠른 가이드 Google Photos의 새로운 Ultra HDR 도구로 사진을 향상시켜 표준 이미지를 활기차고 높은 동기 범위의 걸작으로 변환하십시오. 소셜 미디어에 이상적 이며이 도구는 모든 사진의 영향을 높이고

See all articles

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

Video Face Swap

Video Face Swap

완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!

뜨거운 도구

ZendStudio 13.5.1 맥

ZendStudio 13.5.1 맥

강력한 PHP 통합 개발 환경

mPDF

mPDF

mPDF는 UTF-8로 인코딩된 HTML에서 PDF 파일을 생성할 수 있는 PHP 라이브러리입니다. 원저자인 Ian Back은 자신의 웹 사이트에서 "즉시" PDF 파일을 출력하고 다양한 언어를 처리하기 위해 mPDF를 작성했습니다. HTML2FPDF와 같은 원본 스크립트보다 유니코드 글꼴을 사용할 때 속도가 느리고 더 큰 파일을 생성하지만 CSS 스타일 등을 지원하고 많은 개선 사항이 있습니다. RTL(아랍어, 히브리어), CJK(중국어, 일본어, 한국어)를 포함한 거의 모든 언어를 지원합니다. 중첩된 블록 수준 요소(예: P, DIV)를 지원합니다.

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

PhpStorm 맥 버전

PhpStorm 맥 버전

최신(2018.2.1) 전문 PHP 통합 개발 도구

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구