GPT-4가 사용할 수도 있는 추측적 디코딩은 무엇입니까? 과거, 현재, 적용 상황을 요약한 기사

대형 언어 모델(LLM)의 추론에는 일반적으로 자동 회귀 샘플링을 사용해야 하며 이 추론 프로세스가 상당히 느리다는 것은 잘 알려져 있습니다. 이 문제를 해결하기 위해 추측적 디코딩이 LLM 추론을 위한 새로운 샘플링 방법이 되었습니다. 각 샘플링 단계에서 이 방법은 먼저 여러 가능한 토큰을 예측한 다음 병렬로 정확한지 여부를 확인합니다. 자동회귀 디코딩과 달리 추측 디코딩은 단일 단계에서 여러 토큰을 디코딩할 수 있으므로 추론 속도가 빨라집니다.

추측적 디코딩은 여러 측면에서 큰 잠재력을 보여주지만, 심층적인 연구가 필요한 몇 가지 주요 문제도 제기합니다. 먼저, 추측의 정확성과 생성 효율성 사이의 균형을 맞추기 위해 적절한 근사 모델을 선택하거나 설계하는 방법에 대해 생각해 볼 필요가 있습니다. 둘째, 평가 기준이 생성된 결과의 다양성과 품질을 모두 유지하는지 확인하는 것이 중요합니다. 마지막으로, 추론의 정확성을 높이기 위해서는 근사 모델과 대상 대형 모델 간의 추론 과정 정렬을 신중하게 고려해야 합니다.

홍콩이공대학교, 북경대학교, MSRA, 알리바바의 연구원들이 추측성 해독에 대해 포괄적인 조사를 실시했으며, Machine Heart는 이에 대한 포괄적인 요약을 작성했습니다. U 논문 제목: 대형 언어 모델 추론의 효율성 잠금 해제: 추측 디코딩에 대한 종합 조사

F

The evolution of speculative decoding
이 기사는 먼저 추측 디코딩 기술에 대한 초기 연구를 자세히 설명합니다. 타임라인을 통해 개발 과정을 보여줍니다(그림 2 참조).
• Blockwise 디코딩은 Transformer 디코더에 추가 FFN(피드포워드 신경) 헤드를 통합하는 방법으로, 단일 단계에서 여러 토큰을 생성할 수 있습니다.

블록 샘플링 알고리즘의 잠재력을 더욱 완벽하게 활용하기 위해 추측적 디코딩 솔루션이 제안됩니다. 이 알고리즘은 일반적으로 특수한 비자동회귀 변환기를 사용하여 생성 작업을 효율적이고 정확하게 수행할 수 있는 독립적인 근사 모델을 다룹니다.

추측적 디코딩이 등장한 후 일부 학자들은 추측적 디코딩에 무손실 가속 커널 샘플링을 추가한 "추측적 샘플링 알고리즘"을 제안했습니다.

전반적으로 이러한 추측적 디코딩에 대한 혁신적인 시도는 Draftthen-Verify 패러다임을 강화하고 LLM 가속화에서 큰 잠재력을 보여주기 시작했습니다.

공식 및 정의

이 섹션에서는 먼저 표준 자동 회귀 디코딩의 내용을 간략하게 설명한 다음 형식 정의, 방법론에 대한 포괄적인 설명을 포함하여 추론적 디코딩 알고리즘에 대해 자세히 설명합니다. 그리고 알고리즘의 세부 사항.

이 글에서는 아래 그림 3과 같이 관련 연구를 분류하기 위한 조직적 프레임워크를 제안합니다.

이 기사에서는 이전 작업을 기반으로 다시 한번 "추측적 디코딩 알고리즘"을 공식적으로 정의합니다.

추측적 디코딩 알고리즘은 이 단계에서 먼저 생성된 후 검증되는 디코딩 모드입니다. 먼저 가능한 여러 토큰을 생성한 다음 대상 대규모 언어 모델을 사용하여 이러한 모든 토큰을 병렬로 평가하여 추론 속도를 높일 수 있어야 합니다. 알고리즘 표 2는 상세한 추론적 복호화 과정이다.

그런 다음 이 문서에서는 이 패러다임에 필수적인 두 가지 기본 하위 단계인 생성과 평가에 대해 자세히 설명합니다.

Generation

각 디코딩 단계에서 추론적 디코딩 알고리즘은 먼저 대상 대규모 언어 모델의 출력 콘텐츠에 대한 추측으로 여러 개의 가능한 토큰을 생성합니다.

이 글에서는 생성된 콘텐츠를 독립 드래프트와 셀프 드래프트의 두 가지 범주로 나누고, 그 공식을 아래 표 1에 요약합니다.

Validation

각 디코딩 단계에서 근사 모델에 의해 생성된 토큰을 병렬로 검증하여 출력 품질이 대상 대형 언어 모델과 매우 일치하는지 확인합니다. 이 프로세스에서는 속도 향상에 영향을 줄 수 있는 중요한 요소인 각 단계에서 허용되는 토큰 수도 결정됩니다.

대형 언어 모델 추론에서 그리디 디코딩 및 커널 샘플링을 지원하는 기준을 포함하여 다양한 검증 기준이 아래 표 2에 요약되어 있습니다.

생성 및 검증의 하위 단계는 종료 조건, 즉 [EOS] 토큰이 디코딩되거나 문장이 최대 길이에 도달할 때까지 계속 반복됩니다.

이 글에서는 토큰 수용도를 점진적으로 높이는 효과적인 전략인 토큰 트리 검증 알고리즘을 소개합니다.

모델 정렬

추측의 정확성을 높이는 것이 추측 디코딩을 가속화하는 데 중요합니다. 근사 모델의 예측 동작이 대상 대형 언어 모델에 가까울수록 생성된 모델의 수용률이 높아집니다. 토큰. 이를 위해 기존 작업에서는 근사 모델의 출력 내용을 대상 대규모 언어 모델의 출력 내용과 일치시키기 위해 다양한 지식 추출(KD) 전략을 탐색합니다.

블록 디코딩은 먼저 모델 정렬을 위해 시퀀스 수준 지식 추출(Seq-KD)을 사용하고, 대상 대형 언어 모델에서 생성된 문장으로 근사 모델을 훈련합니다.

또한 Seq-KD는 병렬 디코딩 생성 품질을 향상시켜 병렬 디코딩 생성 성능을 향상시키는 효과적인 전략이기도 합니다.

기존 추측적 복호화 방법의 주요 특징은 근사 모델 또는 생성 전략의 유형, 모델 정렬 방법, 지원되는 평가 전략 및 가속 정도를 포함하여 아래 표 3에 요약되어 있습니다.

애플리케이션

최근 연구에서는 일반적인 패러다임일 뿐만 아니라 추측 디코딩의 일부 변형이 특정 작업에서 탁월한 효율성을 보이는 것으로 나타났습니다. 또한 다른 연구에서는 이 패러다임을 적용하여 특정 애플리케이션 시나리오에 고유한 대기 시간 문제를 해결함으로써 추론 가속화를 달성했습니다.

예를 들어, 일부 학자들은 추측적 디코딩이 문법 오류 수정 및 검색 향상 생성과 같이 모델 입력과 출력이 매우 유사한 작업에 특히 적합하다고 믿습니다.

이러한 작업 외에도 RaLMSpec(Zhang et al., 2023b)은 추론적 디코딩을 사용하여 RaLM(검색 증강 언어 모델)을 가속화합니다.

기회와 과제

질문 1: 예측 콘텐츠의 정확성과 생성 효율성을 평가하는 방법은 무엇입니까? 이 문제에 대해 일부 진전이 있었지만, 대략적인 모델을 대상 대형 언어 모델이 생성하는 것과 정렬하는 데는 여전히 상당한 개선의 여지가 있습니다. 모델 정렬 외에도 생성 품질 및 예측 길이 결정과 같은 다른 요소도 예측의 정확성에 영향을 미칠 수 있으므로 추가 조사가 필요합니다.

질문 2: 추측 디코딩과 다른 주요 기술을 결합하는 방법은 무엇입니까? 일반적인 디코딩 모드로서 추론적 디코딩은 다른 고급 기술과 결합되어 그 잠재력을 입증했습니다. 일반 텍스트에 대한 대규모 언어 모델을 가속화하는 것 외에도 이미지 합성, 텍스트 음성 변환 합성, 비디오 생성 등 다중 모달 추론에 추측적 디코딩을 적용하는 것도 향후 연구를 위한 흥미롭고 가치 있는 방향입니다.

자세한 내용은 원문을 참고해주세요.

위 내용은 GPT-4가 사용할 수도 있는 추측적 디코딩은 무엇입니까? 과거, 현재, 적용 상황을 요약한 기사의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!