4배 더 빨라진 Bytedance의 오픈소스 고성능 훈련 추론 엔진 LightSeq 기술 공개

Transformer 모델은 2017년 구글 팀이 발표한 논문 "Attention is all you need"에서 따왔습니다. 이 논문은 Seq2Seq 모델의 순환 구조를 대체하기 위해 Attention을 사용하는 개념을 처음 제안했는데, 이는 NLP에 큰 영향을 미쳤습니다. 필드. 그리고 최근 연구의 지속적인 발전으로 Transformer 관련 기술은 점차 자연어 처리에서 다른 분야로 흘러가고 있습니다. 지금까지 Transformer 시리즈 모델은 NLP, CV, ASR 및 기타 분야의 주류 모델이 되었습니다.

따라서 Transformer 모델을 더 빠르게 훈련하고 추론하는 방법은 업계에서 중요한 연구 방향이 되었습니다. 저정밀 양자화 기술은 데이터 폭을 줄여 계산 및 통신 프로세스를 가속화할 수 있으며, 이 단계에서 모델 훈련 및 추론을 가속화하는 중요한 수단입니다. 하지만 아쉬운 점은 양자화는 정확성과 효과의 손실을 가져오며, 정량화된 인식과 훈련 등의 수단을 통해 손실을 줄여야 한다는 점입니다. 위의 문제점에 대응하여 ByteDance는 LightSeq 훈련 및 추론 가속 엔진 버전 3.0을 개발하고 업그레이드했습니다. 이 엔진은 처음으로 정확하고 무손실 Transformer 모델 정량적 훈련과 정량적 추론을 동시에 달성했습니다.

LightSeq는 업계에서 널리 사용되는 의사 양자화 방법을 사용하는 대신 int8 GEMM을 통해 진정한 양자화 훈련 프로세스를 구현하므로 모델 훈련 속도를 4배 이상 높일 수 있습니다. PACT와 같은 정량적 전략을 통해 정량적 훈련의 손실을 최소화할 수 있습니다. 정량적 모델을 LightSeq에서 지원하는 형식으로 내보낸 후 추가로 LightSeq 정량적 추론 엔진을 사용하여 빠른 추론을 달성할 수 있으며, 이를 통해 T4 그래픽 카드에서 속도를 최대 70%까지 높일 수 있습니다.

7월 21일 [T·TALK] 기술 공유 행사에서는 특별히 ByteDance 알고리즘 엔지니어이자 LightSeq 핵심 개발자인 Xiong Ying 씨를 라이브 방송실에 초대하여 고성능 훈련 추론을 공개했습니다. LightSeq 엔진의 기술적 원리와 실제 세부 사항을 청중에게 소개합니다. 알고리즘 업계 종사자이시든, AI 기술을 연구하고 싶은 개발자이시든, 이번 공유를 통해 독특한 기술 경험과 ​​혁신적인 영감을 얻으실 수 있을 거라 믿습니다.

7월 21일 오후 20시 [T·TALK] 제12회 기술나눔 이벤트에 참여해 주신 모든 분들을 환영합니다

포스터 아래 QR코드를 스캔하세요시청예약

위 내용은 4배 더 빨라진 Bytedance의 오픈소스 고성능 훈련 추론 엔진 LightSeq 기술 공개의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!