찾다
기술 주변기기일체 포함Transformer 기술 원리 개요

Transformer 기술 원리 개요

1. 서문

최근 AIGC(AI-Generated Content)가 빠르게 발전하며 소비자들의 관심을 끌 뿐만 아니라 기술계와 업계에서도 주목받고 있습니다. 2022년 9월 23일, Sequoia America는 AIGC가 새로운 패러다임 전환의 시작을 대표할 것이라고 믿으며 "Generative AI: A Creative New World"라는 기사를 게재했습니다. 2022년 10월 Stability AI는 사용자가 입력한 텍스트 설명(프롬프트라고 함)을 기반으로 이미지를 자동으로 생성할 수 있는 오픈 소스 모델 Stable Diffusion을 출시했습니다. 즉, Stable Diffusion, DALL-E 2, Midjourney, Wenxin Yige입니다. 등 그림을 생성할 수 있는 AIGC 모델이 AI 페인팅 분야를 폭발시켰고, AI 페인팅이 대중화되면서 예술 분야에도 인공지능이 침투하게 되었습니다. 아래 사진은 바이두의 '원신이거' 플랫폼이 '미래메카'를 주제로 제작한 작품이다.


Transformer 기술 원리 개요

그림 1 Baidu의 "Wenxin Yige" 플랫폼이 만든 AI 페인팅

AIGC 분야의 급속한 발전은 심층 신경망의 발전과 불가분의 관계에 있습니다. 특히, Transform 모델의 출현은 신경망에 더욱 강력한 글로벌 컴퓨팅 기능을 제공하고, 네트워크 훈련에 소요되는 시간을 줄이며, 네트워크 모델의 성능을 향상시킵니다. 상대적으로 잘 수행되는 현재 AIGC 도메인 모델에는 기본 기술 아키텍처에 Attention 및 Transform 기술이 포함되어 있습니다.

2. 개발 역사

2.1 심층신경망

심층신경망으로 대표되는 정보기술의 발전은 인공지능 분야의 발전과 확장을 촉진시켰습니다. 2006년에 Hinton et al.은 단일 레이어 RBM 자동 인코딩 사전 훈련을 사용하여 심층 신경망 훈련을 실현했으며, 2012년에는 Hinton과 Alex Krizhevsky가 설계한 AlexNet 신경망 모델이 ImageNet 대회에서 이미지 인식 및 분류를 달성했습니다. 인공지능 발전의 출발점. 현재 널리 사용되는 심층 신경망은 생물학적 신경망에서 제안된 개념을 모델로 합니다. 생물학적 신경망에서 생물학적 뉴런은 수신된 정보를 계층별로 전달하고, 여러 뉴런의 정보를 집계하여 최종 결과를 얻습니다. 생물학적 신경 단위와 유사하게 설계된 논리적 신경 단위를 사용하여 구축된 수학적 모델을 인공 신경망이라고 합니다. 인공 신경망에서는 입력 데이터와 출력 데이터 사이의 숨겨진 관계를 탐색하는 데 논리 신경 단위가 사용됩니다. 데이터의 양이 적을 경우 얕은 신경망은 일부 작업의 요구 사항을 충족할 수 있습니다. 증가, 확장, 심층 신경망은 고유한 장점을 보여주기 시작합니다.

2.2 Attention Mechanism

Attention Mechanism은 Bengio팀에서 2014년에 제안한 것으로 최근에는 이미지 캡처를 위한 컴퓨터 비전 등 딥러닝의 다양한 분야에서 널리 사용되고 있습니다. NLP에서 키 토큰이나 기능을 찾으려면 수많은 실험을 통해 주의 메커니즘을 갖춘 모델이 이미지 분류, 분할, 추적, 향상, 자연어 인식, 이해, 질문 응답 및 번역 분야에서 상당한 개선을 달성했음이 입증되었습니다.

주의 메커니즘은 시각적 주의 메커니즘을 모델로 합니다. 시각적 주의 메커니즘은 인간 두뇌의 타고난 능력입니다. 우리는 사진을 볼 때 먼저 사진을 빠르게 스캔한 다음 초점을 맞춰야 할 대상 영역에 초점을 맞춥니다. 예를 들어, 다음 사진을 보면 우리의 관심은 쉽게 아기의 얼굴, 기사 제목, 기사의 첫 문장에 집중됩니다. 상상해 보십시오. 모든 지역 정보를 방치하지 않으면 분명히 많은 에너지를 소비하게 될 것이며 이는 인류의 생존과 진화에 도움이 되지 않습니다. 마찬가지로, 딥러닝 네트워크에 유사한 메커니즘을 도입하면 모델을 단순화하고 계산 속도를 높일 수 있습니다. 본질적으로 이해하면 Attention은 많은 양의 정보에서 소량의 중요한 정보를 걸러내고 이 중요한 정보에 집중하고 중요하지 않은 정보는 대부분 무시하는 것입니다.


Transformer 기술 원리 개요

그림 2 인간 주의 메커니즘의 개략도

3.

지능형 Transformer 모델은 전통적인 CNN 및 RNN 단위를 버리고 전체 네트워크 구조가 전적으로 주의 메커니즘으로 구성됩니다. 이번 장에서는 먼저 Transformer 모델의 전반적인 과정을 소개하고, 이후에 관련된 위치 인코딩 정보와 Self-Attention 계산에 대해 자세히 소개하겠습니다.

3.1 프로세스 개요


Transformer 기술 원리 개요

그림 3 주의 메커니즘 흐름 차트

위 그림에 표시된 대로 Transformer는 인코더 모듈과 De의 두 부분으로 구성됩니다. 코더 모듈 구성, ​​인코더와 디코더 모두 N개의 블록을 포함합니다. 번역 작업을 예로 들면 Transformer의 작업 흐름은 대략 다음과 같습니다.

1단계: 입력 문장의 각 단어에 대한 표현 벡터 X를 얻습니다. X는 단어 자체의 Embedding과 다음의 Embedding을 추가하여 얻습니다. 위치라는 단어.

2단계: 획득한 단어 표현 벡터 행렬을 인코더 모듈에 전달합니다. 인코더 모듈은 Attention 메서드를 사용하여 입력 데이터를 계산합니다. N개의 Encoder 모듈 이후에는 문장 내 모든 단어의 인코딩 정보 행렬을 얻을 수 있습니다. 각 Encoder 모듈에서 출력되는 행렬 차원은 입력과 정확히 동일합니다.

3단계: Encoder 모듈에서 출력된 인코딩 정보 매트릭스를 Decoder 모듈에 전달하면 Decoder는 현재 번역된 단어 i를 기반으로 다음 단어 i+1을 번역합니다. Encoder 구조와 마찬가지로 Decoder 구조도 Attention 메서드를 사용하여 계산합니다. 사용 중 i+1 단어로 번역할 때 i+1 뒤의 단어를 가리기 위해 Mask 작업을 사용해야 합니다.

3.2 Self-Attention 계산

Transform 모델의 핵심은 Attention 계산이며, 이는 다음과 같은 수식으로 표현할 수 있습니다.

Transformer 기술 원리 개요

여기서 Q, K, V는 각각 Query, Key, 가치, 이 세 가지 개념은 간단한 검색 예로 정보 검색 시스템에서 가져온 것입니다. 전자상거래 플랫폼에서 상품을 검색할 때, 검색 엔진에 입력한 내용이 Query이고, 검색 엔진은 Query를 기반으로 Key(종류, 색상, 설명 등)를 매칭해 줍니다. ) 제품의 Query와 Key의 유사성을 기반으로 일치하는 내용(Value)을 가져옵니다.

self-attention의 Q, K, V도 비슷한 역할을 합니다. 행렬 계산에서 내적은 두 행렬의 유사도를 계산하는 방법 중 하나이므로 Q 행렬에 K 행렬을 곱한 값을 사용합니다. 위의 공식은 유사도를 계산하기 위해 전치(transposition)를 사용합니다. 내적이 너무 커지는 것을 방지하기 위해서는 d의 제곱근으로 나누어야 하며, 마지막으로 그 결과에 소프트맥스 활성화 함수를 적용한다.

3.3 위치 인코딩

단어 자체의 임베딩 외에도 Transformer는 문장에서 단어가 나타나는 위치를 나타내기 위해 위치 임베딩을 사용해야 합니다. Transformer는 RNN의 구조를 사용하지 않고 전역적인 정보를 사용하기 때문에 단어의 순서 정보를 사용할 수 없으며, 이 부분의 정보는 NLP나 CV에서 매우 중요합니다. 따라서 Transformer에서는 position Embedding을 사용하여 시퀀스에서 단어의 상대 또는 절대 위치를 저장합니다.

Position Embedding은 PE로 표현되며, PE의 차원은 Embedding이라는 단어와 같습니다. PE는 훈련을 통해 얻거나 특정 공식을 사용하여 계산할 수 있습니다. 후자는 Transformer에서 사용되며 계산식은 다음과 같습니다.

Transformer 기술 원리 개요

여기서 pos는 문장 내 단어의 위치를 ​​나타내고, d는 PE의 차원을 나타내며 크기는 Embedding과 동일합니다. 단어 자체에서 2i는 짝수 차원을 나타내고, 2i+1은 홀수 차원을 나타냅니다.

4. 요약

Transformer의 초점은 Self-Attention 구조입니다. 네트워크는 다차원 Attention 구조를 통해 단어 간의 숨겨진 관계를 다차원적으로 포착할 수 있습니다. 그러나 Transformer 자체는 단어의 순서 정보를 사용할 수 없으므로 위치 Embedding이 필요합니다. 를 입력에 추가하여 단어의 위치 정보를 저장하는 데 사용됩니다. 순환 신경망과 비교하여 Transformer 네트워크는 컨벌루션 신경망과 비교하여 Transformer 네트워크가 두 위치 간의 연관성을 계산하는 데 필요한 작업 수가 거리에 따라 증가하지 않아 병렬로 더 잘 훈련될 수 있습니다. 계산된 거리는 수용 필드의 크기로 제한됩니다. 동시에 Transformer 네트워크는 더 해석 가능한 모델을 생성할 수 있습니다. 모델을 통해 주의 분포를 조사할 수 있으며, 각 주의 머리는 서로 다른 작업을 수행하는 방법을 학습할 수 있습니다.

위 내용은 Transformer 기술 원리 개요의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명
이 기사는 51CTO.COM에서 복제됩니다. 침해가 있는 경우 admin@php.cn으로 문의하시기 바랍니다. 삭제
AI 기술 격차는 공급망을 늦추고 있습니다AI 기술 격차는 공급망을 늦추고 있습니다Apr 26, 2025 am 11:13 AM

"AI-Ready Workforce"라는 용어는 자주 사용되지만 공급망 산업에서 실제로 무엇을 의미합니까? ASCM (Association for Supply Chain Management)의 CEO 인 Abe Eshkenazi에 따르면 비평가가 가능한 전문가를 의미합니다.

한 회사가 AI를 영원히 변화시키기 위해 조용히 노력하는 방법한 회사가 AI를 영원히 변화시키기 위해 조용히 노력하는 방법Apr 26, 2025 am 11:12 AM

분산 된 AI 혁명은 조용히 운동량을 얻고 있습니다. 이번 주 금요일 텍사스 오스틴에서 Bittensor Endgame Summit은 중추적 인 순간을 표시하여 분산 된 AI (DEAI)를 이론에서 실제 적용으로 전환합니다. 화려한 광고와 달리

NVIDIA는 NEMO 마이크로 서비스를 방출하여 AI 에이전트 개발을 간소화합니다NVIDIA는 NEMO 마이크로 서비스를 방출하여 AI 에이전트 개발을 간소화합니다Apr 26, 2025 am 11:11 AM

Enterprise AI는 데이터 통합 ​​문제에 직면 해 있습니다 Enterprise AI의 적용은 비즈니스 데이터를 지속적으로 학습함으로써 정확성과 실용성을 유지할 수있는 시스템을 구축하는 주요 과제에 직면 해 있습니다. NEMO 마이크로 서비스는 NVIDIA가 "데이터 플라이휠"으로 묘사 한 내용을 작성 하여이 문제를 해결하여 AI 시스템이 엔터프라이즈 정보 및 사용자 상호 작용에 지속적으로 노출되어 관련성을 유지할 수 있도록합니다. 새로 출시 된이 툴킷에는 5 개의 주요 마이크로 서비스가 포함되어 있습니다. NEMO Customizer는 더 높은 교육 처리량으로 대형 언어 모델의 미세 조정을 처리합니다. NEMO 평가자는 사용자 지정 벤치 마크에 대한 AI 모델의 단순화 된 평가를 제공합니다. Nemo Guardrails는 보안 제어를 구현하여 규정 준수 및 적절성을 유지합니다.

AI는 미래의 미래와 디자인을위한 새로운 그림을 그립니다.AI는 미래의 미래와 디자인을위한 새로운 그림을 그립니다.Apr 26, 2025 am 11:10 AM

AI : 예술과 디자인의 미래 인공 지능 (AI)은 전례없는 방식으로 예술 및 디자인 분야를 변화시키고 있으며, 그 영향은 더 이상 아마추어에게만 국한되지 않고 전문가에게 더 큰 영향을 미칩니다. AI에 의해 생성 된 아트 워크 및 디자인 체계는 광고, 소셜 미디어 이미지 생성 및 웹 디자인과 같은 많은 트랜잭션 디자인 활동에서 전통적인 재료 이미지 및 디자이너를 빠르게 대체하고 있습니다. 그러나 전문 예술가와 디자이너는 AI의 실질적인 가치도 찾습니다. 그들은 AI를 보조 도구로 사용하여 새로운 미적 가능성을 탐색하고 다양한 스타일을 혼합하며 새로운 시각 효과를 만듭니다. AI는 아티스트와 디자이너가 반복적 인 작업을 자동화하고 다양한 디자인 요소를 제안하며 창의적인 입력을 제공하도록 도와줍니다. AI는 스타일 전송을 지원하며 이미지 스타일을 적용합니다.

에이전트 AI와의 작업을 혁신하는 방법 : 회의에서 이정표까지에이전트 AI와의 작업을 혁신하는 방법 : 회의에서 이정표까지Apr 26, 2025 am 11:09 AM

처음에는 화상 회의 플랫폼으로 유명한 Zoom은 에이전트 AI의 혁신적인 사용으로 직장 혁명을 이끌고 있습니다. Zoom의 CTO 인 XD Huang과의 최근 대화는 회사의 야심 찬 비전을 공개했습니다. 에이전트 AI 정의 Huang d

대학에 대한 실존 적 위협대학에 대한 실존 적 위협Apr 26, 2025 am 11:08 AM

AI가 교육에 혁명을 일으킬까요? 이 질문은 교육자와 이해 관계자들 사이에서 심각한 반영을 촉구하고 있습니다. AI를 교육에 통합하면 기회와 도전이 모두 나타납니다. Tech Edvocate의 Matthew Lynch로서 Universit

프로토 타입 : 미국 과학자들은 해외에서 일자리를 찾고 있습니다프로토 타입 : 미국 과학자들은 해외에서 일자리를 찾고 있습니다Apr 26, 2025 am 11:07 AM

미국의 과학 연구 및 기술의 발전은 아마도 예산 삭감으로 인해 어려움에 직면 할 수 있습니다. Nature에 따르면, 해외 일자리를 신청하는 미국 과학자의 수는 2024 년 같은 기간에 비해 2025 년 1 월부터 3 월까지 32% 증가했습니다. 이전 여론 조사에 따르면 설문 조사에 참여한 연구원의 75%가 유럽과 캐나다에서 일자리 검색을 고려하고 있음을 보여주었습니다. 지난 몇 개월 동안 수백 개의 NIH와 NSF 보조금이 종료되었으며, NIH의 새로운 보조금은 올해 약 23 억 달러로 줄어 듭니다. 유출 된 예산 제안에 따르면 트럼프 행정부는 과학 기관의 예산을 급격히 줄이는 것을 고려하고 있으며 최대 50%감소 할 수 있습니다. 기본 연구 분야의 혼란은 또한 미국의 주요 장점 중 하나 인 해외 인재 유치에 영향을 미쳤습니다. 35

Open AI의 최신 GPT 4.1 가족 - 분석 Vidhya에 관한 모든 것Open AI의 최신 GPT 4.1 가족 - 분석 Vidhya에 관한 모든 것Apr 26, 2025 am 10:19 AM

Openai는 강력한 GPT-4.1 시리즈를 공개합니다. 실제 응용 프로그램을 위해 설계된 3 개의 고급 언어 모델 패밀리. 이 중요한 도약 전진

See all articles

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

Video Face Swap

Video Face Swap

완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!

뜨거운 도구

MinGW - Windows용 미니멀리스트 GNU

MinGW - Windows용 미니멀리스트 GNU

이 프로젝트는 osdn.net/projects/mingw로 마이그레이션되는 중입니다. 계속해서 그곳에서 우리를 팔로우할 수 있습니다. MinGW: GCC(GNU Compiler Collection)의 기본 Windows 포트로, 기본 Windows 애플리케이션을 구축하기 위한 무료 배포 가능 가져오기 라이브러리 및 헤더 파일로 C99 기능을 지원하는 MSVC 런타임에 대한 확장이 포함되어 있습니다. 모든 MinGW 소프트웨어는 64비트 Windows 플랫폼에서 실행될 수 있습니다.

Eclipse용 SAP NetWeaver 서버 어댑터

Eclipse용 SAP NetWeaver 서버 어댑터

Eclipse를 SAP NetWeaver 애플리케이션 서버와 통합합니다.

안전한 시험 브라우저

안전한 시험 브라우저

안전한 시험 브라우저는 온라인 시험을 안전하게 치르기 위한 보안 브라우저 환경입니다. 이 소프트웨어는 모든 컴퓨터를 안전한 워크스테이션으로 바꿔줍니다. 이는 모든 유틸리티에 대한 액세스를 제어하고 학생들이 승인되지 않은 리소스를 사용하는 것을 방지합니다.

mPDF

mPDF

mPDF는 UTF-8로 인코딩된 HTML에서 PDF 파일을 생성할 수 있는 PHP 라이브러리입니다. 원저자인 Ian Back은 자신의 웹 사이트에서 "즉시" PDF 파일을 출력하고 다양한 언어를 처리하기 위해 mPDF를 작성했습니다. HTML2FPDF와 같은 원본 스크립트보다 유니코드 글꼴을 사용할 때 속도가 느리고 더 큰 파일을 생성하지만 CSS 스타일 등을 지원하고 많은 개선 사항이 있습니다. RTL(아랍어, 히브리어), CJK(중국어, 일본어, 한국어)를 포함한 거의 모든 언어를 지원합니다. 중첩된 블록 수준 요소(예: P, DIV)를 지원합니다.

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구