찾다
기술 주변기기일체 포함Transformer는 미리 생각할 수도 있지만 실제로는 그렇게 하지 않습니다.

향후 토큰에 대한 언어 모델 계획이 있나요? 이 논문은 당신에게 답을 제공합니다.

"Yann LeCun이 보지 못하게 하세요."

Transformer는 미리 생각할 수도 있지만 실제로는 그렇게 하지 않습니다.

Yann LeCun은 너무 늦었다고 말했습니다. 그는 이미 그것을 보았습니다. 오늘 소개할 "르쿤 필독서" 논문에서 논의되는 질문은 '트랜스포머는 사려깊은 언어 모델인가?'이다. 특정 위치에서 추론을 수행할 때 다음 위치를 예상합니까?

이 연구의 결론은 다음과 같습니다. Transformer에는 이러한 기능이 있지만 실제로는 그렇지 않습니다.

인간은 말하기 전에 생각한다는 것을 우리 모두는 알고 있습니다. 10년간의 언어학 연구에 따르면 인간은 언어를 사용할 때 다가오는 언어 입력, 단어 또는 문장을 정신적으로 예측합니다.

인간과 달리 현재 언어 모델은 "말"할 때 각 토큰에 고정된 계산량을 할당합니다. 그래서 우리는 묻지 않을 수 없습니다: 언어 모델이 인간처럼 미리 생각할 것인가?

최근 연구에 따르면 언어 모델의 숨겨진 상태를 조사하여 다음 토큰을 예측할 수 있는 것으로 나타났습니다. 흥미롭게도 모델의 숨겨진 상태에 대한 선형 프로브를 사용하면 미래 토큰에 대한 모델의 출력을 어느 정도 예측할 수 있으며 미래 출력을 예측 가능하게 수정할 수 있습니다. 최근 일부 연구에서는 언어 모델의 숨겨진 상태를 조사하여 다음 토큰을 예측하는 것이 가능하다는 사실을 보여주었습니다. 흥미롭게도 모델의 숨겨진 상태에 대한 선형 프로브를 사용하면 미래 토큰에 대한 모델의 출력을 어느 정도 예측할 수 있으며 미래 출력을 예측 가능하게 수정할 수 있습니다.

이러한 결과는 특정 시간 단계에서 모델 활성화가 미래 출력을 적어도 부분적으로 예측한다는 것을 시사합니다.

그러나 우리는 아직 그 이유를 모릅니다. 이것은 단지 데이터의 우연한 속성입니까, 아니면 모델이 의도적으로 미래 시간 단계에 대한 정보를 준비하기 때문입니까(그러나 이는 현재 위치에서 모델의 성능에 영향을 미칩니다).

이 질문에 답하기 위해 콜로라도 볼더 대학교와 코넬 대학교의 연구자 3명이 최근 "Will Language Models Plan for Future Tokens?"라는 제목의 기사를 발표했습니다. "명제.

Transformer는 미리 생각할 수도 있지만 실제로는 그렇게 하지 않습니다.

논문 제목: Do Language Models Plan for Future Tokens?

논문 주소: https://arxiv.org/pdf/2404.00859.pdf

연구 개요

그들은 훈련 중에 그라데이션이 현재 토큰 위치 손실에 대비해 가중치를 최적화할 뿐만 아니라 나중에 시퀀스에서 토큰도 최적화합니다. 그들은 추가로 질문했습니다: 현재 변환기 가중치가 현재 토큰과 미래 토큰에 리소스를 어느 비율로 할당합니까?

그들은 두 가지 가능성, 즉 사전 캐싱 가설과 탐색경로 가설을 고려했습니다.

Transformer는 미리 생각할 수도 있지만 실제로는 그렇게 하지 않습니다.

사전 캐싱 가설은 변환기가 현재 시간 단계의 추론 작업과 관련이 없지만 향후 시간 단계 t + τ에 유용할 수 있는 시간 단계 t의 특징을 계산한다는 것을 의미하는 반면, 이동 경로 가설은 는 시간 단계 t와 가장 관련성이 높은 기능이 시간 단계 t + τ에서 가장 유용한 기능과 이미 동일하다는 것을 의미합니다.

어떤 가설이 맞는지 평가하기 위해 팀은 현재 위치의 손실 기울기를 이전 위치의 숨겨진 상태로 전파하지 않는 근시 훈련 방식을 제안했습니다.

위 가정과 해법에 대한 수학적 정의와 이론적 설명은 원본 논문을 참조하세요.

실험 결과

언어 모델이 사전 캐싱을 직접 구현하는 것이 가능한지 이해하기 위해 명시적 사전 캐싱을 통해서만 작업을 수행할 수 있는 합성 시나리오를 설계했습니다. 그들은 모델이 다음 토큰에 대한 정보를 미리 계산해야 하는 작업을 구성했습니다. 그렇지 않으면 단일 패스에서 정답을 정확하게 계산할 수 없습니다. 팀이 구성한 합성 데이터 세트의 정의.

Transformer는 미리 생각할 수도 있지만 실제로는 그렇게 하지 않습니다.

이 합성 장면에서 팀은 변환기가 사전 캐시를 학습할 수 있다는 명확한 증거를 발견했습니다. 변환기 기반 시퀀스 모델은 손실을 최소화하기 위해 정보를 미리 계산해야 할 때 이를 수행합니다.

그런 다음 자연어 모델(사전 훈련된 GPT-2 변형)이 이동 경로 가설을 나타낼지 사전 캐싱 가설을 나타낼지 조사했습니다. 근시 훈련 계획에 대한 실험에서는 이 설정에서 사전 캐싱이 훨씬 덜 자주 발생하므로 결과가 탐색경로 가설에 더 편향되어 있음을 보여줍니다.

ㅋㅋ                                                                                                    토큰 위치에 따른 원래 GPT-2 모델과 근시안적인 GPT-2 모델의 손실과 차이점을 살펴보겠습니다. 하라 GPT-2 원시적이고 짧은 크기의 훈련을 통해 얻은 교차 엔트로피 손실을 검증합니다.

그래서 팀은 다음과 같이 주장합니다. 실제 언어 데이터에서 언어 모델은 미래 정보를 상당 부분 준비하지 않습니다. 대신, 다음 토큰을 예측하는 데 유용한 컴퓨팅 기능이며, 이는 향후 단계에도 유용할 것으로 입증됩니다.

Transformer는 미리 생각할 수도 있지만 실제로는 그렇게 하지 않습니다.

팀은 "언어 데이터에서 다음 토큰 손실을 탐욕스럽게 최적화하는 것과 미래 예측 성능을 보장하는 것 사이에는 큰 상충 관계가 없다는 것을 관찰했습니다."라고 말했습니다. Transformer가 선견지명을 가질 수 있는지에 대한 질문은 본질적으로 데이터 질문인 것 같습니다.

미래에는 적절한 데이터 처리 방법을 사용하여 언어 모델에 인간처럼 미리 생각할 수 있는 능력을 부여할 수 있을 것이라고 생각됩니다.

위 내용은 Transformer는 미리 생각할 수도 있지만 실제로는 그렇게 하지 않습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명
이 기사는 机器之心에서 복제됩니다. 침해가 있는 경우 admin@php.cn으로 문의하시기 바랍니다. 삭제
모든 비즈니스 아이디어를 향상시킬 수있는 5 개의 강력한 AI 프롬프트모든 비즈니스 아이디어를 향상시킬 수있는 5 개의 강력한 AI 프롬프트Apr 16, 2025 am 11:11 AM

다행히도 이것은 생성 AI가 매우 도움이 될 수있는 필드입니다. 아니요, 그것은 완벽한 전략을 제시하지 않을 것입니다. 그러나 비즈니스 계획을 브레인 스토밍하고 시장 조사 및 마케팅 컨텐츠 및 메시징을 미세 조정하는 데 도움이 될 수 있습니다. 아닙니다

졸업생 : AI 시대를위한 경력 조언졸업생 : AI 시대를위한 경력 조언Apr 16, 2025 am 11:10 AM

올해 만 다르게 느껴집니다. 불확실한. 관세 전쟁이 잘 진행되고 있다는 사실은 아닙니다. AI는 너무 많은 머리 긁힘과 영혼 검색의 근본적인 원인입니다. 전국 청소년 자선 단체 온 사이드는 최근에 설문 조사를 실시했습니다.

효과적인 가속도 또는 친 사회적 ai. AI의 미래는 무엇입니까?효과적인 가속도 또는 친 사회적 ai. AI의 미래는 무엇입니까?Apr 16, 2025 am 11:09 AM

가속 주의자 비전 : 최고 속도 E/ACC로 알려진 효과적인 가속도는 2022 년경 실리콘 밸리와 그 너머에서 상당한 견인력을 얻은 기술 최적의 운동으로 나타났습니다.

Excel의 상대적, 절대 및 혼합 참조는 무엇입니까?Excel의 상대적, 절대 및 혼합 참조는 무엇입니까?Apr 16, 2025 am 11:03 AM

소개 초기 스프레드 시트 경험은 복사시 공식의 예측할 수없는 행동으로 인해 실망 스러웠습니다. 나는 그때 셀 참조를 이해하지 못했지만, 상대적, 절대적, 혼합 참조를 마스터하는 것은 내 스프레드 스를 혁명으로 만들었다

Word2Vec을 사용한 스마트 제목 전자 메일 라인 생성Word2Vec을 사용한 스마트 제목 전자 메일 라인 생성Apr 16, 2025 am 11:01 AM

이 기사는 Word2Vec 임베드를 사용하여 효과적인 이메일 제목 줄을 생성하는 방법을 보여줍니다. 그것은 의미 론적 유사성을 활용하여 상황에 맞는 제목 줄을 만들어 이메일 마케팅을 개선하는 시스템을 구축함으로써 당신을 안내합니다.

데이터 분석가의 미래데이터 분석가의 미래Apr 16, 2025 am 11:00 AM

데이터 분석 : 진화하는 환경 탐색 데이터가 숫자가 아니라 모든 관리 결정의 초석을 상상해보십시오. 이 동적 환경에서 데이터 분석가는 필수 불가결 한 데이터를 실행 가능한 것으로 변환합니다.

Excel의 Sumproduct 기능은 무엇입니까? - 분석 VidhyaExcel의 Sumproduct 기능은 무엇입니까? - 분석 VidhyaApr 16, 2025 am 10:55 AM

Excel의 SumProduct 기능 : 데이터 분석 강국 간소화 된 데이터 분석을 위해 Excel의 SumProduct 기능의 힘을 잠금 해제하십시오. 이 다재다능한 기능은 요약 및 곱하기 기능을 쉽게 결합하여 추가로 확장, 빼기

데이터 스크러빙 란 무엇입니까?데이터 스크러빙 란 무엇입니까?Apr 16, 2025 am 10:53 AM

데이터 정리 : 정보에 입각 한 의사 결정에 대한 데이터 정확성 및 신뢰성 보장 부정확 한 게스트 목록 (연락처, 복제, 철자가 잘못된 이름)으로 대가족 상봉을 계획한다고 상상해보십시오. 제대로 준비되지 않은 목록은 이벤트를 망칠 수 있습니다. 비슷하게

See all articles

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

인기 기사

R.E.P.O. 에너지 결정과 그들이하는 일 (노란색 크리스탈)
4 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 최고의 그래픽 설정
4 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 아무도들을 수없는 경우 오디오를 수정하는 방법
4 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 채팅 명령 및 사용 방법
4 몇 주 전By尊渡假赌尊渡假赌尊渡假赌

뜨거운 도구

Dreamweaver Mac版

Dreamweaver Mac版

시각적 웹 개발 도구

PhpStorm 맥 버전

PhpStorm 맥 버전

최신(2018.2.1) 전문 PHP 통합 개발 도구

SublimeText3 영어 버전

SublimeText3 영어 버전

권장 사항: Win 버전, 코드 프롬프트 지원!

DVWA

DVWA

DVWA(Damn Vulnerable Web App)는 매우 취약한 PHP/MySQL 웹 애플리케이션입니다. 주요 목표는 보안 전문가가 법적 환경에서 자신의 기술과 도구를 테스트하고, 웹 개발자가 웹 응용 프로그램 보안 프로세스를 더 잘 이해할 수 있도록 돕고, 교사/학생이 교실 환경 웹 응용 프로그램에서 가르치고 배울 수 있도록 돕는 것입니다. 보안. DVWA의 목표는 다양한 난이도의 간단하고 간단한 인터페이스를 통해 가장 일반적인 웹 취약점 중 일부를 연습하는 것입니다. 이 소프트웨어는

mPDF

mPDF

mPDF는 UTF-8로 인코딩된 HTML에서 PDF 파일을 생성할 수 있는 PHP 라이브러리입니다. 원저자인 Ian Back은 자신의 웹 사이트에서 "즉시" PDF 파일을 출력하고 다양한 언어를 처리하기 위해 mPDF를 작성했습니다. HTML2FPDF와 같은 원본 스크립트보다 유니코드 글꼴을 사용할 때 속도가 느리고 더 큰 파일을 생성하지만 CSS 스타일 등을 지원하고 많은 개선 사항이 있습니다. RTL(아랍어, 히브리어), CJK(중국어, 일본어, 한국어)를 포함한 거의 모든 언어를 지원합니다. 중첩된 블록 수준 요소(예: P, DIV)를 지원합니다.