MIT에서는 대규모 언어 모델 ≠ 무작위 앵무새가 실제로 의미론을 학습할 수 있다는 증거가 있습니다.

대규모 사전 훈련된 언어 모델(LLM)은 다양한 다운스트림 작업에서 성능이 크게 향상되었지만 사용하고 생성하는 텍스트의 의미를 진정으로 이해하고 있습니까?

AI 커뮤니티는 오랫동안 이 문제를 두고 크게 분열되어 왔습니다. 한 가지 추측은 순전히 언어 형식(예: 훈련 코퍼스에서 토큰의 조건부 분포)으로 훈련된 언어 모델은 어떤 의미도 획득하지 못한다는 것입니다. 대신 모델과 훈련 데이터의 크기에 따른 강력한 출현 기능을 사용하여 훈련 데이터에서 수집한 피상적인 통계 상관 관계를 기반으로 텍스트를 생성할 뿐입니다. 이 사람들은 LLM을 "무작위 앵무새"라고 부릅니다.

하지만 이러한 견해에 동의하지 않는 사람들도 있습니다. 최근 연구에 따르면 NLP 커뮤니티 응답자의 약 51%가 "충분한 데이터와 계산 리소스가 제공되면 텍스트에만 훈련된 일부 생성 모델이 언어(표면 수준의 통계적 상관 관계를 넘어 이해를 포함하는) 의미 있는 방식으로 자연을 이해할 수 있다"는 데 동의한 것으로 나타났습니다. 언어 이면의 의미론과 개념에 대해)”.

이 답이 없는 질문을 탐구하기 위해 MIT CSAIL의 연구원들은 자세한 연구를 수행했습니다.

논문 주소: https://paperswithcode.com/paper/evidence-of-meaning-in-언어-models

이 연구에 사용된 언어 모델은 훈련된 것입니다 다음 토큰을 예측하고 두 가지 가설을 공식화하는 모델:

• H1: 텍스트에서 다음 토큰을 예측하는 방식으로만 훈련된 LM은 훈련 코퍼스에서 표면 수준 통계 상관 관계를 반복함으로써 근본적으로 제한됩니다. H2LM은 소화하고 생성하는 텍스트에 의미를 부여할 수 없습니다.
두 가지 가설 H1과 H2의 정확성을 탐색하기 위해 본 연구에서는 프로그램 합성 작업, 즉 입력 및 출력 예제의 형식적 사양이 주어진 프로그램을 합성하는 데 언어 모델링을 적용합니다. 본 연구에서는 프로그램의 의미(및 정확성)가 전적으로 프로그래밍 언어의 의미에 의해 결정되기 때문에 이러한 접근 방식을 취합니다.

구체적으로, 본 연구에서는 프로그램 코퍼스와 해당 사양에 대해 언어 모델(LM)을 훈련한 다음 선형 분류기를 사용하여 프로그램의 의미론적 표현을 위해 LM의 숨겨진 상태를 탐지합니다. 이 연구에서는 의미론을 추출하는 탐지기의 능력이 초기화 시 확률론적이며, 사양을 보지 않고도 올바른 프로그램을 생성하는 LM의 능력과 강한 상관관계가 있는 훈련 중에 단계 변화를 겪는다는 사실을 발견했습니다. 또한 이 연구는 의미론이 (프로브를 통해 학습된 것이 아니라) 모델 상태로 표현된다는 것을 보여주는 중재적 실험의 결과를 제시합니다.

이 연구의 주요 기여는 다음과 같습니다.

1. 실험 결과는 다음 토큰을 예측하는 작업을 수행하는 LM에 의미 있는 표현이 나타나는 것을 보여줍니다. 구체적으로, 이 연구에서는 훈련된 LM을 사용하여 여러 입출력 예제가 주어진 프로그램을 생성한 다음 선형 탐지기를 훈련하여 모델 상태에서 프로그램 상태에 대한 정보를 추출합니다. 연구자들은 내부 표현에 다음과 같은 선형 인코딩이 포함되어 있음을 발견했습니다. (1) 추상 의미론(추상적 해석) - 프로그램 실행 중 지정된 입력 추적 (2) 아직 생성되지 않은 프로그램 토큰에 해당하는 향후 프로그램 상태 예측. 훈련 중에 이러한 의미 체계의 선형 표현은 훈련 단계에서 올바른 프로그램을 생성하는 LM의 기능과 병행하여 개발됩니다.

2. 이 연구는 표현에서 의미를 추출할 때 LM과 탐지기의 기여를 탐색하기 위한 새로운 중재 방법을 설계하고 평가했습니다. 특히, 이 연구는 다음 두 가지 질문 중 어느 것이 사실인지 분석하려고 시도합니다. (1) LM 표현에는 순수한(구문적) 사본이 포함되어 있는 반면 탐지기는 의미를 추론하기 위해 사본을 해석하는 방법을 학습합니다. (2) LM 표현에는 의미 체계 상태가 포함됩니다. 의미 상태에서 의미를 추출합니다. 실험 결과는 LM 표현이 실제로 원래의 의미론과 정렬되어 있음을 보여줍니다(일부 어휘 및 구문 내용을 인코딩하는 것이 아니라). 이는 가설 H2가 틀렸다는 것을 보여줍니다.

3. 이 연구는 LM의 출력이 훈련 분포와 다르다는 것을 보여줍니다. 특히 LM은 훈련 세트의 프로그램보다 더 짧은 프로그램을 생성하는 경향이 있습니다(그리고 여전히 정확합니다). 올바른 프로그램을 합성하는 LM의 능력은 향상되었지만 트레이닝 세트의 프로그램에 대한 LM의 난해함은 여전히 ​​높으며 이는 가설 H1이 틀렸다는 것을 나타냅니다.

전반적으로 본 연구는 프로그래밍 언어의 의미론을 기반으로 LM의 실증적 연구를 위한 프레임워크를 제안합니다. 이 접근 방식을 통해 기본 프로그래밍 언어의 정확한 형식적 의미론에서 개념을 정의, 측정 및 실험할 수 있으므로 현재 LM의 창발 기능을 이해하는 데 도움이 됩니다.

연구 배경

본 연구는 추적 의미론을 프로그램 의미 모델로 사용합니다. 프로그래밍 언어 이론의 기본 주제인 형식 의미론은 언어의 문자열에 의미론을 형식적으로 할당하는 방법을 연구합니다. 본 연구에서 사용된 의미론적 모델은 프로그램의 실행을 추적하는 것으로 구성됩니다. 입력 세트(즉, 변수 할당)가 주어지면 (구문론적) 프로그램의 의미는 표현식에서 계산된 의미론적 값으로 식별되며, 추적은 프로그램에 의해 생성된 일련의 중간 값 입력을 기반으로 실행됩니다.

프로그램 의미 모델에 추적 궤적을 사용하는 데에는 몇 가지 중요한 이유가 있습니다. 첫째, 코드 조각을 정확하게 추적하는 능력은 코드를 해석하는 능력과 직접적으로 관련됩니다. 둘째, 컴퓨터 과학 교육에서는 추적을 다음과 같이 강조합니다. 프로그램 개발을 이해하고 추론 오류를 찾는 열쇠 중요한 방법 셋째, 전문적인 프로그램 개발은 추적 기반 디버거(dbugger)에 의존합니다.

이 연구에 사용된 훈련 세트에는 무작위로 샘플링된 1백만 개의 Karel 프로그램이 포함되어 있습니다. 1970년대에 스탠포드 대학교를 졸업한 리치 패티스(Rich Pattis)는 학생들이 로봇에게 간단한 문제를 해결하도록 가르칠 수 있는 프로그래밍 환경을 설계했습니다. 이 로봇은 카렐(Karel) 로봇이라고 불렸습니다.

이 연구에서는 무작위 샘플링을 통해 학습 샘플의 참조 프로그램을 구성한 다음 무작위로 5개의 입력을 샘플링하고 프로그램을 실행하여 해당 5개의 출력을 얻습니다. LM은 샘플 코퍼스에 대해 다음 토큰 예측을 수행하도록 훈련되었습니다. 테스트 당시 본 연구에서는 LM에 입력 및 출력 접두어만 제공하고 그리디 디코딩을 사용하여 프로그램을 완성했습니다. 아래 그림 1은 실제 참조 프로그램과 훈련된 LM의 완성을 보여줍니다.

이 연구에서는 데이터 세트에 대한 다음 토큰 예측을 수행하기 위해 기성 Transformer 모델을 훈련했습니다. 64,000개의 훈련 단계와 약 1.5 epoch 후에 최종적으로 훈련된 LM은 테스트 세트에서 96.4%의 생성 정확도를 달성했습니다. 연구에서는 2000개의 훈련 단계마다 추적 데이터 세트를 캡처했습니다. 각 훈련 궤적 데이터 세트에 대해 이 연구는 선형 탐지기를 훈련하여 모델 상태가 주어진 프로그램 상태를 예측합니다.

의미의 출현

연구원들은 다음 가설을 연구했습니다. 다음 토큰 예측을 수행하기 위해 언어 모델을 훈련하는 과정에서 의미 상태의 표현이 모델 상태에 부산물로 나타날 것입니다. 최종 훈련된 언어 모델이 96.4%의 생성 정확도를 달성했다는 점을 고려하면 이 가설이 기각되면 H2와 일치합니다. 즉, 언어 모델은 일관되게 올바른 프로그램을 생성하기 위해 "오직" 표면 통계를 사용하도록 학습했습니다.

이 가설을 테스트하기 위해 연구원들은 섹션 2.2에서 설명한 대로 5개의 독립적인 4방향 작업(각 입력이 한 방향을 향함)으로 모델 상태에서 의미 상태를 추출하도록 선형 검출기를 훈련했습니다.

의미 출현은 생성 정확도와 양의 상관관계가 있습니다.

그림 2는 주요 결과를 보여줍니다. 첫 번째 관찰은 의미론적 콘텐츠가 무작위 추측의 기본 성능(25%)에서 시작하여 훈련 중에 크게 증가한다는 것입니다. 이 결과는 언어 모델의 숨겨진 상태가 실제로 의미 상태의 (선형) 인코딩을 포함하고 있으며 결정적으로 이 의미가 텍스트에 대한 다음 토큰 예측을 수행하는 데 순수하게 사용되는 언어 모델에서 나타난다는 것을 보여줍니다.

생성 정확도와 의미 내용 사이에 선형 회귀가 수행되었으며 두 가지 모두 훈련 단계에서 예상외로 강력하고 통계적으로 유의미한 선형 상관 관계를 나타냈습니다(R2 = 0.968, p

표현은 미래 프로그램 의미론의 예측입니다

이전 섹션에서는 언어 모델이 생성하는 텍스트의 의미를 표현할 수 있는지 여부를 논의했습니다. 이 논문의 결과는 언어 모델이 생성된 프로그램을 (추상적으로) 설명할 수 있다는 질문에 긍정적인 답변을 제공합니다. 그러나 통역사는 신디사이저와 동일하지 않으며, 이해하는 능력만으로는 생성하기에 충분하지 않습니다. 인간 언어의 출현에 관한 한, 언어는 마음 속의 비언어적 메시지에서 유래하고, 그 메시지가 원래의 개념을 반영하는 발화로 변환된다는 광범위한 합의가 있습니다. 연구자들은 훈련된 언어 모델의 생성 과정이 유사한 메커니즘을 따른다고 가정합니다. 즉, 언어 모델의 표현은 아직 생성되지 않은 텍스트의 의미를 인코딩합니다.

이 가설을 테스트하기 위해 그들은 모델 상태에서 파생된 미래 의미 상태를 예측하기 위해 위와 동일한 방법을 사용하여 선형 검출기를 훈련했습니다. 그리디 디코딩 전략을 사용하기 때문에 미래 의미 상태도 결정적이므로 작업이 잘 정의되어 있습니다.

그림 3은 다음 단계 1과 2의 의미 상태를 예측하는 선형 검출기의 성능을 보여줍니다(녹색 세그먼트 선은 "Semantic(+1)"을 나타내고 녹색 점선은 "Semantic(+2))을 나타냅니다. ") . 이전 결과와 유사하게 탐지기의 성능은 무작위 추측의 기준에서 시작된 후 훈련을 통해 크게 향상되었으며, 또한 미래 상태의 의미론적 내용이 훈련 단계에서 생성 정확도(파란색 선)와 강한 상관관계를 나타냄을 발견했습니다. .섹스. 의미 내용과 생성 정확도의 선형 회귀 분석을 통해 얻은 R2 값은 각각 0.919와 0.900으로 향후 1단계와 2단계의 의미 상태에 해당하며, 둘 다의 p값은 0.001보다 작다.

그들은 또한 모델의 표현이 현재 의미 상태만 인코딩하고 검출기는 현재 의미 상태로부터 미래 의미 상태를 예측한다는 가정도 고려했습니다. 이 가설을 테스트하기 위해 그들은 현재 프로그램의 실제 방향을 미래 프로그램의 4가지 방향 중 하나에 매핑하는 최적의 분류기를 계산했습니다.

5개 작업 중 3개 작업은 향한 방향을 유지하고 다음 토큰이 균일하게 샘플링된다는 점에 유의해야 합니다. 따라서 그들은 미래의 1단계 상황에 대해 미래 의미 상태를 예측하는 최적 분류기는 향하는 방향이 변하지 않을 것으로 예측하여 60%의 정확도를 달성해야 한다고 기대했습니다. 실제로 테스트 세트를 직접 피팅함으로써 현재 의미 상태에서 미래 의미 상태를 예측하는 상한은 각각 62.2%와 40.7%(미래로 향하는 사례 1과 2 단계에 해당)임을 발견했습니다. 이에 비해 검출기가 현재 상태를 올바르게 예측했다는 점을 고려하면 검출기는 미래 상태를 예측하는 데 68.4%와 61.0%의 정확도를 보였습니다.

이는 모델 상태에서 미래 의미 상태를 추출하는 탐지기의 능력이 현재 의미 상태 표현만으로는 추론될 수 없음을 보여줍니다. 따라서 그들의 결과는 언어 모델이 아직 생성되지 않은 토큰의 의미를 표현하는 방법을 학습한다는 것을 보여 주며, 이는 언어 모델이 의미를 학습할 수 없다는 생각을 거부하고(H2) 생성 프로세스가 순전히 표면 통계에 기반하지 않음을 보여줍니다. (H1).

생성된 출력은 훈련 분포와 다릅니다

다음으로 연구원들은 훈련된 언어 모델에 의해 생성된 프로그램 분포와 훈련 세트의 프로그램 분포를 비교하여 H1을 반박하는 증거를 제공합니다. H1이 성립하는 경우 언어 모델은 단순히 훈련 세트에 있는 텍스트의 통계적 상관 관계를 반복하기 때문에 두 분포가 대략 동일해야 한다고 예상합니다.

그림 6a는 훈련 세트에 있는 참조 프로그램의 평균 길이(빨간색 점선)와 비교하여 시간 경과에 따른 LM 생성 프로그램의 평균 길이(파란색 실선)를 보여줍니다. 그들은 통계적으로 유의미한 차이를 발견했는데, 이는 LM의 출력 분포가 훈련 세트의 프로그램 분포와 실제로 다르다는 것을 나타냅니다. 이는 LM이 훈련 데이터에서 통계적 상관관계만 복제할 수 있다는 H1의 요점과 모순됩니다.

마지막으로 훈련 세트 속 프로그램에 대한 LM의 당혹감이 시간이 지남에 따라 어떻게 변하는지 측정하기도 했습니다. 그림 6b는 결과를 보여줍니다. 보시다시피 LM은 훈련 세트의 프로그램 분포를 잘 맞추는 방법을 결코 배우지 못하며 이는 H1을 더욱 반박합니다. 이는 훈련 세트에서 무작위로 샘플링된 프로그램에 무작동 명령이 많이 포함되어 있는 반면 LM은 보다 간결한 프로그램 생성을 선호하기 때문일 수 있습니다. 흥미롭게도 LM이 모방 단계를 넘어서면서 당혹감이 급격히 증가하면 생성 정확도(및 의미론적 내용)가 향상되는 것으로 보입니다. 프로그램 동등성 문제는 프로그램 의미론과 밀접하게 관련되어 있으므로 짧고 정확한 프로그램을 생성하는 LM의 능력은 실제로 의미론의 일부 측면을 학습했음을 보여줍니다.

자세한 내용은 원문을 참고해주세요.

위 내용은 MIT에서는 대규모 언어 모델 ≠ 무작위 앵무새가 실제로 의미론을 학습할 수 있다는 증거가 있습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!