올해 영어 대학 입학 시험, CMU는 재구성 사전 훈련을 사용하여 GPT3를 크게 능가하는 134점의 높은 점수를 획득했습니다.

우리가 데이터를 저장하는 방식은 생물학적 신경망에서 인공 신경망으로 변화하고 있습니다. 실제로 가장 일반적인 상황은 뇌를 사용하여 데이터를 저장하는 것입니다. 오늘날 사용 가능한 데이터의 양이 계속 증가함에 따라 사람들은 하드 드라이브나 클라우드 스토리지와 같은 다양한 외부 장치를 사용하여 데이터를 저장하려고 합니다. 딥러닝 기술의 등장과 함께 인공신경망을 이용해 정보를 데이터에 저장하는 또 다른 유망 스토리지 기술이 등장했다.

연구원들은 데이터 저장의 궁극적인 목표는 인간의 삶에 더 나은 서비스를 제공하는 것이라고 믿으며, 데이터에 접근하는 방법도 저장 방법만큼 중요합니다. 그러나 데이터가 저장되고 액세스되는 방식에는 차이가 있습니다. 역사적으로 사람들은 세상에 존재하는 정보를 더 잘 활용하기 위해 이러한 격차를 해소하기 위해 노력해 왔습니다. 그림 3과 같이:

• 생물학적 신경망(예: 인간의 뇌) 측면에서 인간은 아주 어린 나이에 과정(예: 지식)을 통해 교육을 받기 때문에 특정 데이터를 추출하여 처리할 수 있습니다. 복잡한 삶의 변화.
• 외부 장치 저장의 경우 사람들은 일반적으로 특정 패턴(예: 테이블)에 따라 데이터를 구조화한 다음 특수 언어(예: SQL)를 사용하여 데이터베이스에서 필요한 정보를 효율적으로 검색합니다.
• 인공 신경망 기반 저장의 경우 연구원은 자기 지도 학습을 활용하여 대규모 말뭉치(예: 사전 훈련)의 데이터를 저장한 다음 다양한 다운스트림 작업(예: 감정 분류)에 네트워크를 사용합니다.

CMU의 연구원들은 모델 매개변수 최적화를 안내하기 위한 사전 훈련 신호 역할을 할 수 있는 다양한 유형의 정보가 포함된 데이터에 액세스하는 새로운 방법을 제안했습니다. 본 연구에서는 데이터를 신호 단위로 구조화된 방식으로 제시합니다. 이는 데이터베이스를 사용하여 데이터를 저장하는 시나리오와 유사합니다. 먼저 테이블이나 JSON 형식으로 구조화되므로 SQL과 같은 특수 언어를 통해 필요한 정확한 정보를 검색할 수 있습니다.

또한, 본 연구에서는 단순히 수동으로 선별된 지도 데이터 세트에 존재하는 것이 아니라, 세상의 모든 종류의 데이터에 가치 있는 신호가 풍부하게 존재한다고 믿습니다. 연구자가 해야 할 일은 (a) 데이터를 식별하고 (b) 통합된 데이터를 사용하는 것입니다. 언어 재구성 데이터(c)는 이를 사전 훈련된 언어 모델에 통합하여 저장합니다. 연구에서는 이러한 학습 패러다임을 RST(reStructured Pre-training)라고 부릅니다. 연구자들은 이 과정을 "광산의 보물찾기"에 비유했습니다. Wikipedia와 같은 다양한 데이터 소스는 보석이 풍부한 광산과 같습니다. 여기에는 모델 사전 학습을 위한 신호를 제공할 수 있는 하이퍼링크의 명명된 엔터티와 같은 풍부한 정보가 포함되어 있습니다. 우수한 사전 학습 모델(PLM)은 다운스트림 작업의 다양한 요구 사항에 따라 정확한 정보를 제공하기 위해 데이터의 다양한 신호 구성을 명확하게 이해해야 합니다.

논문 주소: https://arxiv.org/pdf/2206.11147.pdf

Pre-trained 언어 모델 보물 찾기

이 연구는 자연어 처리 작업 학습을 위한 새로운 패러다임을 제안합니다. 즉 RST, 이 패러다임은 데이터의 역할을 다시 강조하고 모델 사전 훈련 및 다운스트림 작업의 미세 조정을 데이터의 저장 및 액세스 프로세스로 처리합니다. 이를 바탕으로 본 연구에서는 간단한 원칙, 즉 좋은 저장 메커니즘은 대용량 데이터를 캐시할 수 있는 능력뿐만 아니라 접근의 편의성도 고려해야 한다는 것을 실현했습니다.

일부 엔지니어링 과제를 극복한 후 연구에서는 재구성된 데이터(원본 데이터 대신 다양한 가치 있는 정보로 구성됨)에 대한 사전 학습을 통해 이를 달성했습니다. 실험에 따르면 RST 모델은 다양한 NLP 작업(예: 분류, 정보 추출, 사실 검색, 텍스트 생성 등)의 52/55 인기 데이터 세트에서 최고의 기존 시스템(예: T0)보다 훨씬 뛰어난 성능을 발휘할 뿐만 아니라 다운스트림 작업을 미세 조정할 필요가 없습니다. 또한 매년 수백만 명의 학생들이 치르는 중국에서 가장 권위 있는 대학 입학 시험 영어 시험에서도 우수한 성적을 거두었습니다.

구체적으로, 본 글에서 제안하는 대학 입시 AI(Qin)는 1/16 매개변수를 사용하여 학생 평균 점수보다 40점 높고, GPT3보다 15점 더 높습니다. 특별한 진은 2018년 영어시험에서 138.5점(150점 만점)이라는 높은 점수를 받았습니다.

또한 연구에서는 2018~2021년(매년 확대 예정)의 주석이 달린 영어 시험지 10개가 포함된 Gaokao Benchmark 온라인 제출 플랫폼도 출시하여 더 많은 AI 모델이 대학 입시에 참여할 수 있도록 했습니다. 이 연구는 또한 우리가 현재 어디에 있는지 더 잘 이해할 수 있도록 인간과 AI 경쟁을 위한 상대적으로 공정한 테스트 플랫폼을 구축했습니다. 또 며칠 전(2022.06.08) 2022년 대학 입시 영어 시험에서 AI 시스템이 134점이라는 좋은 점수를 받은 반면, GPT3는 108점에 그쳤다.

이 연구의 주요 기여는 다음과 같습니다.

(1) NLP 방법의 진화 가설 제안. 본 연구는 현대 NLP 기술의 발전 사이의 본질적인 연관성을 탐구함으로써 전체적인 관점에서 "NLP 기술 진화 가설"을 확립하고자 한다. 간단히 말해서, 이 가설의 핵심 아이디어는 기술 반복이 항상 개발자가 더 좋고 더 다양한 시스템을 설계하기 위해 더 적은 노력을 하면 되는 방향으로 발전한다는 것입니다.

지금까지 NLP 기술의 진화는 그림 2와 같이 피쳐 엔지니어링 → 아키텍처 엔지니어링 → 타겟 엔지니어링 → 프롬프트 엔지니어링의 여러 반복을 거쳐 보다 실용적이고 효과적인 데이터 중심 엔지니어링으로 나아가고 있습니다. . 연구원들은 앞으로 더 많은 과학 연구자들이 이 문제에 대해 비판적으로 생각하고, 기술 진보의 핵심 원동력을 파악하고, 학문 발전을 위한 "점진적 상승" 경로를 찾고, 과학적으로 더 의미 있는 작업을 수행하도록 영감을 받기를 바랍니다.

(2) 진화 가설에 기초한 새로운 패러다임: 재구성된 사전 훈련. 이 패러다임은 모델 사전 훈련/미세 조정을 데이터 저장/액세스 프로세스로 취급하고 좋은 저장 메커니즘을 통해 의도한 데이터에 쉽게 액세스할 수 있어야 한다고 주장합니다. 이러한 새로운 패러다임을 통해 연구에서는 10개의 데이터 소스(예: Wikipedia)에서 전 세계 26가지 유형의 신호(예: 문장의 엔터티)를 통합할 수 있었습니다. 이를 기반으로 훈련된 일반 모델은 55개의 NLP 데이터 세트를 포함한 다양한 작업에 대한 강력한 일반화 기능을 달성했습니다.

(3) 대학 입시 AI. 본 연구에서는 위의 패러다임을 바탕으로 대학 입시 영어 시험 과제에 특화된 AI 시스템인 Qin을 개발했다. 딥러닝 기반의 세계 최초 대학 입시 영어 인공지능 시스템입니다. Qin은 수년 동안 대학 입학 시험 문제에서 뛰어난 결과를 얻었습니다. 일반 사람들보다 40점 더 높고, GPT-3 매개변수의 1/16만 사용하여 GPT-3보다 15점 더 높습니다. 특히 2018년 영어 시험 문제에서 QIN은 듣기와 독해 모두 만점을 받으며 138.5점(150점 만점)이라는 높은 점수를 받았습니다.

(4) 풍부한 리소스. (1) 인간 지능 달성에 있어 기존 AI 기술의 진행 상황을 추적하기 위해 연구에서는 새로운 벤치마크인 Gaokao Benchmark를 발표했습니다. 실제 시나리오에서 다양한 실제 작업과 영역에 대한 포괄적인 평가를 제공할 뿐만 아니라 AI 시스템을 인간과 직접 비교할 수 있도록 인간 성능 점수도 제공합니다. (2) 본 연구에서는 더 많은 AI 시스템이 Gaokao Benchmark에 쉽게 참여하고 자동으로 점수를 얻을 수 있도록 explainaBoard(Liu et al., 2021b)를 사용하여 Gaokao Benchmark의 대화형 리더보드를 설정했습니다. (3) 모든 리소스는 GitHub에서 찾을 수 있습니다.

또한, 대학 입시 영어 시험 과제에서 AI의 성공은 연구자들에게 많은 새로운 아이디어를 제공했습니다. AI 기술은 교육에 힘을 실어주고 교육 및 교육 분야의 일련의 문제를 해결하는 데 도움이 될 수 있습니다.

예를 들어, (a) 교사가 채점을 자동화하도록 돕고, (b) 학생들이 과제에 대한 질문에 답하고 자세히 설명하도록 돕고, (c) 더 중요한 것은 대부분의 가족이 동일한 수준의 교육을 받을 수 있도록 교육 형평성을 증진하는 역할을 합니다. 이 작업은 세계 각국의 26가지 서로 다른 신호를 최초로 통일된 방식으로 통합하고, 지도 데이터와 비지도 데이터를 구별하기보다는 자연이 우리에게 주는 정보를 우리가 얼마나, 어떻게 활용할 수 있는지에 대한 고민입니다. 다양한 NLP 작업의 50개 이상의 데이터 세트에 대한 뛰어난 성능은 데이터 중심 사전 훈련의 가치를 보여주고 더 많은 미래 탐색에 영감을 줍니다.

Refactoring Pre-training

NLP 작업 해결을 위한 패러다임은 빠르게 변화하고 있으며 여전히 계속되고 있습니다. 다음 표에는 NLP의 5가지 패러다임이 나열되어 있습니다.

본 연구에서는 기존의 모델 중심 디자인 패러다임과 달리, 기존 데이터의 활용도를 극대화하기 위해 데이터 관점에서 더 많이 생각합니다. 구체적으로 본 연구에서는 사전 훈련 단계를 데이터 저장 프로세스로 간주하고 사전 훈련된 모델을 기반으로 하는 다운스트림 작업(예: 감정 분류)을 데이터 액세스 프로세스로 간주하는 데이터 저장 및 액세스 관점을 채택합니다. 사전 훈련된 모델에서 좋은 데이터 저장 메커니즘은 저장된 데이터에 더 쉽게 접근할 수 있도록 해야 한다고 주장합니다.

이 목표를 달성하기 위해 이 연구는 데이터를 다양한 신호로 구성된 객체로 취급하며, 좋은 사전 훈련된 모델은 (1) 가능한 많은 신호 유형을 포괄하고, (2) 다운스트림 작업에서 필요할 때 다음을 제공해야 한다고 믿습니다. 이러한 신호에 대한 정확한 액세스 메커니즘. 일반적으로 이 새로운 패러다임은 재구성, 사전 훈련, 미세 조정의 세 단계로 구성됩니다.

재구성, 사전 훈련, 미세 조정의 새로운 패러다임은 데이터의 중요성을 강조하며, 연구자들은 데이터 처리에 더 많은 엔지니어링 에너지를 투자해야 합니다.

리팩토링 엔지니어링

신호 정의

신호는 기계 학습 모델에 대한 감독을 제공할 수 있는 데이터에 존재하는 유용한 정보로, n-튜플로 표현됩니다. 예를 들어, "Mozart는 잘츠부르크에서 태어났다", "Mozart" 및 "Salzburg"는 명명된 개체 인식을 위한 신호로 간주될 수 있습니다. 일반적으로 신호는 아래 그림 6과 같이 다양한 관점에서 클러스터링될 수 있습니다.

데이터 마이닝

실제 데이터에는 다양한 유형의 신호가 포함되어 있습니다. 사전 훈련을 재구성하면 이러한 신호를 완전히 활용할 수 있습니다. 연구에서는 수집된 신호(n-튜플)를 아래 그림 10과 같이 트리 다이어그램으로 구성했습니다.

신호 추출

연구의 다음 단계는 신호 추출 및 처리였으며, 여기에는 데이터 마이닝, 데이터 정리 및 데이터 정규화의 다양한 양식에서 원시 데이터를 얻는 것이 포함되었습니다. 기존 방법은 크게 (1) 규칙 기반과 (2) 기계 학습 기반의 두 가지 유형으로 나뉩니다. 이 연구에서 연구는 주로 규칙 기반 신호 추출 전략에 중점을 두고 있으며 향후 작업을 위해 더 높은 적용 범위의 방법을 남겨 둡니다.

Signal Reconstruction

다양한 데이터 마이닝에서 서로 다른 신호를 추출한 후 다음으로 중요한 단계는 사전 훈련 중에 모든 정보가 모델에 일관되게 저장되도록 이를 고정된 형태로 통합하는 것입니다. 프롬프트 방법(Brown et al., 2020; Liu et al., 2021d)은 이러한 목표를 달성할 수 있으며 원칙적으로 적절한 프롬프트 설계를 통해 거의 모든 유형의 신호를 언어 모델 스타일로 통합할 수 있습니다.

이 연구에서는 신호를 일반 신호와 작업 관련 신호라는 두 가지 주요 범주로 나누었습니다. 전자는 기본적인 언어 지식을 포함하고 있으며 모든 다운스트림 작업에 어느 정도 도움이 될 수 있는 반면, 후자는 일부 특정 다운스트림 작업에 도움이 될 수 있습니다.

일반적으로 사용되는 55개의 NLP 데이터 세트에 대한 실험

이 연구는 55개의 데이터 세트에 대해 평가된 다음 각각 GPT3 및 T0pp와 비교되었습니다. GPT3과의 비교 결과는 그림에 나와 있습니다. cb 데이터 세트를 제외한 4개의 데이터 세트에서 RST-All과 RST-Task 모두 GPT3의 Few-Shot 학습보다 Zero-Shot 성능이 더 좋습니다. 또한 cb 데이터 세트는 이러한 데이터 세트 중 가장 작으며 검증 세트에 샘플이 56개만 있으므로 이 데이터 세트에 대한 다양한 프롬프트의 성능이 크게 변동됩니다.

와 T0pp의 비교 결과는 표 4-6에 나와 있습니다. 예를 들어, 55개 측정의 평균 성능에서 RST-All은 49개 데이터 세트에서 T0pp를 능가하고 47/55개 예에서 최대 성능으로 승리합니다. 또한 55개 데이터 세트에 대한 평균 성능 테스트에서 RST-Task는 52개 데이터 세트에서 T0pp보다 성능이 뛰어나고 50/55 예에서 T0pp보다 성능이 뛰어납니다. 이는 재구성 학습의 우수성을 보여줍니다.

RST-Task는 어떤 작업을 잘하나요? 이 질문에 답하기 위해 본 연구에서는 제로 샘플 설정에서 RST-Task 모델의 성능을 현재 SOTA 모델과 비교하고 그 결과를 그림 13에 표시합니다. RST-Task는 주제 분류, 감정 분류, 자연어 추론 작업에는 좋지만 정보 추출 작업에서는 성능이 좋지 않습니다.

대학 입시 실험: 인간 수준의 AI를 향하여

본 연구에서는 2018년 국가고시 I/III, 2019년 국가고시 I/II/III, 2020년 등 10개의 대학 입시 영어 시험지를 수집했습니다. 국가 시험 I /II/III, 2021 국가 볼륨 A/B. 이 시험들은 동일한 질문 패턴을 따르며 모든 시험 문제 유형을 표 7에 표시된 대로 다음 7개의 하위 범주로 나눕니다.

각 대학 입학 시험 영어 시험은 150점 만점의 가치가 있습니다. 듣기, 클로즈, 읽기, 쓰기는 각각 30점, 45점, 40점, 35점으로 나타났다. 일반적으로 쓰기 섹션은 주관적이며 사람의 평가가 필요한 반면, 다른 섹션은 객관적이고 자동으로 채점될 수 있습니다. 표 8에 표시된 대로:

표 1에 표시된 재구성 엔지니어링 사이클을 사용하여 대학 입시 영어 AI 시스템, 즉 Qin을 구축합니다. 전체 프로세스는 그림 14에 나와 있습니다.

이 연구에서는 표 9에 표시된 대로 원래 신호 튜플을 프롬프트 샘플로 변환하기 위해 다음 프롬프트를 사용합니다.

실험 결과는 표 10-11에 나와 있습니다. 각 영어 시험에서 RST는 두 세트의 듣기 테스트에서 T0pp에 비해 평균 130.6점으로 가장 높은 총점을 획득했습니다. , 동일한 모델 크기에서 RST의 성능이 T0pp보다 훨씬 우수합니다. 모든 설정에서 RST가 얻은 총 점수는 T0pp보다 평균 54.5점 더 높으며, 가장 높은 차이는 GPT3와 비교하여 69점(총 점수의 46%)입니다. RST는 모델 크기가 16배인 상당한 결과를 얻을 수 있습니다. 더 작은 결과. 고려된 모든 설정에서 RST로 얻은 총 점수는 T0pp보다 평균 14.0점 높았으며, T0pp의 경우 최대 26점(총 점수의 17%)이었습니다. 듣기 점수는 gold와 speech-to를 사용하여 얻었습니다. -텍스트 성적표는 평균 4.2점으로 크게 달랐습니다. 이에 비해 GPT3과 RST는 각각 0.6과 0.45로 T0pp의 성능이 텍스트 품질에 민감하다는 것을 나타냅니다.

이 연구는 다양한 문제 하위 범주에 대한 다양한 모델의 성능을 이해하기 위해 세부적인 분석을 수행했습니다. 그림 15-(a)에서는 RST와 GPT3가 모든 문제 하위 범주에서 T0pp보다 성능이 뛰어나다는 것이 분명합니다.

그림 15-(b)는 모델의 성능과 최근 몇 년간 국가 시험에서 학생들의 평균 성능을 보여줍니다. 9/10 시험에서 T0pp의 전체 점수는 학생 평균보다 낮은 반면 RST 및 GPT3 성적은 학생 평균을 초과한다는 것이 분명합니다. 특히, 10편의 논문 중 5편의 전체 RST 점수가 130점(학생들이 목표로 삼는 목표 점수로 간주되는 경우가 많음)을 넘었습니다.

2022년 대학입시 영어시험(2022.06.08)이 막 종료되었고, 최근 1년간의 대학입시 서류에서 모델의 활약에 대해 알게 되었습니다. 본 연구에서는 GPT3와 RST를 이용하여 실험을 수행하였다. 결과는 총 RST 점수가 134에 도달한 것으로 나타났으며 이는 GPT3에서 달성한 108 점수보다 훨씬 높습니다.

위 내용은 올해 영어 대학 입학 시험, CMU는 재구성 사전 훈련을 사용하여 GPT3를 크게 능가하는 134점의 높은 점수를 획득했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!