BERT 이후 연구자들은 대규모 사전 훈련 모델의 잠재력을 발견했으며 다양한 사전 훈련 작업, 모델 아키텍처, 훈련 전략 등이 제안되었습니다. 그러나 BERT 유형 모델에는 일반적으로 두 가지 주요 단점이 있습니다. 하나는 레이블이 지정된 데이터에 과도하게 의존하고 다른 하나는 과도하게 적합하다는 것입니다.
구체적으로 현재 언어 모델은 사전 훈련 + 다운스트림 작업 미세 조정이라는 2단계 프레임워크를 갖는 경향이 있습니다. 그러나 다운스트림 작업을 위한 미세 조정 과정에서는 많은 수의 샘플이 필요합니다. 그렇지 않으면 효과가 매우 낮습니다. 그러나 데이터에 레이블을 지정하는 데 비용이 많이 듭니다. 레이블이 지정된 데이터도 제한되어 있으며 모델은 훈련 데이터 분포에만 적합할 수 있습니다. 그러나 데이터가 적으면 과적합이 발생하기 쉬워 모델의 일반화 능력이 저하됩니다.
대형 모델의 선구자로서 대규모 사전 학습된 언어 모델, 특히 GPT-3은 놀라운 ICL(In-Context Learning) 기능을 보여주었습니다. 추가 매개변수 업데이트가 필요한 미세 조정과 달리 ICL은 몇 가지 데모 "입력-레이블" 쌍만 필요하며 모델은 보이지 않는 입력 레이블에 대해서도 레이블을 예측할 수 있습니다. 많은 다운스트림 작업에서 대형 GPT 모델은 감독된 미세 조정을 사용하는 일부 소형 모델을 능가할 정도로 상당히 좋은 성능을 달성할 수 있습니다.
ICL이 그렇게 잘 수행되는 이유는 무엇입니까? OpenAI의 70페이지가 넘는 논문 "Language Models are Few-Shot Learners"에서 그들은 GPT-3가 더 적은 도메인 데이터를 사용하고 벌금이 부과되지 않도록 할 목적으로 ICL을 탐색했습니다. 문제를 해결하기 위해 튜닝합니다.
아래 그림과 같이 ICL에는 세 가지 범주가 있습니다. 여러 예제와 하나의 작업 설명만 입력할 수 있는 Few-shot 학습; 하나의 예제와 하나의 작업 설명만 입력할 수 있는 One-shot 학습 ; 제로샷 학습, 예시는 허용되지 않으며 작업 설명은 하나만 허용됩니다. 결과는 ICL이 역전파를 요구하지 않으며 GPT-3가 답변을 출력하도록 유도하기 위해 입력 텍스트의 컨텍스트에 적은 수의 레이블이 지정된 샘플만 배치하면 된다는 것을 보여줍니다.
GPT-3 상황별 학습
실험을 통해 GPT-3가 Few-shot:
에서 매우 잘 작동함을 입증했습니다.
GPT를 사용할 수 있는 이유 In-Context에서 공부하시나요?
ICL은 성능 면에서 큰 성공을 거두었지만 작동 메커니즘은 여전히 연구해야 할 미해결 문제입니다. ICL의 작동 방식을 더 잘 이해하기 위해 다음으로 북경대학교, 칭화대학교 및 기타 기관의 연구에서 ICL을 설명하는 방법을 소개합니다.
- 문서 주소: https://arxiv.org/pdf/2212.10559v2.pdf
- 프로젝트 주소: https://github.com/microsoft/LMOps
한 네티즌의 말을 요약하면 다음과 같습니다. "이 작업은 GPT가 특정 실행을 수행하기 위해 내부 최적화를 사용하는 방법을 자연스럽게 학습한다는 것을 보여줍니다. 또한 이 연구는 In-Context Learning과 명시적 미세 조정이 ICL의 작동 방식을 더 잘 이해하기 위해 본 연구에서는 언어 모델을 메타 최적화 도구로 해석하고 ICL을 메타 최적화 프로세스로 해석하며 ICL을 암시적 미세 조정으로 이해하고 GPT- 기반의 ICL 및 미세 조정. 이론적으로 이 연구에서는 Transformer의 Attention이 경사하강법을 기반으로 한 이중 최적화 형태를 가지고 있음을 발견했습니다.
이를 바탕으로 본 연구에서는 ICL을 설명하는 새로운 관점을 제안합니다. GPT는 먼저 데모 사례를 기반으로 메타 그라데이션을 생성한 다음 이러한 메타 그라데이션을 원본 GPT에 적용하여 ICL 모델을 구축합니다.
그림 1에서 볼 수 있듯이 ICL과 명시적 미세 조정은 경사하강법을 기반으로 하는 이중 최적화 형식을 공유합니다. 유일한 차이점은 ICL이 순방향 계산을 통해 메타 기울기를 생성하는 반면 미세 조정은 역전파를 통해 기울기를 계산한다는 것입니다. 따라서 ICL을 일종의 암시적 미세 조정으로 이해하는 것이 합리적입니다.
ICR은 암시적 미세 조정을 수행합니다.
본 연구에서는 우선 경사 하강 기반 최적화와의 차이점을 알아보기 위해 편안한 선형 주의 형태의 Transformer attention을 정성적으로 분석했습니다. . 그런 다음 연구에서는 ICL을 명시적 미세 조정과 비교하고 이 두 가지 형태의 최적화 사이의 연결을 설정합니다. 이러한 이론적 발견을 바탕으로 그들은 ICL을 암묵적인 미세 조정으로 이해할 것을 제안합니다.
우선, 이 연구는 Transforme attention을 메타 최적화로 간주하고 ICL을 메타 최적화 프로세스로 해석합니다. (1) Transformer를 메타 최적화 도구로 기반으로 하는 사전 훈련된 언어 모델; 인스턴스 기반 계산 메타 그라데이션을 생성합니다. (3) ICL 구축에 주의를 기울여 원본 언어 모델에 메타 그라데이션을 적용합니다.
다음은 ICL과 Fine-tuning의 비교입니다. 다양한 설정에서 ICL은 미세 조정과 많은 속성을 공유한다는 연구 결과가 나왔습니다. 그들은 다음 네 가지 측면에서 이러한 공통점을 구성합니다. 둘 다 동일한 훈련 정보를 수행하고 주의를 중심으로 진행됩니다.
ICL과 미세 조정의 이러한 공통 속성을 모두 고려하면 본 연구에서는 ICL을 암시적 미세 조정으로 이해하는 것이 합리적이라고 믿습니다. 본 논문의 나머지 부분에서는 이러한 이해를 뒷받침하는 정량적 결과를 제공하기 위해 다양한 측면에서 ICL과 미세 조정을 경험적으로 비교합니다.
실험 결과
이 연구에서는 실제 작업을 기반으로 ICL의 동작과 명시적 미세 조정을 종합적으로 비교하기 위해 일련의 실험을 수행했으며, 6가지 분류 작업에 대해 ICL과 미세 조정 설정에서 사전 훈련된 GPT를 비교했습니다. 예측 사례, 주의 출력 및 주의 점수에 대해 설명합니다. 예상한 대로 ICL은 예측, 표현 및 주의 수준 측면에서 명시적 미세 조정과 매우 유사합니다. 이러한 결과는 이러한 타당성을 강력하게 뒷받침합니다. ICL은 암시적 미세 조정을 수행합니다.또한, 본 연구에서는 메타 최적화 이해에 영감을 받아 운동량 기반 경사 하강 알고리즘과 유사하게 운동량 기반 주의를 설계했습니다. 이는 지속적으로 바닐라 어텐션의 성능을 능가합니다.
표 2는 6개 분류 데이터 세트에 대한 ZSL(Zero-Shot Learning), ICL 및 미세 조정(FT) 설정의 검증 정확도를 보여줍니다. ICL과 미세 조정 모두 ZSL에 비해 상당한 개선을 이루었습니다. 즉, 최적화가 이러한 다운스트림 작업에 도움이 된다는 것을 의미합니다. 또한 이 연구에서는 ICL이 몇 번의 샷 시나리오에서 미세 조정보다 더 나은 성능을 발휘한다는 사실을 발견했습니다.
6개 데이터세트에 대한 2개 GPT 모델의 Rec2FTP 점수가 표 3에 나와 있습니다. 평균적으로 ICL은 미세 조정으로 수정할 수 있는 ZSL 예제의 87.64%를 정확하게 예측할 수 있습니다. 이러한 결과는 예측 수준에서 ICL이 올바른 미세 조정 동작의 대부분을 다룰 수 있음을 나타냅니다.
표 3은 또한 6개 데이터세트에 대한 2개 GPT 모델의 예시 및 레이어에 대한 평균 SimAOU 점수를 보여줍니다. 비교를 위해 이 연구에서는 ICL 업데이트와 무작위로 생성된 업데이트 간의 유사성을 계산하는 기준 지표(Random SimAOU)도 제공합니다. 표에서 볼 수 있듯이 ICL 업데이트는 무작위 업데이트보다 미세 조정 업데이트와 더 유사합니다. 이는 표현 수준에서 ICL이 미세 조정 변경 방향으로 주의 결과를 변경하는 경향이 있음을 의미합니다.
마지막으로 표 3은 6개 데이터세트에 대한 2개 GPT 모델의 예시와 레이어에 대한 평균 SimAM 점수도 보여줍니다. SimAM의 기준 지표로서 ZSL SimAM은 ICL 주의 가중치와 ZSL 주의 가중치 간의 유사성을 계산합니다. 연구에서는 두 측정항목을 비교함으로써 ICL이 ZSL에 비해 미세 조정과 유사한 주의 가중치를 생성할 가능성이 더 높다는 사실을 발견했습니다. 또한 주의집중 행동 수준에서 이 연구는 ICL이 넛지처럼 행동한다는 것을 보여줍니다.
ICL과 미세 조정 간의 유사점을 보다 철저하게 탐색하기 위해 이 연구에서는 다양한 계층에 대한 SimAOU와 SimAM 점수를 비교했습니다. 각 데이터 세트에서 50개의 검증 예제를 무작위로 샘플링하여 SimAOU 및 SimAM 상자 그림이 각각 아래 그림 2 및 그림 3에 표시된 대로 그려졌습니다.
SimAOU와 SimAM은 낮은 수준에서 변동하고 높은 수준에서 더 안정적인 경향이 있다는 것을 그림에서 확인할 수 있습니다. 이러한 현상은 ICL이 수행하는 메타 최적화가 순방향 누적 효과를 가지며, 누적이 증가할수록 ICL이 상위 계층을 미세 조정하는 것처럼 동작함을 보여줍니다.
Summary
요약하자면, 이 글은 GPT 기반 ICL의 작동 메커니즘을 설명하는 것을 목표로 합니다. 이론적으로 본 연구는 ICL의 이중 형태를 찾아내고 ICL을 메타 최적화 과정으로 이해하는 것을 제안한다. 또한, 이 연구는 ICL과 특정 미세 조정 설정 사이의 연관성을 확립하여 ICL을 암시적 미세 조정으로 간주하는 것이 합리적임을 확인했습니다. 본 연구에서는 ICL이 수행하는 암시적 미세 조정에 대한 이해를 돕기 위해 ICL의 동작과 실제 작업 기반 미세 조정을 종합적으로 비교합니다. ICL은 명시적 미세 조정과 유사하다는 것이 밝혀졌습니다.
또한 이 연구는 메타 최적화에서 영감을 받아 지속적인 성능 향상을 달성하기 위해 모멘텀 기반 주의를 설계했습니다. 저자는 이 연구가 더 많은 사람들이 ICL 응용 프로그램 및 모델 설계에 대한 통찰력을 얻는 데 도움이 되기를 바랍니다.
위 내용은 GPT를 기반으로 하는 실시간 학습이 작동하는 이유는 무엇인가요? 모델은 비밀리에 경사하강법을 수행합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

1 前言在发布DALL·E的15个月后,OpenAI在今年春天带了续作DALL·E 2,以其更加惊艳的效果和丰富的可玩性迅速占领了各大AI社区的头条。近年来,随着生成对抗网络(GAN)、变分自编码器(VAE)、扩散模型(Diffusion models)的出现,深度学习已向世人展现其强大的图像生成能力;加上GPT-3、BERT等NLP模型的成功,人类正逐步打破文本和图像的信息界限。在DALL·E 2中,只需输入简单的文本(prompt),它就可以生成多张1024*1024的高清图像。这些图像甚至

“Making large models smaller”这是很多语言模型研究人员的学术追求,针对大模型昂贵的环境和训练成本,陈丹琦在智源大会青源学术年会上做了题为“Making large models smaller”的特邀报告。报告中重点提及了基于记忆增强的TRIME算法和基于粗细粒度联合剪枝和逐层蒸馏的CofiPruning算法。前者能够在不改变模型结构的基础上兼顾语言模型困惑度和检索速度方面的优势;而后者可以在保证下游任务准确度的同时实现更快的处理速度,具有更小的模型结构。陈丹琦 普

Wav2vec 2.0 [1],HuBERT [2] 和 WavLM [3] 等语音预训练模型,通过在多达上万小时的无标注语音数据(如 Libri-light )上的自监督学习,显著提升了自动语音识别(Automatic Speech Recognition, ASR),语音合成(Text-to-speech, TTS)和语音转换(Voice Conversation,VC)等语音下游任务的性能。然而这些模型都没有公开的中文版本,不便于应用在中文语音研究场景。 WenetSpeech [4] 是

由于复杂的注意力机制和模型设计,大多数现有的视觉 Transformer(ViT)在现实的工业部署场景中不能像卷积神经网络(CNN)那样高效地执行。这就带来了一个问题:视觉神经网络能否像 CNN 一样快速推断并像 ViT 一样强大?近期一些工作试图设计 CNN-Transformer 混合架构来解决这个问题,但这些工作的整体性能远不能令人满意。基于此,来自字节跳动的研究者提出了一种能在现实工业场景中有效部署的下一代视觉 Transformer——Next-ViT。从延迟 / 准确性权衡的角度看,

3月27号,Stability AI的创始人兼首席执行官Emad Mostaque在一条推文中宣布,Stable Diffusion XL 现已可用于公开测试。以下是一些事项:“XL”不是这个新的AI模型的官方名称。一旦发布稳定性AI公司的官方公告,名称将会更改。与先前版本相比,图像质量有所提高与先前版本相比,图像生成速度大大加快。示例图像让我们看看新旧AI模型在结果上的差异。Prompt: Luxury sports car with aerodynamic curves, shot in a

人工智能就是一个「拼财力」的行业,如果没有高性能计算设备,别说开发基础模型,就连微调模型都做不到。但如果只靠拼硬件,单靠当前计算性能的发展速度,迟早有一天无法满足日益膨胀的需求,所以还需要配套的软件来协调统筹计算能力,这时候就需要用到「智能计算」技术。最近,来自之江实验室、中国工程院、国防科技大学、浙江大学等多达十二个国内外研究机构共同发表了一篇论文,首次对智能计算领域进行了全面的调研,涵盖了理论基础、智能与计算的技术融合、重要应用、挑战和未来前景。论文链接:https://spj.scien

译者 | 李睿审校 | 孙淑娟近年来, Transformer 机器学习模型已经成为深度学习和深度神经网络技术进步的主要亮点之一。它主要用于自然语言处理中的高级应用。谷歌正在使用它来增强其搜索引擎结果。OpenAI 使用 Transformer 创建了著名的 GPT-2和 GPT-3模型。自从2017年首次亮相以来,Transformer 架构不断发展并扩展到多种不同的变体,从语言任务扩展到其他领域。它们已被用于时间序列预测。它们是 DeepMind 的蛋白质结构预测模型 AlphaFold

说起2010年南非世界杯的最大网红,一定非「章鱼保罗」莫属!这只位于德国海洋生物中心的神奇章鱼,不仅成功预测了德国队全部七场比赛的结果,还顺利地选出了最终的总冠军西班牙队。不幸的是,保罗已经永远地离开了我们,但它的「遗产」却在人们预测足球比赛结果的尝试中持续存在。在艾伦图灵研究所(The Alan Turing Institute),随着2022年卡塔尔世界杯的持续进行,三位研究员Nick Barlow、Jack Roberts和Ryan Chan决定用一种AI算法预测今年的冠军归属。预测模型图


핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

mPDF
mPDF는 UTF-8로 인코딩된 HTML에서 PDF 파일을 생성할 수 있는 PHP 라이브러리입니다. 원저자인 Ian Back은 자신의 웹 사이트에서 "즉시" PDF 파일을 출력하고 다양한 언어를 처리하기 위해 mPDF를 작성했습니다. HTML2FPDF와 같은 원본 스크립트보다 유니코드 글꼴을 사용할 때 속도가 느리고 더 큰 파일을 생성하지만 CSS 스타일 등을 지원하고 많은 개선 사항이 있습니다. RTL(아랍어, 히브리어), CJK(중국어, 일본어, 한국어)를 포함한 거의 모든 언어를 지원합니다. 중첩된 블록 수준 요소(예: P, DIV)를 지원합니다.

SublimeText3 Linux 새 버전
SublimeText3 Linux 최신 버전

SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)

DVWA
DVWA(Damn Vulnerable Web App)는 매우 취약한 PHP/MySQL 웹 애플리케이션입니다. 주요 목표는 보안 전문가가 법적 환경에서 자신의 기술과 도구를 테스트하고, 웹 개발자가 웹 응용 프로그램 보안 프로세스를 더 잘 이해할 수 있도록 돕고, 교사/학생이 교실 환경 웹 응용 프로그램에서 가르치고 배울 수 있도록 돕는 것입니다. 보안. DVWA의 목표는 다양한 난이도의 간단하고 간단한 인터페이스를 통해 가장 일반적인 웹 취약점 중 일부를 연습하는 것입니다. 이 소프트웨어는

PhpStorm 맥 버전
최신(2018.2.1) 전문 PHP 통합 개발 도구
