찾다
기술 주변기기일체 포함처음부터 새로 제작된 DeepMind의 새 논문에서는 Transformer를 의사 코드로 자세히 설명합니다.

Transformer는 2017년에 탄생하여 Google이 "Attention is all you need"라는 논문에 소개했습니다. 이 논문에서는 이전 딥러닝 작업에 사용된 CNN과 RNN을 포기합니다. 이 획기적인 연구는 시퀀스 모델링과 RNN을 동일시하던 이전의 생각을 뒤집었고, 현재 NLP에서 널리 사용되고 있습니다. 널리 사용되는 GPT, BERT 등은 모두 Transformer를 기반으로 구축되었습니다.

Transformer 도입 이후 연구자들은 다양한 변형을 제안했습니다. 하지만 Transformer에 대한 모든 사람의 설명은 아키텍처를 구두 형식, 그래픽 설명 등으로 소개하는 것 같습니다. Transformer의 의사코드 설명에 사용할 수 있는 정보가 거의 없습니다.

다음 구절에 표현되어 있습니다. AI 분야의 매우 유명한 연구자가 자신이 생각하기에 매우 잘 쓰여진 논문을 유명한 복잡성 이론가에게 보낸 적이 있습니다. 이론가의 대답은 다음과 같습니다. 논문에서 어떤 정리도 찾을 수 없습니다. 논문이 무엇에 관한 것인지 모르겠습니다.

실무자의 경우 논문이 충분히 자세할 수 있지만 이론가의 경우 일반적으로 더 높은 정밀도가 필요합니다. 어떤 이유로 DL 커뮤니티는 신경망 모델에 의사 코드를 제공하는 것을 꺼려하는 것 같습니다.

현재 DL 커뮤니티에는 다음과 같은 문제가 있는 것 같습니다.

DL 출판물에는 과학적 정확성과 세부 사항이 부족합니다. 딥러닝은 지난 5~10년 동안 매년 수천 편의 논문이 출판될 정도로 큰 성공을 거두었습니다. 많은 연구자들은 이전 모델을 수정한 방법을 비공식적으로만 설명하며, 비공식적인 모델 설명 몇 줄만 포함된 100페이지가 넘는 논문을 사용합니다. 기껏해야 일부 고급 다이어그램, 의사 코드, 방정식, 모델의 정확한 해석에 대한 언급이 없습니다. 어느 누구도 유명한 Transformer와 그 인코더/디코더 변형에 대한 의사 코드를 제공하지 않습니다.

소스 코드 및 의사 코드. 오픈 소스 소스 코드는 매우 유용하지만 수천 줄의 실제 소스 코드와 비교할 때 잘 설계된 의사 코드는 일반적으로 한 페이지보다 적으며 여전히 본질적으로 완전합니다. 누구도 하고 싶지 않은 힘든 일 같았어요.

훈련 과정을 설명하는 것도 마찬가지로 중요하지만 때로는 논문에서 모델의 입력과 출력이 무엇인지, 잠재적인 부작용이 무엇인지 언급조차 하지 않습니다. 논문의 실험 섹션에서는 알고리즘에 무엇이 어떻게 입력되는지 설명하지 않는 경우가 많습니다. 방법 섹션에 몇 가지 설명이 있는 경우 실험 섹션에 설명된 내용과 연결이 끊어지는 경우가 많습니다. 아마도 작성자마다 다른 섹션을 작성했기 때문일 것입니다.

어떤 사람들은 다음과 같이 질문할 수 있습니다. 의사코드가 정말 필요한가요?

DeepMind 연구원들은 의사코드를 제공하면 기사를 읽거나 실제 코드 1000줄을 스크롤하는 것과 비교할 때 의사코드가 모든 중요한 내용을 한 페이지에 압축하여 새로운 변형을 더 쉽게 개발할 수 있다고 믿습니다. 이를 위해 그들은 최근 Transformer 아키텍처를 완전하고 수학적으로 정확한 방식으로 설명하는 "Transformal Algorithms for Transformers"라는 논문을 발표했습니다.

논문 소개

이 기사에서는 Transformer가 무엇인지, Transformer가 훈련되는 방법, Transformer가 사용되는 용도, Transformer의 주요 아키텍처 구성 요소 및 더 유명한 모델의 미리보기를 다룹니다.

처음부터 새로 제작된 DeepMind의 새 논문에서는 Transformer를 의사 코드로 자세히 설명합니다.

논문 주소: https://arxiv.org/pdf/2207.09238.pdf

그러나 이 기사를 읽으려면 독자는 기본 ML 용어와 간단한 신경망 아키텍처에 익숙해야 합니다. (예: MLP) ). 독자의 경우 기사의 내용을 이해한 후 Transformer에 대해 확실히 이해하고 의사 코드를 사용하여 자체 Transformer 변형을 구현할 수 있습니다.

이 문서의 주요 부분은 3-8장으로, Transformer와 그 일반적인 작업, 토큰화, Transformer의 아키텍처 구성, Transformer 훈련 및 추론, 실제 적용을 소개합니다.

처음부터 새로 제작된 DeepMind의 새 논문에서는 Transformer를 의사 코드로 자세히 설명합니다.

논문에서 기본적으로 완전한 의사 코드는 약 50줄인 반면 실제 실제 소스 코드는 수천 줄입니다. 논문에서 알고리즘을 설명하는 의사코드는 간결하고 완전하며 정확한 공식이 필요한 이론 연구자, Transformer를 처음부터 구현하는 실험 연구자에게 적합하며, 정식 Transformer 알고리즘을 사용하여 논문이나 교과서를 확장하는 데에도 유용합니다.

처음부터 새로 제작된 DeepMind의 새 논문에서는 Transformer를 의사 코드로 자세히 설명합니다.

논문에 나온 의사코드 예제

기본 ML 용어와 간단한 신경망 아키텍처(예: MLP)에 익숙한 초보자를 위해 이 백서는 Transformer의 탄탄한 기초를 익히고 이를 사용하는 데 도움이 될 것입니다. 자신만의 Transformer 모델을 구현하기 위한 의사코드 템플릿입니다.

저자 소개

본 논문의 제1저자는 올해 3월 딥마인드에 정식 합류한 연구원 Mary Phuong입니다. 그녀는 오스트리아 과학 기술 연구소에서 박사 학위를 취득했으며 주로 기계 학습에 대한 이론적 연구에 종사했습니다.

처음부터 새로 제작된 DeepMind의 새 논문에서는 Transformer를 의사 코드로 자세히 설명합니다.

이 논문의 또 다른 저자는 DeepMind의 선임 연구원이자 호주 국립 대학교(ANU) 컴퓨터 과학 연구소(RSCS)의 명예 교수인 Marcus Hutter입니다.

처음부터 새로 제작된 DeepMind의 새 논문에서는 Transformer를 의사 코드로 자세히 설명합니다.

Marcus Hutter는 수년 동안 인공 지능의 수학적 이론에 대한 연구에 참여해 왔습니다. 이 연구 분야는 강화 학습, 확률 이론, 알고리즘 정보 이론, 최적화, 검색 및 계산 이론을 포함한 여러 수학 및 계산 과학 개념을 기반으로 합니다. 그의 책인 General Artificial Intelligence: Sequential Decision-Making on Algorithmic Probability는 2005년에 출판되었으며 매우 기술적이고 수학적인 책입니다.

2002년 Marcus Hutter는 Jurgen Schmidhuber 및 Shane Legg와 함께 이상화된 에이전트와 보상 강화 학습을 기반으로 하는 인공 지능 AIXI의 수학적 이론을 제안했습니다. 2009년에 Marcus Hutter는 특징 강화 학습 이론을 제안했습니다.

위 내용은 처음부터 새로 제작된 DeepMind의 새 논문에서는 Transformer를 의사 코드로 자세히 설명합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명
이 기사는 51CTO.COM에서 복제됩니다. 침해가 있는 경우 admin@php.cn으로 문의하시기 바랍니다. 삭제
Python 文本终端 GUI 框架,太酷了Python 文本终端 GUI 框架,太酷了Apr 12, 2023 pm 12:52 PM

Curses首先出场的是 Curses[1]。CurseCurses 是一个能提供基于文本终端窗口功能的动态库,它可以: 使用整个屏幕 创建和管理一个窗口 使用 8 种不同的彩色 为程序提供鼠标支持 使用键盘上的功能键Curses 可以在任何遵循 ANSI/POSIX 标准的 Unix/Linux 系统上运行。Windows 上也可以运行,不过需要额外安装 windows-curses 库:pip install windows-curses 上面图片,就是一哥们用 Curses 写的 俄罗斯

五个方便好用的Python自动化脚本五个方便好用的Python自动化脚本Apr 11, 2023 pm 07:31 PM

相比大家都听过自动化生产线、自动化办公等词汇,在没有人工干预的情况下,机器可以自己完成各项任务,这大大提升了工作效率。编程世界里有各种各样的自动化脚本,来完成不同的任务。尤其Python非常适合编写自动化脚本,因为它语法简洁易懂,而且有丰富的第三方工具库。这次我们使用Python来实现几个自动化场景,或许可以用到你的工作中。1、自动化阅读网页新闻这个脚本能够实现从网页中抓取文本,然后自动化语音朗读,当你想听新闻的时候,这是个不错的选择。代码分为两大部分,第一通过爬虫抓取网页文本呢,第二通过阅读工

用Python写了个小工具,再复杂的文件夹,分分钟帮你整理!用Python写了个小工具,再复杂的文件夹,分分钟帮你整理!Apr 11, 2023 pm 08:19 PM

糟透了我承认我不是一个爱整理桌面的人,因为我觉得乱糟糟的桌面,反而容易找到文件。哈哈,可是最近桌面实在是太乱了,自己都看不下去了,几乎占满了整个屏幕。虽然一键整理桌面的软件很多,但是对于其他路径下的文件,我同样需要整理,于是我想到使用Python,完成这个需求。效果展示我一共为将文件分为9个大类,分别是图片、视频、音频、文档、压缩文件、常用格式、程序脚本、可执行程序和字体文件。# 不同文件组成的嵌套字典 file_dict = { '图片': ['jpg','png','gif','webp

用 WebAssembly 在浏览器中运行 Python用 WebAssembly 在浏览器中运行 PythonApr 11, 2023 pm 09:43 PM

长期以来,Python 社区一直在讨论如何使 Python 成为网页浏览器中流行的编程语言。然而网络浏览器实际上只支持一种编程语言:JavaScript。随着网络技术的发展,我们已经把越来越多的程序应用在网络上,如游戏、数据科学可视化以及音频和视频编辑软件。这意味着我们已经把繁重的计算带到了网络上——这并不是JavaScript的设计初衷。所有这些挑战提出了对新编程语言的需求,这种语言可以提供快速、可移植、紧凑和安全的代码执行。因此,主要的浏览器供应商致力于实现这个想法,并在2017年向世界推出

从头开始构建,DeepMind新论文用伪代码详解Transformer从头开始构建,DeepMind新论文用伪代码详解TransformerApr 09, 2023 pm 08:31 PM

2017 年 Transformer 横空出世,由谷歌在论文《Attention is all you need》中引入。这篇论文抛弃了以往深度学习任务里面使用到的 CNN 和 RNN。这一开创性的研究颠覆了以往序列建模和 RNN 划等号的思路,如今被广泛用于 NLP。大热的 GPT、BERT 等都是基于 Transformer 构建的。Transformer 自推出以来,研究者已经提出了许多变体。但大家对 Transformer 的描述似乎都是以口头形式、图形解释等方式介绍该架构。关于 Tra

一文读懂层次聚类(Python代码)一文读懂层次聚类(Python代码)Apr 11, 2023 pm 09:13 PM

首先要说,聚类属于机器学习的无监督学习,而且也分很多种方法,比如大家熟知的有K-means。层次聚类也是聚类中的一种,也很常用。下面我先简单回顾一下K-means的基本原理,然后慢慢引出层次聚类的定义和分层步骤,这样更有助于大家理解。层次聚类和K-means有什么不同?K-means 工作原理可以简要概述为: 决定簇数(k) 从数据中随机选取 k 个点作为质心 将所有点分配到最近的聚类质心 计算新形成的簇的质心 重复步骤 3 和 4这是一个迭代过程,直到新形成的簇的质心不变,或者达到最大迭代次数

用 Python 实现导弹自动追踪,超燃!用 Python 实现导弹自动追踪,超燃!Apr 12, 2023 am 08:04 AM

大家好,我是J哥。这个没有点数学基础是很难算出来的。但是我们有了计算机就不一样了,依靠计算机极快速的运算速度,我们利用微分的思想,加上一点简单的三角学知识,就可以实现它。好,话不多说,我们来看看它的算法原理,看图:由于待会要用pygame演示,它的坐标系是y轴向下,所以这里我们也用y向下的坐标系。算法总的思想就是根据上图,把时间t分割成足够小的片段(比如1/1000,这个时间片越小越精确),每一个片段分别构造如上三角形,计算出导弹下一个时间片走的方向(即∠a)和走的路程(即vt=|AC|),这时

集成GPT-4的Cursor让编写代码和聊天一样简单,用自然语言编写代码的新时代已来集成GPT-4的Cursor让编写代码和聊天一样简单,用自然语言编写代码的新时代已来Apr 04, 2023 pm 12:15 PM

集成GPT-4的Github Copilot X还在小范围内测中,而集成GPT-4的Cursor已公开发行。Cursor是一个集成GPT-4的IDE,可以用自然语言编写代码,让编写代码和聊天一样简单。 GPT-4和GPT-3.5在处理和编写代码的能力上差别还是很大的。官网的一份测试报告。前两个是GPT-4,一个采用文本输入,一个采用图像输入;第三个是GPT3.5,可以看出GPT-4的代码能力相较于GPT-3.5有较大能力的提升。集成GPT-4的Github Copilot X还在小范围内测中,而

See all articles

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

뜨거운 도구

안전한 시험 브라우저

안전한 시험 브라우저

안전한 시험 브라우저는 온라인 시험을 안전하게 치르기 위한 보안 브라우저 환경입니다. 이 소프트웨어는 모든 컴퓨터를 안전한 워크스테이션으로 바꿔줍니다. 이는 모든 유틸리티에 대한 액세스를 제어하고 학생들이 승인되지 않은 리소스를 사용하는 것을 방지합니다.

ZendStudio 13.5.1 맥

ZendStudio 13.5.1 맥

강력한 PHP 통합 개발 환경

MinGW - Windows용 미니멀리스트 GNU

MinGW - Windows용 미니멀리스트 GNU

이 프로젝트는 osdn.net/projects/mingw로 마이그레이션되는 중입니다. 계속해서 그곳에서 우리를 팔로우할 수 있습니다. MinGW: GCC(GNU Compiler Collection)의 기본 Windows 포트로, 기본 Windows 애플리케이션을 구축하기 위한 무료 배포 가능 가져오기 라이브러리 및 헤더 파일로 C99 기능을 지원하는 MSVC 런타임에 대한 확장이 포함되어 있습니다. 모든 MinGW 소프트웨어는 64비트 Windows 플랫폼에서 실행될 수 있습니다.

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

에디트플러스 중국어 크랙 버전

에디트플러스 중국어 크랙 버전

작은 크기, 구문 강조, 코드 프롬프트 기능을 지원하지 않음