iPhone의 숨겨진 로봇: GPT-2 아키텍처 기반, MIT 졸업생이 개발한 이모지 토크나이저 포함

매니아들이 밝혀낸 애플 트랜스포머의 '비밀'

대형 모델 열풍의 영향으로 보수적인 애플도 기자간담회 ​​때마다 '트랜스포머'를 언급할 게 분명하다

예를 들어 올해 WWDC에서 애플은 다음과 같이 발표했다. 새로운 버전의 iOS 및 macOS에는 내장된 Transformer 언어 모델이 있어 텍스트 예측 기능이 있는 입력 방법을 제공합니다.

Apple 관계자는 더 많은 정보를 공개하지 않았지만 기술 마니아라면 기대가 됩니다

Jack Cook이라는 남자가 성공적으로 macOS Sonoma 베타의 새로운 장을 열었고 뜻밖에도 많은 것을 발견했습니다. 새로운 정보

• 모델 측면에서 Cook은 Apple의 언어 모델이 GPT-2를 기반으로 할 가능성이 더 높다고 믿습니다.
• 토크나이저에 있어서는 이모티콘이 매우 두드러집니다.

자세한 내용은 살펴보도록 하겠습니다.

GPT-2 아키텍처 기반

먼저 Apple의 Transformer 기반 언어 모델이 iPhone, MacBook 및 기타 장치에서 달성할 수 있는 기능을 검토하겠습니다.

다시 작성해야 할 내용은 다음과 같습니다. 입력 방식. 언어 모델의 지원으로 Apple 자체 입력 방법은 단어 예측 및 오류 수정 기능을 구현할 수 있습니다

Jack Cook은 이를 구체적으로 테스트한 결과 이 ​​기능이 주로 단일 단어 예측을 구현한다는 것을 발견했습니다.

다시 작성해야 하는 내용은 다음과 같습니다. △출처: Jack Cook의 블로그 게시물

모델은 때때로 여러 단어를 예측하지만 이는 문장의 의미가 매우 명확하고 다음과 유사한 상황으로 제한됩니다. 지메일 자동완성 기능.

다시 작성해야 하는 내용은 다음과 같습니다. △출처: Jack Cook의 블로그 게시물

그럼 이 모델은 어디에 설치되어 있나요? 심층적인 조사 끝에 Cook 형제는 다음과 같은 결정을 내렸습니다.

/System/Library/LinguisticData/RequiredAssets_en.bundle/AssetData/en.lm/unilm.bundle에서 예측 텍스트 모델을 찾았습니다.

이유는 다음과 같습니다.

unilm.bundle의 많은 파일은 macOS Ventura(13.5)에는 존재하지 않지만 새 버전의 macOS Sonoma 베타(14.0)에만 나타납니다.
1. unilm.bundle에는 sp.dat 파일이 있는데 이는 Ventura 및 Sonoma 베타에서 찾을 수 있지만 Sonoma 베타 버전은 분명히 토크나이저처럼 보이는 토큰 세트로 업데이트되었습니다.
2. sp.dat의 토큰 수는 unilm.bundle의 두 파일(unilm_joint_cpu.espresso.shape 및 unilm_joint_ane.espresso.shape)과 일치할 수 있습니다. 이 두 파일은 Espresso/CoreML 모델의 각 레이어 모양을 설명합니다.

추가 추측에 따르면 unilm_joint_cpu에 설명된 네트워크 구조에 따르면 Apple 모델은 GPT-2 아키텍처를 기반으로 구축되었다고 믿습니다.

주요 구성 요소에는 토큰 삽입, 위치 인코딩, 디코더 블록 및 출력 레이어가 각각 포함되어 있습니다. 각 디코더 블록에는 "gpt2_transformer_layer_3d"와 유사한 단어가 나타납니다

다시 작성해야 하는 내용은 다음과 같습니다. △출처: Jack Cook의 블로그 기사

각 레이어의 크기를 토대로 Apple 모델도 추측했습니다. 매개변수는 약 3,400만 개이고, 은닉층 크기는 512개입니다. 즉, GPT-2의 가장 작은 버전보다 작은 것입니다

내 동생은 이것이 주로 Apple이 전력을 많이 소비하지 않으면서 동시에 빠르고 자주 실행할 수 있는 모델을 원하기 때문이라고 믿습니다.

그리고 WWDC에서 Apple의 공식 성명은 "키를 클릭할 때마다 iPhone이 해당 모델을 한 번 실행합니다."입니다.

그러나 이는 이 텍스트 예측 모델이 문장이나 단락을 잘 이어갈 수 없다는 의미이기도 합니다

다시 작성해야 하는 내용은 다음과 같습니다. △출처: Jack Cook의 블로그 게시물

모델 아키텍처 외에도 Cook Xiao 토크나이저

에 대한 정보도 파헤쳐봤습니다.

그는 unilm.bundle/sp.dat에서 15,000개의 토큰 세트를 발견했습니다. 그 안에 100개의 이모티콘이 포함되어 있다는 점은 주목할 만합니다.

Cook이 Cook을 공개합니다

이 Cook이 그 Cook은 아니지만 제 블로그 게시물은 공개되자마자 많은 관심을 끌었습니다

그의 조사 결과를 바탕으로 네티즌들은 Apple의 사용자 경험과 최첨단 기술에 대해 열광적으로 논의했습니다. 기술 응용.

Jack Cook 이야기로 돌아가겠습니다. 그는 MIT에서 컴퓨터 과학 학사 및 석사 학위를 취득했으며 현재 옥스퍼드 대학교에서 인터넷 사회 과학 석사 학위를 취득하기 위해 공부하고 있습니다.

그는 이전에 NVIDIA에서 인턴으로 BERT와 같은 언어 모델 연구에 집중했습니다. 그는 또한 The New York Times에서 자연어 처리 부문 수석 R&D 엔지니어로도 활동하고 있습니다

위 내용은 iPhone의 숨겨진 로봇: GPT-2 아키텍처 기반, MIT 졸업생이 개발한 이모지 토크나이저 포함의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!