iPhone に隠されたロボット: GPT-2 アーキテクチャに基づいており、絵文字トークナイザーを備え、MIT 卒業生によって開発されました

愛好家たちが Apple の Transformer の「秘密」を暴露

大型モデルの波の影響で、保守的な Apple も記者会見のたびに必ず「Transformer」について言及する

たとえば, 今年のWWDCで、AppleはiOSとmacOSの新しいバージョンにTransformer言語モデルが組み込まれ、テキスト予測機能を備えた入力方法を提供すると発表しました。

Apple 関係者はこれ以上の情報を明らかにしませんでしたが、テクノロジー愛好家は待ちきれません。

Jack Cook という名前の人が翻訳に成功しました macOS Sonoma の新しい章が始まりました

#モデル アーキテクチャに関して、ブラザー クック氏は、Apple の言語モデルは
• GPT-2built に基づいていると考えています。
トークナイザー
• に関して言えば、絵文字 はその中でも非常に顕著です。
詳細については、見てみましょう。

GPT-2 アーキテクチャに基づく

まず、Apple の Transformer ベースの言語モデルが iPhone、MacBook、その他のデバイスで実現できる機能を確認しましょう

必要な機能書き換え予定内容は主にインプットメソッドに反映されます。言語モデルのサポートにより、Apple 独自の入力メソッドは単語予測と誤り訂正機能を実現できます

Jack Cook が詳細にテストし、主にこの機能が実現されることを発見しました単一の単語の予測です。

書き直す必要がある内容は次のとおりです: △出典: Jack Cook のブログ投稿

モデルは、今後複数の単語を予測することもありますが、これは文の意味が非常に明白な状況に限定されており、Gmail のオートコンプリート機能に似ています。

書き直す必要がある内容は次のとおりです: △出典: Jack Cook のブログ投稿

それでは、このモデルはどこに設置されているのでしょうか?徹底的に調査した結果、クック兄弟は次のように判断しました。

/System/Library/LinguisticData/RequiredAssets_en.bundle/AssetData/en.lm/unilm.bundle で予測テキスト モデルを見つけました。

理由は次のとおりです:

unilm.bundle 内の多くのファイルは macOS Ventura (13.5) には存在せず、macOS Sonoma ベータ (14.0) の新しいバージョンにのみ表示されます。

1. unilm.bundle には sp.dat ファイルがあり、Ventura および Sonoma ベータ版にありますが、Sonoma ベータ版は明らかにトークナイザーのように見えるトークンのセットで更新されています。
2. sp.dat 内のトークンの数は、unilm.bundle 内の 2 つのファイル (unilm_joint_cpu.espresso.shape および unilm_joint_ane.espresso.shape) と一致します。これら 2 つのファイルは、Espresso/CoreML モデルの各レイヤーの形状を記述します。
3. unilm_joint_cpu で説明されているネットワーク構造に基づくさらなる推測では、Apple モデルは GPT-2 アーキテクチャに基づいて構築されていると考えられます

主なコンポーネントにはトークンの埋め込みと位置が含まれますエンコーディング、デコーダー ブロック、出力レイヤーでは、各デコーダー ブロックに「gpt2_transformer_layer_3d」のような単語が表示されます。

書き換える必要がある内容は次のとおりです。 △出典: Jack Cook のブログpost

各層のサイズに基づいて、Apple モデルには約 3,400 万のパラメータがあり、隠れ層のサイズは 512 であると私は推測しました。言い換えれば、GPT-2

の最小バージョンよりも小さいということですが、これは主に Apple が電力消費があまりなく、同時に高速かつ頻繁に実行できるモデルを望んでいるからだと思います。

そして、WWDC での Apple の公式声明は、「キーがクリックされるたびに、iPhone はモデルを 1 回実行します」です。

ただし、これは、このテキスト予測モデルが文章や段落をうまく続けることができないことも意味します。

書き直す必要がある内容は次のとおりです。 △出典: In Jack Cook のブログ投稿

モデル アーキテクチャに加えて、Brother Cook はトークナイザー

(トークナイザー)

に関する関連情報も掘り出しました。

彼は unilm.bundle/sp.dat で 15,000 個のトークンのセットを見つけました。これには 100 個の絵文字 が含まれていることは注目に値します。

クックはクックを明らかにします

このクックはそのクックではありませんが、私のブログ投稿は公開されるやいなや多くの注目を集めました

彼の調査結果に基づいて、ネチズンはユーザーエクスペリエンスと最先端のテクノロジーアプリケーションのバランスを取るためのAppleのアプローチについて熱心に議論しました。

ジャック クック自身の話に戻りますが、彼はコンピュータ サイエンスの学士号と修士号を取得して MIT を卒業し、現在インターネット社会科学の修士号取得に向けて勉強しています。オックスフォード大学。

彼は以前、NVIDIA でインターンとして、BERT などの言語モデルの研究に重点を置いていました。彼は、ニューヨーク タイムズ紙で自然言語処理のシニア R&D エンジニアも務めています。

以上がiPhone に隠されたロボット: GPT-2 アーキテクチャに基づいており、絵文字トークナイザーを備え、MIT 卒業生によって開発されましたの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。