Dimensity 9300、初の生成 AI モバイル チップ: 330 億のパラメータを持つ大規模モデルを実行可能

AI 描画は 1 秒で生成でき、大規模な言語モデルは 1 秒あたり 20 トークンで生成できます。

2023年は生成AI元年であり、私たちの手にあるモバイルデバイスも大型モデルの時代へと加速していきます。

11 月 6 日の夜、MediaTek は毎年恒例のフラッグシップ SoC Dimensity 9300 を正式にリリースしました。このチップは 4+4 フルコア設計で、パフォーマンスとエネルギー消費の点で Android や Apple の競合他社を上回っています。

さらに注目すべきことは、今年のフラッグシップチップが5G生成AIモバイルチップとして定義されており、過去のものをはるかに上回る高インテリジェンス、高性能、高エネルギー効率、低消費電力という優れた機能を提供していることです。

Dimensity 9300 は、TSMC の新世代 4nm プロセスを使用し、227 億個のトランジスタを備えています。生成 AI 時代のコンピューティング能力のニーズを満たすために、Dimensity 9300 は、最大周波数 3.25 GHz の 4 つの Cortex-X4 超大型コアと 4 つの超大型コアを含む「オール ラージ コア」CPU アーキテクチャの使用を先駆けて採用しました。メイン周波数 2.0 GHz Cortex-A720 大型コアは、前世代よりも 40% 高いピーク性能を持ち、同じ性能で消費電力が 33% 節約されます。

このアーキテクチャは、高速な動作速度と高効率を保証すると同時に、省電力機能も備えており、軽負荷と重負荷の両方のアプリケーション シナリオで電力消費を削減し、バッテリー寿命を延長できます。 MediaTekによると、Dimensity 9300はビデオ、ライブブロードキャスト、ゲームなどの一般的なタスク要件に合わせて最適化されており、折りたたみ式携帯電話のマルチタスクモードへの適応性が以前よりも高まっているという。

チップ製造プロセスの改善に伴い、トランジスタは継続的に小型化されており、さまざまなリーク問題がムーアの法則の開発に対する大きな障害となっています。リークはエネルギー消費の大幅な増加を意味し、チップは過熱や故障の問題にも直面します。この場合、小さいコアと大きいコアの間の消費電力の差はますます小さくなります。

報道によると、MediaTek は 3 年前にはフルコアチップフォーマットの検討を開始していました。現在、大きなコアにタスクを迅速に処理させてから、より長い時間スリープさせることで、大きなコアのプロセッサを、小さなコアのプロセッサよりも直感に反して電力効率を高めることができます。一方、MediaTek は、アプリケーションの実行効率をさらに高めるために、アウトオブオーダー戦略も追加しました。 MediaTek は、来年までにすべての大型コアの設計が業界のコンセンサスになると信じています。

今回、MediaTekは従来の機能に加えて、チップのAI性能のアップグレードに重点を置きました。 Dimensity 9300 には、生成 AI 用に特別に設計された MediaTek の第 7 世代 AI プロセッサ APU 790 が統合されており、そのパフォーマンスとエネルギー効率は前世代に比べて大幅に向上しており、整数演算と浮動小数点演算のパフォーマンスは前世代の 2 倍になっています。消費電力が45%削減されます。

APU 790 には、ハードウェアレベルの生成 AI エンジンが組み込まれており、前世代と比較して、より高速かつ安全なエッジ AI 計算を実現し、特に大規模な言語モデルで一般的に使用されるトランスフォーマーの演算子と処理速度を高速化します。大型モデルの速度は前世代の 8 倍です。

現代の人気のある大規模言語モデル (LLM) の主要なコア ネットワーク アーキテクチャは、ほとんどがトランスフォーマー ブロックで構成されています。コンピューター ビジョンにおける一般的な CNN ネットワークと比較して、トランスフォーマー ネットワークは Softmax+LayerNorm 演算子をコアとして使用し、畳み込み演算子の数が少ないため、元の AI コアの高速化メカニズムは適用できません。第 7 世代 APU プロセッサーでは、MediaTek は Softmax+LayerNorm 演算子の最適化に重点を置き、計算能力を向上させています。

定量化は現在、AI 推論を最適化する効果的な方法の 1 つです。 MediaTek は、数億のパラメータを持つ大規模な言語モデルの特性に基づいて、混合精度 INT4 量子化テクノロジを独自のメモリ ハードウェア圧縮テクノロジ NeuroPilot Compression と組み合わせて開発しました。これにより、メモリ帯域幅をより効率的に利用し、端末の占有を大幅に削減できます。大規模な AI モデルによるメモリ。

MediaTek のエンジニアは、大型モデルは生産性の向上をもたらすものの、ローカル操作の 13B サイズは約 13GB のメモリを占有することを意味し、さらに Android 自体の 4GB と他のアプリの 6GB がメモリ容量を超えていると述べました。ほとんどの携帯電話は 16G です。 Dimensity 9300 で使用されるメモリ ハードウェア圧縮テクノロジは、量子化と圧縮によって大規模モデルのメモリ使用量を 5GB に削減することでのみ、ほとんどのユーザーが日常生活で大規模モデル アプリケーションを実行できるようになります。

APU 790 は、生成 AI モデルのエンドサイド「スキル拡張」テクノロジー NeuroPilot Fusion もサポートしています。これは、基本的な大型モデルに基づいてエンドサイドで低ランク適応 (LoRA、低ランク適応) 融合を継続的に実行できます。これにより、基本的な大規模モデルに、より包括的な機能が与えられます。

そのようなハードウェアと最適化に基づいて、Dimensity 9300はETHチューリッヒによって提案されたAIベンチマークの最新バージョンで2019ポイントに達する可能性があり、これはモバイルチップとしては新たな最高値となります。

Dimensity 9300 を使用すると、安定拡散などのエンドサイド AI 画像生成は 1 秒以内に画像を生成でき、70 億パラメーターの大規模言語モデルのエンドサイド推論は 1 秒あたり 20 トークンを達成できます。

MediaTek は、vivo との協力により、Dimensity 9300 に基づいて、モバイル端末上で 7B および 13B の大型モデルの推論の実現を先導したと述べており、そのような製品が間もなく端末上で発売されることが期待されています。さらに、より極端なケースでは、MediaTek は最大 33B の大型モデルも実行しました。

リリース前のコミュニケーション ミーティングと現場で、MediaTek は Dimensity 9300 エンジニアリング マシンを使用して LoRA テキスト ダイアグラムと大規模モデル テキスト生成を実現する能力を実証しました。

最新世代の主力携帯電話では、よりスマートなスマート アシスタントを使用して、大型モデルからの提案に基づいてチャットや右クリックにすばやく返信したり、AI が生成した絵文字を使用して画像と戦うことができると予測できます...

間もなくリリースされ、誰もが体験できるのは、vivo X100シリーズ携帯電話のOriginOS 4システムのAIアシスタントLan Xin Xiao Vです。

今月初め、vivoは開発者カンファレンスでブルーハートモデルとそのア​​プリケーションを発表したばかりです この一連の機能は明らかに携帯電話向けです。 Lanxin Xiao V は、大型モデルのサポートにより、音声、テキスト、ファイルのドラッグ アンド ドロップなどを通じて情報を受信して​​処理することができます。簡単な質問があれば、Little V がテキストまたは写真で答えます。複雑な質問の場合は、SWOT モデルまたはマインド マップの形式で回答を出力することもできます。

さらに、Dimensity 9300のAI機能は、探索から撮影まですべてをカバーします。

MediaTek は、同社の AI 開発プラットフォーム NeuroPilot が、Android、LIama 2、Wen Xinyiyan、Baichuan 大型モデルなどの最先端の主流 AI 大型モデルを深く適応および最適化しており、さらに多くのアプリケーションが開発中であると述べました。

GPUに関しては、Dimensity 9300は12コアのImmortalis-G720を使用しています。前世代と比較して、ピークパフォーマンスは 46% 向上し、同じパフォーマンスの下で消費電力は 40% 節約できます。 Dimensity 9300 には、MediaTek の第 2 世代ハードウェア レイ トレーシング エンジンが搭載されており、60FPS の滑らかなレイ トレーシングをサポートし、ゲーム コンソール レベルのグローバル イルミネーション効果をもたらします。

さらに、MediaTek独自のMAGTゲーム適応制御技術が「Star Speed Engine」にアップグレードされ、ゲームアプリケーションと広範囲に連携するだけでなく、より多くの種類のアプリケーションとのエコロジー連携を拡大します。イベントでMediaTekは、Dimensity 9300プラットフォームが「World of Sword and Sword」のレイトレーシングバージョンをデビューさせ、モバイルゲーム「Dark Zone Breakout」で安定した60フレームのレイトレーシング体験を実現すると発表した。

現在、多くのサードパーティのレビューによると、Dimensity 9300エンジニアリングマシンのCPUとGPUの絶対パフォーマンスと消費電力比は、Snapdragon 8Gen3とA17Proを超えています。すべての大型コアを使用する戦略は成功しているようです。 ️画像出典: Geekerwan

他の側面では、Dimensity 9300 も完全にアップグレードされ、その ISP は Imagiq 990 にアップグレードされ、AI セマンティック セグメンテーション ビデオ エンジン、1 6 レイヤー画像セマンティック セグメンテーション、被写界深度およびスポットデュアルエンジン、2倍ロスレスズームを備えたフルピクセルフォーカス、OIS光学手ぶれ補正コア、3マイクハイダイナミック録音ノイズリダクションにより、風速25km/hで風切り音の99%以上をフィルタリングできます。 ^{Dimensity 9300 には、新しいセキュア ブート チップ、分離されたセキュア コンピューティング環境、開発者がメモリの悪用を回避できるようにする Armv9 のメモリ マーキング拡張機能も付属しています。} ネットワークに関しては、Dimensity 9300 は、サブ 6GHz の 4 キャリア アグリゲーション (4CC-CA) とマルチ標準デュアルカード デュアルパスをサポートする 5G モデムを統合し、AI アルゴリズムを通じて信号を改善し、5G 状況に応じてサポートします。認識機能。 Dimensity 9300 は、Wi-Fi 7 および 5G サブ 6GHz 周波数帯域をサポートし、ダウンリンク速度は 7Gbps です。 Bluetooth 接続に関しては、Dimensity 9300 は 3 本の Bluetooth アンテナと独自のデュアルチャネル Bluetooth フラッシュ接続テクノロジーをサポートしており、超低遅延の Bluetooth オーディオ体験を実現します。

レポートによると、Dimensity 9300チップを使用した最初の携帯電話には、vivo、OPPO、Xiaomi、Transsionなどが含まれます。 MediaTek の発表イベント後、vivo は、11 月 13 日にリリースされた X100 シリーズに新しいフラッグシップ チップを初めて搭載し、LPDDR5T-9600 メモリを初めて実装することを発表しました。

新世代の製品の登場を楽しみにしています。

以上がDimensity 9300、初の生成 AI モバイル チップ: 330 億のパラメータを持つ大規模モデルを実行可能の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。