ホームページ > 記事 > テクノロジー周辺機器 > Apple は自社チップ用のオープンソース フレームワーク MLX を構築し、Llama 7B を実装して M2 Ultra 上で実行します
Apple は自社チップ用のオープンソース フレームワーク MLX を構築し、Llama 7B を実装して M2 Ultra 上で実行します
- 王林転載
- 2023-12-14 23:49:01438ブラウズ
2020年11月、Appleは驚くほど高速で強力なM1チップを発売しました。 Appleは2022年にM2を発売し、今年10月にはM3チップが正式デビューする予定だ。
Apple がチップをリリースするとき、チップの AI モデルのトレーニングと展開機能を非常に重視します
Apple が開始した ML Compute は、Mac 上で TensorFlow モデルをトレーニングするために使用できます。 PyTorch は、Apple Metal Performance Shaders (MPS) をバックエンドとして使用して、Mac の M1 バージョンで GPU アクセラレーションによる PyTorch 機械学習モデルのトレーニングをサポートします。これらにより、Mac ユーザーはニューラル ネットワークをローカルでトレーニングできるようになります。
Appleは、Appleチップ上で動作するMLXと呼ばれる、機械学習専用のオープンソース配列フレームワークの立ち上げを発表しました
MLXは、機械学習研究者向けに特別に設計されたフレームワークであり、効率的に設計されています。 AI モデルをトレーニングしてデプロイします。このフレームワークの設計コンセプトはシンプルで理解しやすいです。研究者は、MLX を簡単に拡張および改善して、新しいアイデアを迅速に調査およびテストできます。 MLX の設計は、NumPy、PyTorch、Jax、ArrayFire などのフレームワークからインスピレーションを受けています
プロジェクトアドレス: https://github.com/ml-explore/mlx
貢献者の一人MLX プロジェクトに、Apple の機械学習研究チーム (MLR) の研究科学者である Awni Hannun が、MLX フレームワークを使用して Llama 7B を実装し、M2 Ultra で実行するビデオを紹介しました。
MLX は、すぐに機械学習研究者の注目を集めました。 TVM、MXNET、および MLX のコメントの作者、Chen Tianqi 氏
元の意味を変更しないようにするには、コンテンツを中国語に書き直す必要があります。原文は不要です
MLXの機能、例
このプロジェクトでは、MLXには次の主な機能があることがわかります
おなじみのAPI
。 MLX には、NumPy によく似た Python API と、Python API によく似たフル機能の C++ API があります。 MLX には、より高度なパッケージ (mlx.nn や mlx.optimizers など) もあり、その API は PyTorch に非常に似ており、より複雑なモデルの構築を簡素化できます。
組み合わせ可能な関数変換。 MLX は、自動微分、自動ベクトル化、および計算グラフの最適化を備えた構成可能な関数変換を備えています。
怠惰な計算。 MLX での計算は遅延し、配列は必要な場合にのみインスタンス化されます。
ダイナミックなグラフィック構築。 MLX の計算グラフの構築は動的であり、関数パラメーターの形状を変更してもコンパイル速度が低下することはなく、デバッグはシンプルで使いやすいです。
複数のデバイス。操作は、CPU や GPU などのサポートされているデバイス上で実行できます。
統合記憶。 MLX と他のフレームワークの大きな違いは、ユニファイド メモリと配列共有メモリです。 MLX での操作は、データを移動せずに、サポートされている任意のデバイス タイプで実行できます。
さらに、このプロジェクトでは、MNIST の例など、MLX フレームワークを使用したさまざまな例が提供されており、MLX の使用方法を学ぶのに役立ちます
画像ソース: https://github .com/ml-explore/mlx-examples/tree/main/mnist
上記の例に加えて、MLX は次のような他のより実用的な例も提供します。
- Transformer 言語モデルのトレーニング、
- LLaMA 大規模なテキスト生成と LoRA 微調整、
- OpenAI の Whisper 音声認識。
- さらに詳しいドキュメントについては、https://ml-explore.github.io/mlx/build/html/install.html#
以上がApple は自社チップ用のオープンソース フレームワーク MLX を構築し、Llama 7B を実装して M2 Ultra 上で実行しますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。