太酷了！ iPhone、iPad、MacBook老舊設備組成異質集群，能跑Llama 3

假如你有閒置的設備，或許可以試試看。

這次，你手上的硬體設備也能在 AI 領域大展拳腳了。

將 iPhone、iPad、Macbook 進行組合，就能組裝成「異質集群推理方案」， 然後順暢的運行 Llama3 模型。

值得一提的是，這個異質叢集可以是 Windows 系統，也可以是Linux、iOS 系統，並且對 Android 的支援很快就會到來。

                                    

根據專案作者 @evilsocket 的介紹，這個異質叢集包括 iPhone 15 Pro Max、iPad Pro、MacBook Pro (M1 Max)、NVIDIA GeForce 3080、2x NVIDIA Titan X Pascal。所有程式碼都已經上傳到 GitHub。

看到這，網友紛紛表示，這位老哥確實不簡單。

不過也有網友開始擔心能耗問題，暫且不管速度，電費都耗不起。來回搬數據，損耗太大了。

專案介紹

上述功能的實現，離不開一個名為 Cake 的 Rust 框架。 Cake 可以完成大型模型（例如Llama3）的分散式推理，旨在將消費級硬體組合成異質集群，其中消費級硬體採用多種作業系統，包括：iOS、Android、macOS、Linux 和Windows，從而使AI 更易於存取。

項目位址：https://github.com/evilsocket/cake

Cake 的主要思路是將transformer 區塊分片到多個設備，以便能夠讓通常不適合單一設備GPU 記憶體的模型運行推理。對同一工作執行緒上的連續 transformer 區塊的推理是分批進行的，以便最大限度地減少資料傳輸造成的延遲。

Cake 目前支援的系統和裝置如下：

編譯

安裝Rust 後，執行下列程式碼：

cargo build --release

述操作：

make ios

使用

運行worker 節點：

cake-cli --model /path/to/Meta-Llama-3-8B \ # model path, read below on how to optimize model size for workers --mode worker \# run as worker --name worker0 \ # worker name in topology file --topology topology.yml \# topology         --address 0.0.0.0:10128            # bind address

運行master 節點：？

關於記憶體和磁碟空間最佳化問題，使用者可能希望只向worker 提供模型中實際需要的數據，而不是整個資料夾，在這種情況下，可以使用cake-split-model 。例如，要產生較小版本的 llama3 safetensors，可以採用以下程式碼：

cake-cli --model /path/to/Meta-Llama-3-8B \         --topology topology.yml

參考連結：https://x.com/tuturetom/status/1812654489972973643

以上是太酷了！ iPhone、iPad、MacBook老舊設備組成異質集群，能跑Llama 3的詳細內容。更多資訊請關注PHP中文網其他相關文章！