AMD Ryzen AI CPU 和 Radeon RX 7000 GPU 現支援本地運行 LLM 和 AI 聊天機器人

本站 3 月 7 日消息，AMD 公司今天發佈公告，表示用戶可以本地化運行基於 GPT 的大語言模型（LLM），從而構建專屬的 AI 聊天機器人。

AMD 表示用戶可以在包括採用 AMD 新 XDNA NPU 的 Ryzen 7000 和 Ryzen 8000 系列 APU，以及內建 AI 加速核心的 Radeon RX 7000 系列 GPU 設備上，本地運行 LLM 和 AI 聊天機器人。

AMD 在公告中詳細介紹了運行步驟，例如運行70 億參數的Mistral，搜尋並下載「TheBloke / OpenHermes-2.5-Mistral-7B- GGUF」；如果運行70 億參數的LLAMA v2，請搜尋並下載「TheBloke / Llama-2-7B-Chat-GGUF」。

#AMD 並不是第一個這樣做的公司，Infinda（NVIDIA）最近也推出了"Chat with RTX"，這是一個由GeForce RTX 40 和RTX 30 系列GPU 支援的人工智慧聊天機器人。它採用 TensorRT-LLM 功能集進行加速，基於在地化資料集提供快速產生的人工智慧結果。

本站附上公告原文位址，有興趣的使用者可以造訪閱讀。

以上是AMD Ryzen AI CPU 和 Radeon RX 7000 GPU 現支援本地運行 LLM 和 AI 聊天機器人的詳細內容。更多資訊請關注PHP中文網其他相關文章！