本地使用Groq Llama 3 70B的逐步指南

譯者| 布加迪

#審查| 重樓

本文介紹如何使用Groq LPU推理引擎在Jan AI和VSCode中產生超快速回應。

每個人都致力於建立更好的大語言模型（LLM），例如Groq專注於AI的基礎設施方面。這些大模型的快速響應是確保這些大模型更快捷響應的關鍵。

本教學將介紹Groq LPU解析引擎以及如何在筆記型電腦上使用API​​和Jan AI本地存取它。本文也將把它整合到VSCode中，以幫助我們產生程式碼、重構程式碼、輸入文件並產生測試單元。本文將免費創建我們自己的人工智慧程式設計助理。

Groq LPU推理引擎簡介

Groq LPU(語言處理單元)推理引擎旨在為擁有順序組件的計算密集型應用程式(例如LLM)產生快速回應。

與CPU和GPU相比，LPU擁有更強大的算力，這減少了預測單字所需的時間，大大加快了產生文字序列的速度。此外，與GPU相比，LPU還可以處理記憶體瓶頸，從而在LLM上提供更好的效能。

簡而言之，Groq LPU技術讓你的LLM超級快速，實現即時AI應用。不妨閱讀Groq ISCA 2022論文(https://wow.groq.com/isca-2022-paper/)，以了解LPU架構的詳細資訊。

安裝Jan AI

Jan AI是一個桌面應用程序，在本地運行開源和專有的大語言模型。它提供Linux、macOS和Windows版本供人下載。我們將下載Jan AI並安裝在Windows中，為此進入https://github.com/janhq/jan/releases，點擊擴展名為「.exe」的檔案。

如果你想在本地使用LLM以增強隱私，請閱讀《在筆記型電腦上使用LLM的5種方法》博文(https://www.kdnuggets. com/5-ways-to-use-llms-on-your-laptop)，開始使用最先進的開源語言模型。

建立Groq Cloud API

要在Jan AI中使用Grog Llama 3，我們需要一個API。為此，我們將進入https://console.groq.com/，建立一個Groq Cloud帳戶。

如果你想要測試Groq提供的各種模型，無需任何設定就能做到這一點，只需進入到Playground選項卡，選擇模型，並添加用戶輸入。

在本文這個例子中，它非常快，每秒產生310個token，這是我迄今見過的最快速度。連Azure AI或OpenAI也無法得到這種類型的結果。

要產生API金鑰，點選左側面板上的「API金鑰」按鈕，然後點選「建立API金鑰」按鈕，建立並複製API金鑰。

在Jan AI中使用Groq

在下一步中，我們將把Groq Cloud API金鑰貼到Jan AI應用程式中。

啟動Jan AI應用程序，進入到設置，在擴充部分選擇「Groq推理引擎」選項，並新增API金鑰。

然後，回到執行緒視窗。在模型部分，在「Remote」部分選擇Groq Llama 370B，開始輸入提示。

回應產生的速度太快了，我都跟不上了。

注意：該API的免費版本有一些限制。請造訪https://console.groq.com/settings/limits，以了解有關它們的更多資訊。

在VSCode中使用Groq

接下來，我們將嘗試將相同的API金鑰貼到CodeGPT VSCode擴充中，並建立​​自己的免費AI程式設計助理。

在擴展選項卡中搜尋CodeGPT擴展，安裝它。

CodeGPT標籤將會出現，以便你選擇模型提供者。

當你選擇Groq作為模型提供者時，它將要求你提供API金鑰。只需貼上相同的API金鑰，我們就可以開始了。你甚至可以為CodeGPT產生另一個API金鑰。

現在我們將要求它為蛇遊戲編寫程式碼。產生並運行程式碼只花了10秒鐘。

下面示範了我們的蛇遊戲。

不妨了解五大AI程式設計助手(https://www.kdnuggets.com/top-5-ai-coding-assistants-you-must-try)，成為AI驅動的開發人員和資料科學家。記住，人工智慧旨在幫助我們，而不是取代我們，所以不妨對它持開放的心態，用它來提高程式碼編寫水平。

結論

我們在本教程中了解了Groq推理引擎以及如何使用Jan AI Windows應用程式在本地存取它。最後，我們透過使用CodeGPT VSCode擴展，將其整合到我們的工作流程中，這真是太棒了。它會即時生成回應，以獲得更好的開發體驗。

原文標題：Using Groq Llama 3 70B Locally: Step by Step Guide，作者：Abid Ali Awan

連結：https://www.kdnuggets.com/using-groq-llama- 3-70b-locally-step-by-step-guide。

想了解更多AIGC的內容，請造訪：

51CTO AI.x社群

https://www.51cto.com/ aigc/

以上是本地使用Groq Llama 3 70B的逐步指南的詳細內容。更多資訊請關注PHP中文網其他相關文章！