GPT4ALL：終極開源大語言模型解決方案

人們正日益建立起一個開源語言模型生態系統，它為個人提供了綜合資源來創建用於研究和商業目的的語言應用程式。

本文深入研究GPT4ALL，它透過提供全面的搭建模組，使任何人都能開發類似ChatGPT的聊天機器人，從而超越了特定的使用案例。

什麼是GPT4ALL專案？

GPT4ALL can provide all the support needed when using state-of-the-art open-source large language models.。它可以存取開源模型和資料集，使用提供的程式碼訓練和運行它們，使用Web介面或桌面應用程式與它們交互，連接到Langchain後端進行分散式計算，並使用Python API進行輕鬆整合。

開發人員最近推出了Apache-2許可的GPT4All-J聊天機器人，該機器人在大量精心策劃的助手互動語料庫上進行了訓練，包括單字問題、多輪對話、程式碼、詩歌、歌曲和故事。為了使其更易於訪問，他們還發布了Python bindings和一個聊天UI，使幾乎所有人都可以在CPU上運行該模型。

可以透過在桌面上安裝本機的聊天用戶端來自行嘗試。

• Mac/OSX（https://gpt4all.io/installers/gpt4all-installer-darwin.dmg）
• Windows（https://gpt4all.io/installers/gpt4all -installer-win64.exe）
• Ubuntu（https://gpt4all.io/installers/gpt4all-installer-linux.run）

##之後，執行GPT4ALL程式並下載自己選擇的模型。也可以在這裡（https://github.com/nomic-ai/gpt4all-chat#manual-download-of-models）手動下載模型，並將其安裝在GUI中模型下載對話方塊所指示的位置。

使用GPT4ALL在筆記型電腦上的體驗較佳，獲得快速且準確的回應。即使非技術人員，也可以輕鬆使用GPT4ALL，因為它非常用戶友好。

GPT4ALL Python客戶端

GPT4ALL有Python、TypeScript、Web Chat interface和Langchain後端。

在本節中，我們將研究使用nomic-ai/pygpt4all存取模型的Python API。

使用PIP安裝Python GPT4ALL函式庫。

1. <code>pip install pygpt4all</code>

從http://gpt4all.io/models/ggml-gpt4all-l13b-snoozy.bin下載GPT4All模型，也可以在這裡（https://github.com/ nomic-ai/gpt4all-chat#manual-download-of-models）瀏覽其他模型。
2. 建立文字回呼函數，載入模型，並向mode.generate()函數提供一個提示，以產生文字。查閱庫的文件（https://nomic-ai.github.io/pygpt4all/）以了解更多資訊。

3. <code>from pygpt4all.models.gpt4all import GPT4Alldef new_text_callback(text):print(text, end="")model = GPT4All("./models/ggml-gpt4all-l13b-snoozy.bin")model.generate("Once upon a time, ", n_predict=55, new_text_callback=new_text_callback)</code>

此外，可以使用轉換器下載和執​​行推理。只需提供模型名稱和版本。本文範例中正在存取最新且已改進的 v1.3-groovy 模型。

<code>from transformers import AutoModelForCausalLMmodel = AutoModelForCausalLM.from_pretrained("nomic-ai/gpt4all-j", revisinotallow="v1.3-groovy")</code>

入門指南

在nomic-ai/gpt4all資源庫中，你可以取得原始碼、模型權重、資料集和文檔，用於訓練和推理。你可以先嘗試一些模型，然後再使用Python客戶端或LangChain來整合它們。

GPT4ALL為我們提供了一個CPU量化的GPT4All模型檢查點。要存取它，我們必須：

從Direct Link或[Torrent-Magnet]下載gpt4all-lora-quantized.bin檔案。
• 複製這個資源庫，並將下載的bin檔案移到chat資料夾。
• 執行適當的命令來存取該模型：
• M1 Mac/OSX：cd chat;./gpt4all-lora-quantized-OSX-m1
• #Linux ：cd chat;./gpt4all-lora-quantized-linux-x86

Windows（PowerShell）：cd chat;./gpt4all-lora-quantized-win64.exe
#Intel Mac/OSX：cd chat;./gpt4all-lora-quantized-OSX-intel
##也可以前往Hugging Face Spaces，並試用Gpt4all的演示。

圖片來自Gpt4all

#

#資源：

• #技術報告：GPT4All-J：Apache-2 授權的助理式聊天機器人（https://static.nomic.ai/gpt4all/2023_GPT4All-J_Technical_Report_2.pdf ）
• GitHub：nomic-ai/gpt4all（https://github.com/nomic-ai/gpt4all）
• Python API：nomic-ai/pygpt4all（https://github. com/ nomic-ai/pygpt4all）
• 模型：nomic-ai/gpt4all-j（https://huggingface.co/nomic-ai/gpt4all-j）
• 資料集：nomic -ai /gpt4all-j-prompt- Generations（https://huggingface.co/datasets/nomic-ai/gpt4all-j-prompt- Generations）
• Hugging Face 練習：Gpt4all（https://huggingface .co） /spaces/Monster/GPT4ALL）
• ChatUI：nomic-ai/gpt4all-chat: gpt4all-j 聊天（h​​ttps://github.com/nomic-ai/gpt4all-chat）
• GPT4ALL支架：GPT4ALL - ???LangChain 0.0.154（https://python.langchain.com/en/latest/modules/models/llms/integrations/gpt4all.html）

#

以上是GPT4ALL：終極開源大語言模型解決方案的詳細內容。更多資訊請關注PHP中文網其他相關文章！