在邊緣設備上的自託管破布應用程序

在Raspberry Pi上部署強大的AI文檔處理器：逐步指南

本文詳細介紹了將Raspberry Pi轉換為智能文檔處理的強大工具的過程，利用了高級AI的功能。我們將介紹能夠處理文檔攝入和提問（QNA）任務的系統的設置，軟件安裝和開發。即使是小型設備也可以通過正確的方法獲得令人印象深刻的結果。

學習目標：

• 配置覆盆子PI以進行無頭操作。
• 安裝和管理依賴性，例如Ollama。
• 開發一個用於加載和處理PDF文檔的系統。
• 構建一個檢索功能的一代（RAG）管道，以回答查詢。
• 測試應用程序功能。
• 使用FastApi部署應用程序，並使用Reflex創建用戶界面。

（本文是數據科學博客馬拉鬆的一部分。）

目錄：

• 介紹
• Raspberry Pi設置
• 應用程序開發
  • 步驟1：環境配置
  • 步驟2：創建config.py
  • 步驟3：攝入課程
  • 步驟4： PDFLoader類
  • 步驟5：QNA管道
  • 步驟6：查詢抹布鏈
• 結論
• 常見問題

Raspberry Pi設置：

首先設置Raspberry Pi的操作系統。對於此示例，我們將使用Ubuntu Server 24.04，但是其他分佈是可能的。您需要一張microSD卡（至少16GB）。

閃爍SD卡：

1. 下載並安裝Raspberry Pi Imager。
2. 選擇您的SD卡，然後選擇Ubuntu Server 24.04作為操作系統。
3. 通過SSH配置無頭操作，提供用戶名和密碼。添加啟動時自動網絡連接的Wi-Fi憑據。
4. 在“服務”選項卡中啟用SSH。
5. 將圖像寫入SD卡。

啟動後，使用其IP地址通過SSH連接到Raspberry Pi（使用FING這樣的工具找到它）：

 ssh [username]@[ip地址]

更新軟件包：

更新您的系統軟件包：

 sudo apt更新
sudo apt升級

安裝Ollama：

 curl -fssl https://ollama.com/install.sh | sh

（如果遇到錯誤，請首先sudo apt install curl install curl ）

下載必要的模型：

 Ollama拉phi3
Ollama拉動提名 - 文本

應用程序開發：

現在，讓我們構建抹布應用程序。

步驟1：環境設置：

創建虛擬環境並安裝所需的Python軟件包（在原始文章中列出）。

步驟2：創建config.py ：

創建一個config.py文件，其中以下內容：

 lanking_model_name =“ phi3”
embeddings_model_name =“ nomic-embed-text”
Ollama_url =“ http：// localhost：11434”

（步驟3-6詳細介紹了攝入類，PDFLoader，QNA管道和抹布鏈查詢，在原始文章中提供了太廣泛的內容，無法在此處複製。請參閱“代碼”片段的原始內容。）

結論：

本指南展示了為功能性抹布應用設置Raspberry Pi。接下來的步驟將涉及將應用程序與FastApi包裝並使用Reflex構建用戶界面。

關鍵要點：

• 覆蓋物PI配置，用於抹布應用。
• 依賴管理（Ollama）。
• PDF文檔攝入和處理。
• RAG管道實現。
• 應用程序測試和部署準備。

常見問題：

（原始文章中的常見問題解答也太廣泛了，無法在此處複製。請參閱原始內容以獲取答案。）

（注意：圖像URL保持不變。）

以上是在邊緣設備上的自託管破布應用程序的詳細內容。更多資訊請關注PHP中文網其他相關文章！