使用Indion LLMS建造印地語文檔的RAG管道

namaste！我是印度人，我們經歷了四個不同的季節：冬季，夏季，季風和秋天。但是你知道我真正的恐懼嗎？稅收季節！

與往常一樣，今年，我對印度的所得稅法規和文書工作搏鬥，以最大程度地利用我的法律儲蓄。我吞噬了無數的視頻和文檔 - 有些是英語的，有些是印地語的 - 尋找答案。在截止日期之前僅48小時，我意識到自己已經沒有時間了。我拼命希望有一個快速，語言不足的解決方案。

雖然檢索增強發電（RAG）似乎是理想的，但大多數教程和模型僅集中在英語上。非英語內容在很大程度上被忽略了。那是啟發靈感的時候：我可以專門為印度內容構建一條抹布管道 - 一個能夠使用印地語文檔回答問題的抹布。因此，我的項目開始了！

COLAB筆記本：對於那些喜歡動手方法的人，可以在COLAB筆記本中獲得完整的代碼[鏈接到COLAB筆記本]。建議使用T4 GPU環境。

讓我們潛入！

關鍵學習目標：

• 構建一個完整的破布管道，用於處理印地語稅收文件。
• 用於Web刮擦，數據清潔和構造NLP的印地語文本的主技術。
• Leverage指示LLMS可以為印度語言構建抹布管道，從而改善多語言文檔處理。
• 使用多語言E5和Airavata等開源模型在印地語中進行嵌入和文本生成。
• 配置和管理Chromadb，以在抹布系統中進行有效的矢量存儲和檢索。
• 通過使用印地語抹布管道來獲得文檔攝入，檢索和問題回答的實用經驗。

本文是數據科學博客馬拉鬆的一部分。

目錄：

• 學習目標
• 數據獲取：收集印地語稅收信息
• 模型選擇：選擇適當的嵌入和生成模型
• 設置向量數據庫
• 記錄攝入和檢索
• 與Airavata回答
• 測試和評估
• 結論
• 常見問題

數據獲取：採購印地語稅收信息

我的旅程始於數據收集。我從新聞文章和網站上收集了印地語所得稅信息，包括常見問題解答和非結構化文本，涵蓋了稅收減免部分，常見問題解答和相關形式。最初的URL是：

 <code>urls =['https://www.incometax.gov.in/iec/foportal/hi/help/e-filing-itr1-form-sahaj-faq', 'https://www.incometax.gov.in/iec/foportal/hi/help/e-filing-itr4-form-sugam-faq', 'https://navbharattimes.indiatimes.com/business/budget/budget-classroom/income-tax-sections-know-which-section-can-save-how-much-tax-here-is-all-about-income-tax-law-to-understand-budget-speech/articleshow/89141099.cms', 'https://www.incometax.gov.in/iec/foportal/hi/help/individual/return-applicable-1', 'https://www.zeebiz.com/hindi/personal-finance/income-tax/tax-deductions-under-section-80g-income-tax-exemption-limit-how-to-save-tax-on-donation-money-to-charitable-trusts-126529' ]</code>

數據清潔和解析

涉及數據準備：

• 網絡刮擦
• 數據清潔

讓我們檢查每個步驟。

網絡刮擦

我使用了markdown-crawler ，這是一個最喜歡的網絡刮擦庫。使用：

 <code>!pip install markdown-crawler !pip install markdownify</code>

markdown-crawler將網站解析為Markdown，將它們存儲在.md文件中。我們將max_depth設置為0，以避免爬行鏈接頁面。

這是刮擦功能：

 <code>from markdown_crawler import md_crawl def crawl_urls(urls: list, storage_folder_path: str, max_depth=0): for url in urls: print(f"Crawling {url}") md_crawl(url, max_depth=max_depth, base_dir=storage_folder_path, is_links=True) crawl_urls(urls= urls, storage_folder_path = './incometax_documents/')</code>

這將Markdown文件保存到incometax_documents文件夾中。

數據清潔

一個解析器讀取Markdown文件並將其分為部分。如果您的數據已預處理，請跳過此。

我們使用markdown和BeautifulSoup ：

 <code>!pip install beautifulsoup4 !pip install markdown</code>

導入標記
來自BS4進口美麗的小組

＃...（read_markdown_file函數保持不變）...

＃...（pass_section函數保持不變）...

＃...（代碼處理所有.md文件並存儲在傳遞_sections中的代碼保持不變）...

數據現在是清潔的，並在passed_sections中進行了組織。更長的內容可能需要塊，以保持嵌入模型令牌限制（512），但由於相對較短的部分，此處省略了。請參閱筆記本塊代碼。

（響應的其餘部分將遵循類似的匯總和解釋所提供的文本，維護圖像位置和格式的模式。由於輸入的長度，這將在後續響應中提供。）

以上是使用Indion LLMS建造印地語文檔的RAG管道的詳細內容。更多資訊請關注PHP中文網其他相關文章！