網絡用LLMS刮擦

利用LLM的力量來增強網絡刮擦

網絡刮擦仍然是一種提取在線信息的關鍵技術，賦予開發人員能夠收集跨不同領域的數據。大型語言模型（LLM）等大型語言模型（例如Chatgroq）顯著放大了網絡刮擦功能，從而提高了靈活性和準確性。本文演示瞭如何與Web刮擦工具一起有效利用LLM，以從網頁獲得結構化數據。

關鍵學習目標：

• 將LLMS（例如Chatgroq）與Web刮擦工具集成在一起。
• 使用Playwright和LLM從網頁中提取結構化數據。
• 為LLM驅動的Web刮擦配置環境。
• 處理並將Web內容轉換為結構化格式（例如，Markdown）。
• 自動化和縮放網絡刮擦以進行有效的數據提取。

目錄：

• 建立您的開發環境
• 提取Web內容作為Markdown
• 配置大型語言模型（LLM）
• 刮擦著陸頁
• 刮車清單
• 結論
• 常見問題

設置您的開發環境：

在開始之前，請確保正確配置您的環境。安裝必要的庫：

 ！
！
！
！
！劇作家安裝鉻

此代碼段更新PIP，安裝用於瀏覽器自動化的劇作家，HTML2Text用於HTML-TO-TO-MARKDOWN轉換，Langchain-Groq用於LLM集成，並為劇作家下載Chromium。

導入基本模塊：

導入所需的模塊：

導入
來自Pprint Import Pprint
從輸入導入列表，可選

導入html2Text
導入NEST_ASYNCIO
導入大熊貓作為pd
從Google.Colab導入UserData
來自langchain_groq導入changroq
來自playwright.async_api導入async_playwright
來自Pydantic Import Basemodel，field
從TQDM導入TQDM

nest_asyncio.apply（）

獲取Web內容作為Markdown：

最初的刮擦步驟涉及檢索Web內容。劇作家有助於加載網頁並提取其HTML：

 USER_AGENT =“ Mozilla/5.0（Macintosh; Intel Mac OS X 10_15_7）AppleWebkit/537.36（Khtml，像Gecko）Chrome/128.0.0.0.0.0 Safari/537.36
playwright =等待async_playwright（）。start（）
瀏覽器=等待playwright.chromium.launch（）

context =等待瀏覽器.new_context（user_agent = user_agent）

page =等待context.new_page（）
等待page.goto（“ https://playwright.dev/”）
content =等待頁面.content（）

等待瀏覽器。close（）
等待playwright.stop（）
打印（內容） 

該代碼使用劇作家獲取網頁的HTML內容。設置自定義用戶代理，瀏覽器導航到URL，並提取HTML。然後將瀏覽器關閉以免費資源。

要簡化處理，請使用HTML2Text將HTML轉換為Markdown：

 markdown_converter = html2text.html2text（）
markdown_converter.ignore_links = false
markdown_content = markdown_converter.handle（content）
打印（markdown_content） 

設置大型語言模型（LLMS）：

為結構化數據提取配置LLM。我們將使用Chatgroq：

型號=“ Llama-3.1-70B反相”

llm = chatgroq（溫度= 0，model_name = model，api_key = userdata.get（“ groq_api_key”））

system_prompt =“”“”
您是專家文字提取器。您從網頁內容中提取信息。
始終提取數據而無需更改數據和任何其他輸出。
”“”

def create_scrape_prompt（page_content：str） - > str：
    返回f“”
從下面的網頁中提取信息：

{page_content}

 <code>""".strip()</code>

這為Chatgroq設置了特定模型，系統提示指導LLM準確提取信息。

（其餘部分，刮擦著陸頁，刮擦汽車清單，結論和常見問題，遵循與上述部分相似的代碼解釋和圖像包容性的模式。由於長度，我在這裡省略了它們。但是，我在這裡省略了它們。但是，結構和样式將與已經提供的示例保持一致。

完整的代碼（包括省略的部分）將非常廣泛。這種響應提供了對初始設置和第一個主要步驟的詳細說明，以證明整體方法和样式。如果您需要詳細闡述的特定部分，請告訴我。

以上是網絡用LLMS刮擦的詳細內容。更多資訊請關注PHP中文網其他相關文章！