Scrapestack：用於刮擦網站的API

並非每個站點都有一個API訪問數據。實際上，大多數不是。如果您需要提取這些數據，一種方法是“刮擦”它。也就是說，將頁面加載到Web瀏覽器中（您是自動化的），在DOM中找到您要尋找的內容，然後採用它。

如果您想處理成本，維護和技術債務，則可以自己執行此操作。例如，這是“無頭”瀏覽器的大型用例之一，例如木偶器如何旋轉和控制無頭鉻。

或者，您可以使用諸如Scrapestack之類的工具，該工具不僅可以為您抓取，而且可以做得更好，更快，並且選擇更多的選擇要比嘗試自己做得更好。

假設我的目標是從Meetup.com頁面上取出最新的完成聚會。 Metup.com有一個API，但它很昂貴，需要Oauth和其他東西。我們只需要在這裡的過去聚會的名稱和鏈接，所以讓我們將其從頁面上拉開。

我們可以看到我們在DOM中的需求：

要玩遊戲，讓我們用jquery用scrapestack api客戶端來刮擦它：

 $ .get（'https://api.scrapestack.com/scrape'，
  {
    access_key：'my_api_key'，
    URL：'https：//www.meetup.com/bendjs/'
  }，，
  函數（WebsIteContent）{
     //我們在這裡有整個網站！ 
  }
）；

在該回調中，我現在還可以使用jQuery穿越DOM，抓住我想要的部分，並在我們的網站上構造我需要的東西：

 //得到我們想要的
讓Event = $（WebsIteContent）
  。
  。第一的（）;
讓EventTitle = event
  .find（“。eventCard-link”）[0] .innertext;
令EventLink = 
  `https：// www.meetup.com/`   
  event.find（“。eventCard-link”）。 attr（“ href”）;

//在頁面上使用它
$（“＃event”）。附錄（`
  $ {eventTitle}
`）;

在實際用法中，如果我們這樣做這樣的客戶端，我們將利用一些基本的存儲空間，因此我們不必在每個頁面負載上達到API，例如將結果粘貼在LocalStorage中，並在幾天之後添加無效。

有用！

實際上，我們更有可能進行刮擦服務器端。一方面，這就是保護您的API鍵的方法，這是您的責任，如果您直接使用API​​，則在面向公共場所的責任是不可能的。

我自己，我可能會做一個雲功能來執行此操作，這樣我就可以留在JavaScript（Node.js）中，並有機會將數據塞入存儲中。

我會說去查看文檔，看看下次您需要進行一些刮擦時，這是否不是正確的答案。無論如何，您都會收到10,000條免費計劃的請求，並且可以在任何具有更多功能的付費計劃上跳起來。

直接鏈接→

以上是Scrapestack：用於刮擦網站的API的詳細內容。更多資訊請關注PHP中文網其他相關文章！