Fitter - 開源無程式碼工具，用於映射減少來自不同來源甚至更多的資料！

大家好！

我是 Pxyup，今天我想透過開源專案 Fitter 代表您。

像素向上 / 鉗工

從 API/網站收集資訊的新方法

Fitter Fitter CLI

Fitter - 從 API/網站收集資訊的新方法

Fitter CLI - 小型 cli 指令，提供 Fitter 的結果以供測試/調試/家庭使用

Fitter Lib - 作為函式庫提供 fitter CLI 功能的函式庫

資訊收集方式

1. 伺服器 - 解析來自某些 API 或 http 請求的回應（使用 http.Client）
2. 瀏覽器 - 使用 chromium docker playwright/cypress 模擬真實瀏覽器並取得 DOM 資訊
3. 靜態 - 將靜態字串解析為資料

可解析的格式

1. JSON - 解析 JSON 以取得特定資訊
2. XML - 解析 xml 樹以取得特定資訊
3. HTML - 解析 dom 樹以取得特定資訊
4. XPath - 解析 dom 樹以獲取特定信息，但透過 xpath

像圖書館一樣使用

…

在 GitHub 上查看

它是如何創建的

2023 年，我提出了一個名為 Trip Searcher 的想法：

旅行搜尋器將監控航班並返回從出發城市出發的潛在路線，包括到各個目的地的總價格，並向 Telegram 發送通知：

對於此設置，我需要一個國家、城市和機場代碼列表來插入提到的網站。在開發過程中，我開始思考如果所有這些資訊都可以輕鬆組合和解析以簡化請求，那麼該有多方便，這引發了我稱為 Fitter 的專案的想法。

P.S.：此項目僅供個人使用。

裝配工 CLI

無程式碼映射縮減器，以使用者友好 (JSON) 或自訂格式傳回數據，適合儲存在資料庫中或透過 HTTP 傳輸。

特點：

1. 支援透過 HTML（查詢）、JSON（gjson）、XML 和 xpath 解析器進行解析。
2. 使用 Docker、Playwright（隱形模式）、HTTP 用戶端、快取、檔案或傳播字段，像瀏覽器一樣檢索數據，並支援自訂外掛程式。
3. 為 Playwright 和 HTTP 用戶端提供代理支援。
4. 可以透過外掛程式將資訊傳送或儲存到檔案、webhook、控制台等。
5. 處理所有資料型態：int、float、bool、array、object、null 和 string。
6. 組合（map-reduce）並轉換欄位。
7. 利用強大的 expr 函式庫進行範本語法，該語法可在整個應用程式中使用。
8. 以獨立的二進位檔案和 Docker 版本提供。
9. 允許限制瀏覽器/Docker 使用的請求計數或實例。

範例

靜態生成：

這裡我們將只從硬編碼產生靜態陣列

取得當前時間

從網站取得資訊並回傳給使用者。

取得當前 Steam 銷售量

這將在提供的目錄中建立sales.md

從 HackerNews 評論清單中獲取每個內容的最佳新聞

在此配置中，我們使用範本語法將第一個請求的結果傳播到下一個請求。

從網站上抓取所有圖像並將其儲存在本地

鉗工

Fitter 它是 Fitter CLI 的擴充版本，它有：

1. 觸發器的Http伺服器
2. 以電報訊息/webhook 的形式回傳回應
3. 目前還沒有文件:)

用法

此工具可用於不同目的：

1. 網頁抓取工具
2. 附外掛的資料抓取器
3. 進行特定的負載測試
4. 建立聊天機器人 - 我用它來自動化我的電報頻道

例如這份工作每天都會發送最好的Dev.to文章：

計劃

增加更多瀏覽器工具。例如點擊/滾動（目前只能透過JS注入完成）
改進模板語法
新增自訂範本編輯器設定編輯器
可能會考慮使用 SASS 作為更適合的 CLI，為客戶執行自訂工作流程並將結果傳回 APP/Watch/等。

真的等待您的回饋！有什麼問題都會問

以上是Fitter - 開源無程式碼工具，用於映射減少來自不同來源甚至更多的資料！的詳細內容。更多資訊請關注PHP中文網其他相關文章！