Fitter - さまざまなソースなどからのデータをマップリデュースするためのオープンソースのノーコード ツールです。

こんにちは、みんな！

私は Pxyup です。今日はオープンソース プロジェクト Fitter を代表したいと思います。

PxyUp / フィッター

API/Webサイトから情報を収集する新しい方法

Fitter Fitter CLI

Fitter - API/Web サイトから情報を収集する新しい方法

Fitter CLI - テスト/デバッグ/家庭で使用するために Fitter からの結果を提供する小さな cli コマンド

Fitter Lib - Fitter CLI の機能をライブラリとして提供するライブラリ

情報収集方法

1. サーバー - いくつかの API または http リクエストからの応答を解析します (http.Client の使用)
2. ブラウザ - chromium docker playwright/cypress を使用して実際のブラウザをエミュレートし、DOM 情報を取得します
3. 静的 - 静的文字列をデータとして解析します

解析可能な形式

1. JSON - JSON を解析して特定の情報を取得します
2. XML - XML ツリーを解析して特定の情報を取得します
3. HTML - dom ツリーを解析して特定の情報を取得します
4. XPath - 特定の情報を取得するために dom ツリーを解析しますが、xpath
によって行われます。

図書館のように使える

go get github.com/PxyUp/fitter

go get github.com/PxyUp/fitter

…

GitHub で表示

作成方法

2023 年、私は Trip Searcher というアイデアに取り組みました。

go get github.com/PxyUp/fitter

Trip Searcher はフライトを監視し、さまざまな目的地までの合計料金を含む出発都市からの潜在的なルートを返し、次のような通知を Telegram に送信します。

package main
import (
    "fmt"
    "github.com/PxyUp/fitter/lib"
    "github.com/PxyUp/fitter/pkg/config"
    "log"
    "net/http"
)

func main() {
    res, err := lib.Parse

この設定では、前述のサイトに接続するための国、都市、空港コードのリストが必要でした。開発中に、これらすべての情報を簡単に組み合わせて解析してリクエストを効率化できたらどんなに便利だろうかと考え始め、それが私が Fitter と呼ぶプロジェクトのアイデアにつながりました。

追伸: このプロジェクトは個人使用を目的としています。

フィッター CLI

ユーザーフレンドリー (JSON) またはカスタム形式でデータを返すコード不要のマップ リデューサー。データベースへの保存や HTTP 経由の送信に適しています。

特徴:

1. HTML (クエリ)、JSON (gjson)、XML、および xpath パーサーによる解析をサポートします。
2. カスタム プラグインのサポートにより、Docker、Playwright (ステルス モード)、HTTP クライアント、キャッシュ、ファイル、または伝播されたフィールドを使用して、ブラウザーと同様にデータを取得します。
3. Playwright および HTTP クライアントにプロキシ サポートを提供します。
4. プラグインを介して、ファイル、Webhook、コンソールなどに情報を送信または保存できます。
5. すべてのデータ型を処理します: int、float、bool、array、object、null、string。
6. フィールドを結合 (マップリデュース) して変換します。
7. アプリケーション全体で使用できる、テンプレート構文の強力な expr ライブラリを利用します。
8. スタンドアロンのバイナリおよび Docker バージョンとして提供されます。
9. ブラウザ/Docker の使用に対するリクエスト数またはインスタンスの制限を許可します。

例

静的生成:

ここでは、ハードコードされた静的配列を生成するだけです

1.  You enter a budget.
2.  You specify a starting city or country.
3.  You set the trip duration and a range of possible start and end dates.

1.  Flight costs (parsed from Google or Kiwi).
2.  Hotel prices (from Airbnb or Booking).
3.  Food costs (retrieved from Numbeo).

現在時刻を取得する

Web サイトから情報を取得し、ユーザーに返します。

./fitter_cli_v1.0.18-darwin-amd64 --url=https://raw.githubusercontent.com/PxyUp/fitter/refs/heads/master/examples/cli/config_static_connector.json

[
        "PAGE: 1 INDEX: 0",
        "PAGE: 2 INDEX: 1",
        "PAGE: 3 INDEX: 2",
        "PAGE: 4 INDEX: 3",
        "PAGE: 5 INDEX: 4"
]

現在の Steam セールを取得する

これにより、指定されたディレクトリに sales.md

が作成されます

HackerNews からベストニュースを取得 各コメントリスト

この構成では、最初のリクエストから次のリクエストに結果を伝播するためのテンプレート構文を使用しています。

go get github.com/PxyUp/fitter

package main
import (
    "fmt"
    "github.com/PxyUp/fitter/lib"
    "github.com/PxyUp/fitter/pkg/config"
    "log"
    "net/http"
)

func main() {
    res, err := lib.Parse

ウェブサイトからすべての画像をスクレイピングしてローカルに保存します

1.  You enter a budget.
2.  You specify a starting city or country.
3.  You set the trip duration and a range of possible start and end dates.

1.  Flight costs (parsed from Google or Kiwi).
2.  Hotel prices (from Airbnb or Booking).
3.  Food costs (retrieved from Numbeo).

フィッター

Fitter は、次の機能を備えた Fitter CLI の拡張バージョンです。

1. トリガー用のHTTPサーバー
2. 電報メッセージ/Webhook として応答を返す
3. そして、現時点ではドキュメントがありません:)

使用法

このツールはさまざまな目的で使用できます:

1. ウェブスクラッパー
2. プラグインを使用したデータスクラッパー
3. 特定の負荷テストを作成する
4. チャットボットを構築 - 電報チャネルを自動化するために使用します

たとえば、このジョブは毎日最高の開発者を記事に送信します:

予定

ブラウザ ツールをさらに追加します。クリック/スクロールのように(現在はJSインジェクションのみで実行可能)
テンプレート構文の改善
カスタム テンプレート エディター構成エディターを追加
顧客向けにカスタム ワークフローを実行し、結果を APP/Watch/etc に返すためにフィッター CLI 用の SASS を検討する可能性があります。

フィードバックをお待ちしています!質問があれば質問してください

以上がFitter - さまざまなソースなどからのデータをマップリデュースするためのオープンソースのノーコード ツールです。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。