Fitter - Alat tanpa kod Sumber Terbuka untuk peta-mengurangkan data daripada sumber yang berbeza dan lebih banyak lagi!

Hello semua!

Saya Pxyup dan hari ini saya mahu mewakili anda melalui projek sumber terbuka Fitter.

PxyUp / lebih cergas

Cara baharu untuk mengumpul maklumat daripada API/Laman Web

CLI Fitter Fitter

Fitter - cara baharu untuk mengumpul maklumat daripada API/Laman Web

Fitter CLI - arahan cli kecil yang memberikan hasil daripada Fitter untuk ujian/debug/penggunaan rumah

Fitter Lib - perpustakaan yang menyediakan fungsi CLI fitter sebagai perpustakaan

Cara untuk mengumpul maklumat

1. Pelayan - menghuraikan respons daripada beberapa permintaan API atau http(penggunaan http.Client)
2. Pelayar - tiru penyemak imbas sebenar menggunakan penulis drama/cypress docker kromium dan dapatkan maklumat DOM
3. Statik - menghuraikan rentetan statik sebagai data

Format yang boleh dihuraikan

1. JSON - menghuraikan JSON untuk mendapatkan maklumat khusus
2. XML - menghuraikan pokok xml untuk mendapatkan maklumat khusus
3. HTML - menghuraikan pokok dom untuk mendapatkan maklumat khusus
4. XPath - menghuraikan pokok dom untuk mendapatkan maklumat khusus tetapi dengan xpath

Gunakan seperti perpustakaan

go get github.com/PxyUp/fitter

go get github.com/PxyUp/fitter

…

Lihat di GitHub

Bagaimana ia dicipta

Pada tahun 2023, saya mengusahakan idea yang dipanggil Pencari Perjalanan:

go get github.com/PxyUp/fitter

Pencari Perjalanan akan memantau penerbangan dan kembali kemungkinan laluan dari bandar permulaan, termasuk jumlah harga ke pelbagai destinasi, dan menghantar pemberitahuan kepada Telegram dengan:

package main
import (
    "fmt"
    "github.com/PxyUp/fitter/lib"
    "github.com/PxyUp/fitter/pkg/config"
    "log"
    "net/http"
)

func main() {
    res, err := lib.Parse

Untuk persediaan ini, saya memerlukan senarai negara, bandar dan kod lapangan terbang untuk memasangkan ke tapak yang dinyatakan. Semasa pembangunan, saya mula memikirkan betapa mudahnya jika semua maklumat ini boleh digabungkan dan dihuraikan dengan mudah untuk menyelaraskan permintaan, yang membawa kepada idea untuk projek yang saya panggil Fitter.

P.S.: Projek ini adalah untuk kegunaan peribadi.

Fitter CLI

Pengurang peta tanpa kod yang mengembalikan data dalam format mesra pengguna (JSON) atau tersuai, sesuai untuk storan dalam pangkalan data atau penghantaran melalui HTTP.

Ciri:

1. Menyokong penghuraian melalui HTML (pertanyaan), JSON (gjson), XML dan penghurai xpath.
2. Mendapat semula data seperti yang dilakukan oleh penyemak imbas, menggunakan Docker, Playwright( mod stealth), Klien HTTP, Cache, Fail atau medan disebarkan, dengan sokongan untuk pemalam tersuai.
3. Menyediakan sokongan proksi untuk Playwright dan klien HTTP.
4. Boleh menghantar atau menyimpan maklumat ke fail, webhook, konsol dan banyak lagi melalui pemalam.
5. Mengendalikan semua jenis data: int, float, bool, tatasusunan, objek, null dan rentetan.
6. Menggabungkan (mengurangkan peta) dan mengubah medan.
7. Menggunakan perpustakaan expr yang berkuasa untuk sintaks templat, yang tersedia di seluruh aplikasi.
8. Ditawarkan sebagai versi binari dan Docker kendiri.
9. Membenarkan had pada kiraan permintaan atau kejadian untuk penggunaan penyemak imbas/Docker.

Contoh

Penjanaan statik:

Di sini kami hanya akan menjana tatasusunan statik daripada berkod keras

1.  You enter a budget.
2.  You specify a starting city or country.
3.  You set the trip duration and a range of possible start and end dates.

1.  Flight costs (parsed from Google or Kiwi).
2.  Hotel prices (from Airbnb or Booking).
3.  Food costs (retrieved from Numbeo).

Dapatkan masa semasa

Dapatkan maklumat daripada tapak web dan kembalikan kepada pengguna.

./fitter_cli_v1.0.18-darwin-amd64 --url=https://raw.githubusercontent.com/PxyUp/fitter/refs/heads/master/examples/cli/config_static_connector.json

[
        "PAGE: 1 INDEX: 0",
        "PAGE: 2 INDEX: 1",
        "PAGE: 3 INDEX: 2",
        "PAGE: 4 INDEX: 3",
        "PAGE: 5 INDEX: 4"
]

Dapatkan Jualan Steam semasa

Itu akan mencipta sales.md

muslihat dalam direktori yang disediakan

Dapatkan berita terbaik daripada senarai Komen HackerNews untuk setiap satu

Dalam konfigurasi ini kami menggunakan sintaks templat untuk menyebarkan hasil daripada permintaan pertama kepada permintaan seterusnya.

go get github.com/PxyUp/fitter

package main
import (
    "fmt"
    "github.com/PxyUp/fitter/lib"
    "github.com/PxyUp/fitter/pkg/config"
    "log"
    "net/http"
)

func main() {
    res, err := lib.Parse

Kikis semua imej dari tapak web dan simpannya secara setempat

1.  You enter a budget.
2.  You specify a starting city or country.
3.  You set the trip duration and a range of possible start and end dates.

1.  Flight costs (parsed from Google or Kiwi).
2.  Hotel prices (from Airbnb or Booking).
3.  Food costs (retrieved from Numbeo).

Lebih cergas

Fitter ia adalah versi lanjutan Fitter CLI yang mempunyai:

1. Pelayan HTTP untuk pencetus
2. Kembalikan respons sebagai mesej telegram/webhook
3. Dan itu pada masa ini tidak mempunyai dokumentasi :)

Penggunaan

Alat ini boleh digunakan dalam tujuan yang berbeza:

1. Pengikis web
2. Pengikis data dengan pemalam
3. Hasilkan ujian beban khusus
4. Bina bot sembang - saya menggunakannya untuk mengautomasikan saluran telegram saya

Contohnya kerja ini setiap hari hantar Dev.to terbaik ke aritcles:

Rancangan

Tambah lebih banyak alatan penyemak imbas. Suka klik/skrol(pada masa ini hanya boleh dilakukan dengan suntikan JS)
Tingkatkan sintaks templat
Tambah editor konfigurasi editor templat tersuai
Mungkin akan memikirkan tentang SASS untuk CLI yang lebih cergas untuk menjalankan aliran kerja tersuai untuk pelanggan dan mengembalikan hasil kepada APP/Watch/dll.

Sungguh menunggu maklum balas anda! Tanya apa-apa soalan saya akan tanya

Atas ialah kandungan terperinci Fitter - Alat tanpa kod Sumber Terbuka untuk peta-mengurangkan data daripada sumber yang berbeza dan lebih banyak lagi!. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!