Fitter - 다양한 소스 등의 지도 축소 데이터를 위한 오픈 소스 코드 없는 도구입니다!

여러분, 안녕하세요!

저는 Pxyup이고 오늘은 오픈 소스 프로젝트 Fitter를 대표하고 싶습니다.

PxyUp / 맞추는 사람

API/웹사이트에서 정보를 수집하는 새로운 방법

피터 피터 CLI

Fitter - API/웹사이트에서 정보를 수집하는 새로운 방법

Fitter CLI - 테스트/디버그/가정 사용을 위해 Fitter의 결과를 제공하는 작은 cli 명령

Fitter Lib - fitter CLI의 기능을 라이브러리로 제공하는 라이브러리

정보수집방법

1. 서버 - 일부 API 또는 http 요청의 응답을 구문 분석합니다(http.Client 사용)
2. 브라우저 - chromium docker playwright/cypress를 사용하여 실제 브라우저를 에뮬레이트하고 DOM 정보를 가져옵니다
3. Static - 정적 문자열을 데이터로 구문 분석

파싱할 수 있는 형식

1. JSON - 특정 정보를 얻기 위해 JSON을 구문 분석합니다
2. XML - 특정 정보를 얻기 위해 XML 트리를 구문 분석
3. HTML - 특정 정보를 얻기 위해 DOM 트리를 구문 분석
4. XPath - 특정 정보를 얻기 위해 DOM 트리를 구문 분석하지만 xpath를 사용합니다

도서관처럼 이용하세요

go get github.com/PxyUp/fitter

go get github.com/PxyUp/fitter

…

GitHub에서 보기

어떻게 만들어졌나요?

2023년에는 Trip Searcher라는 아이디어를 작업했습니다.

go get github.com/PxyUp/fitter

여행 검색기는 항공편을 모니터링하고 다양한 목적지까지의 총 가격을 포함하여 출발 도시에서 잠재적인 경로를 반환하고 다음을 통해 Telegram에 알림을 보냅니다.

package main
import (
    "fmt"
    "github.com/PxyUp/fitter/lib"
    "github.com/PxyUp/fitter/pkg/config"
    "log"
    "net/http"
)

func main() {
    res, err := lib.Parse

이 설정을 위해서는 언급된 사이트에 연결할 국가, 도시 및 공항 코드 목록이 필요했습니다. 개발 과정에서 저는 이 모든 정보를 쉽게 결합하고 구문 분석하여 요청을 간소화할 수 있다면 얼마나 편리할지 생각하기 시작했고, 이것이 제가 Fitter라고 부르는 프로젝트에 대한 아이디어로 이어졌습니다.

P.S.: 본 프로젝트는 개인적인 용도로 제작되었습니다.

피터 CLI

데이터베이스에 저장하거나 HTTP를 통해 전송하기에 적합한 사용자 친화적인(JSON) 또는 사용자 정의 형식으로 데이터를 반환하는 코드가 없는 맵 감속기입니다.

특징:

1. HTML(쿼리), JSON(gjson), XML, xpath 파서를 통한 파싱을 지원합니다.
2. Docker, Playwright(스텔스 모드), HTTP 클라이언트, 캐시, 파일 또는 전파 필드를 사용하고 사용자 정의 플러그인을 지원하여 브라우저처럼 데이터를 검색합니다.
3. Playwright 및 HTTP 클라이언트에 대한 프록시 지원을 제공합니다.
4. 플러그인을 통해 파일, 웹훅, 콘솔 등에 정보를 보내거나 저장할 수 있습니다.
5. int, float, bool, array, object, null, string 등 모든 데이터 유형을 처리합니다.
6. 필드를 결합(맵 축소)하고 변환합니다.
7. 애플리케이션 전체에서 사용할 수 있는 강력한 expr 라이브러리를 템플릿 구문에 활용합니다.
8. 독립 실행형 바이너리 및 Docker 버전으로 제공됩니다.
9. 브라우저/Docker 사용에 대한 요청 수 또는 인스턴스에 대한 제한을 허용합니다.

예

정적 생성:

여기에서는 하드코딩된 정적 배열을 생성하겠습니다

1.  You enter a budget.
2.  You specify a starting city or country.
3.  You set the trip duration and a range of possible start and end dates.

1.  Flight costs (parsed from Google or Kiwi).
2.  Hotel prices (from Airbnb or Booking).
3.  Food costs (retrieved from Numbeo).

현재 시간 가져오기

웹사이트에서 정보를 얻어 사용자에게 반환합니다.

./fitter_cli_v1.0.18-darwin-amd64 --url=https://raw.githubusercontent.com/PxyUp/fitter/refs/heads/master/examples/cli/config_static_connector.json

[
        "PAGE: 1 INDEX: 0",
        "PAGE: 2 INDEX: 1",
        "PAGE: 3 INDEX: 2",
        "PAGE: 4 INDEX: 3",
        "PAGE: 5 INDEX: 4"
]

현재 Steam 매출 확인

제공된 디렉토리에 sales.md

파일이 생성됩니다

각각에 대한 HackerNews 댓글 목록에서 최고의 뉴스를 받아보세요

이 구성에서는 첫 번째 요청의 결과를 다음 요청으로 전파하기 위해 템플릿 구문을 사용합니다.

go get github.com/PxyUp/fitter

package main
import (
    "fmt"
    "github.com/PxyUp/fitter/lib"
    "github.com/PxyUp/fitter/pkg/config"
    "log"
    "net/http"
)

func main() {
    res, err := lib.Parse

웹사이트에서 모든 이미지를 긁어내어 로컬에 저장

1.  You enter a budget.
2.  You specify a starting city or country.
3.  You set the trip duration and a range of possible start and end dates.

1.  Flight costs (parsed from Google or Kiwi).
2.  Hotel prices (from Airbnb or Booking).
3.  Food costs (retrieved from Numbeo).

맞추는 사람

Fitter는 다음 기능을 갖춘 Fitter CLI의 확장 버전입니다.

1. 트리거용 HTTP 서버
2. 텔레그램 메시지/웹훅으로 응답 반환
3. 현재 문서가 없습니다 :)

용법

이 도구는 다양한 용도로 사용될 수 있습니다.

1. 웹 스크래퍼
2. 플러그인이 포함된 데이터 스크래퍼
3. 특정 부하 테스트 생성
4. 채팅 봇 구축 - 텔레그램 채널 자동화에 사용합니다

예를 들어 이 작업은 매일 최고의 Dev.to 기사를 보냅니다.

계획

더 많은 브라우저 도구를 추가하세요. 클릭/스크롤 처럼(현재는 JS 인젝션으로만 가능)
템플릿 구문 개선
맞춤 템플릿 편집기 구성 편집기 추가
고객을 위한 맞춤형 워크플로를 실행하고 결과를 APP/Watch/etc로 반환하기 위해 더 적합한 CLI를 위한 SASS를 고려할 수도 있습니다.

여러분의 피드백을 정말 기다려주세요! 질문은 무엇이든 물어보세요

위 내용은 Fitter - 다양한 소스 등의 지도 축소 데이터를 위한 오픈 소스 코드 없는 도구입니다!의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!