PHP 웹사이트 크롤링 라이브러리

<?php
header("Content-Type: text/html; charset=UTF-8");
require("phpQuery.php");
$hj = QueryList::Query('http://mobile.csdn.net/',array("title"=>array('.unit h1','text')));
//dump($hj->data);
$data = QueryList::Query('http://cms.querylist.cc/bizhi/453.html',array(
    'image' => array('img','src')
    ))->data;
//
$data = QueryList::Query('http://cms.querylist.cc/google/list_1.html',array(
    'link' => array('a','href')
    ))->data;
$page = 'http://cms.querylist.cc/news/566.html';
$reg = array(
    'title' => array('h1','text'),
    'date' => array('.pt_info','text','-span -a',function($content){
        $arr = explode(' ',$content);
        return $arr[0];
    }),
    'content' => array('.post_content','html','a -.content_copyright -script',function($content){
     
            $doc = phpQuery::newDocumentHTML($content);
            $imgs = pq($doc)->find('img');
            foreach ($imgs as $img) {
                $src = 'http://cms.querylist.cc'.pq($img)->attr('src');
                $localSrc = 'w/'.md5($src).'.jpg';
                $stream = file_get_contents($src);
                file_put_contents($localSrc,$stream);
                pq($img)->attr('src',$localSrc);
            }
            return $doc->htmlOuter();
    })
    );
$rang = '.content';
$ql = QueryList::Query($page,$reg,$rang);
$data = $ql->getData();
dump($data);

는 웹사이트 크롤링과 크롤링을 지원합니다. PHP를 기반으로 하는 서버측 오픈 소스 프로젝트로, PHP 개발자가 뉴스 웹사이트의 헤드라인 정보를 얻는 등 DOM 문서 콘텐츠를 쉽게 처리할 수 있습니다. 더 흥미로운 점은 ​​​​jQuery의 아이디어를 사용한다는 것입니다. jQuery를 사용하는 것처럼 페이지 내용을 처리하여 원하는 페이지 정보를 얻을 수 있습니다.

관련 기사

PHP 개발 실습: 온라인 라이브러리 플랫폼 구축

27Oct2023

PHP 개발 실습: 온라인 도서관 플랫폼 구축 지속적인 기술 개발로 인해 전통적인 도서관 서비스 모델은 점차 디지털 및 온라인 도서관 플랫폼으로 대체되고 있습니다. 보다 편리하고 효율적인 도서관 서비스를 제공하고자 하는 기관이나 단체에게 온라인 도서관 플랫폼을 구축하는 것은 매우 효과적인 방법입니다. 이 기사에서는 PHP를 사용하여 모든 기능을 갖춘 사용자 친화적인 온라인 라이브러리 플랫폼을 개발하는 방법을 소개합니다. 1. 요구사항 분석 온라인 도서관 플랫폼을 구축하기 전에 먼저 플랫폼의 기능을 명확히 해야 합니다.

PHP 크롤링 웹사이트 이미지 스크립트

29Jul2016

: 이 글은 주로 웹사이트 이미지를 가져오는 PHP 스크립트를 소개합니다. PHP 튜토리얼에 관심이 있는 학생들은 참고할 수 있습니다.

Java로 간단한 버전의 도서관 관리 시스템을 구현하는 자세한 예

15Jul2022

이 기사에서는 Java에 대한 관련 지식을 제공하며, 도서관 관리 시스템의 기능 분석, IDEA에서 기능적 클래스 생성 및 사용자 관련 작업 수행을 포함하여 간단한 버전의 도서관 관리 시스템 구현과 관련된 문제를 주로 정리합니다. 처리과정 및 기타 내용을 살펴보시고 모든 분들께 도움이 되었으면 좋겠습니다.

Baidu Spider의 웹사이트 크롤링 기본 규칙

01Dec2016

웹사이트를 최적화하는 사람들은 검색 엔진 스파이더가 웹사이트를 빠르게 크롤링할 수 있기를 바랍니다. 이것이 바로 모두가 바라는 것입니다. 하지만 스파이더가 SEO 웹사이트를 크롤링하는 기본 규칙은 무엇입니까?

Node.js+Chrome+Puppeteer를 사용하여 웹사이트 크롤링

16Sep2020

이 튜토리얼에서는 JavaScript를 사용하여 웹을 자동화하고 정리하는 방법을 배웁니다. 이를 위해 Puppeteer를 사용하겠습니다. Puppeteer는 헤드리스 Chrome을 제어할 수 있는 노드 라이브러리 API입니다.

Java를 사용하여 간단한 라이브러리 관리 시스템을 구현하는 방법은 무엇입니까?

04Nov2023

디지털 시대의 도래로 인해 전통적인 도서관 관리 방식은 더 이상 사람들의 요구를 충족시킬 수 없습니다. 컴퓨터 기술을 사용하면 도서관 관리의 효율성과 정확성이 크게 향상될 수 있습니다. 이 기사에서는 Java를 사용하여 간단한 라이브러리 관리 시스템을 작성하는 방법을 자세히 설명합니다. 1. 요구사항 분석 도서관 관리 시스템 작성을 시작하기 전에 요구사항을 분석해야 합니다. 구현해야 할 기능은 다음과 같습니다. 1) 도서 추가: 도서명, 저자, 출판사, 가격 및 기타 정보를 입력합니다. 2) 도서 삭제 : 도서에 따라

See all articles