bibliothèque d'exploration de sites Web php

<?php
header("Content-Type: text/html; charset=UTF-8");
require("phpQuery.php");
$hj = QueryList::Query('http://mobile.csdn.net/',array("title"=>array('.unit h1','text')));
//dump($hj->data);
$data = QueryList::Query('http://cms.querylist.cc/bizhi/453.html',array(
    'image' => array('img','src')
    ))->data;
//
$data = QueryList::Query('http://cms.querylist.cc/google/list_1.html',array(
    'link' => array('a','href')
    ))->data;
$page = 'http://cms.querylist.cc/news/566.html';
$reg = array(
    'title' => array('h1','text'),
    'date' => array('.pt_info','text','-span -a',function($content){
        $arr = explode(' ',$content);
        return $arr[0];
    }),
    'content' => array('.post_content','html','a -.content_copyright -script',function($content){
     
            $doc = phpQuery::newDocumentHTML($content);
            $imgs = pq($doc)->find('img');
            foreach ($imgs as $img) {
                $src = 'http://cms.querylist.cc'.pq($img)->attr('src');
                $localSrc = 'w/'.md5($src).'.jpg';
                $stream = file_get_contents($src);
                file_put_contents($localSrc,$stream);
                pq($img)->attr('src',$localSrc);
            }
            return $doc->htmlOuter();
    })
    );
$rang = '.content';
$ql = QueryList::Query($page,$reg,$rang);
$data = $ql->getData();
dump($data);

prend en charge l'exploration de sites Web et l'exploration. Il est très puissant. Il s'agit d'un projet open source côté serveur basé sur PHP. Il permet aux développeurs PHP de traiter facilement le contenu d'un document DOM, par exemple pour obtenir les informations principales d'un site Web d'actualités. Ce qui est plus intéressant, c'est qu'il utilise l'idée de​​jQuery. Vous pouvez traiter le contenu de la page comme si vous utilisiez jQuery pour obtenir les informations de page souhaitées.

Article connexe

Le robot d'exploration Python explore les sites Web de drames américains

27Feb2017

J'ai appris les robots d'exploration Python, alors aujourd'hui, j'ai écrit un robot sur un coup de tête pour récupérer tous les liens de drames américains sur le site Web et les enregistrer dans un document texte. Si vous voulez un drame, ouvrez-le simplement et copiez le lien vers Xunlei. téléchargez-le.

[Python] Web Crawler (5) : détails d'utilisation de urllib2 et des techniques d'exploration de sites Web

21Jan2017

J'ai mentionné une simple introduction à urllib2 plus tôt, et voici quelques détails sur la façon d'utiliser urllib2.

Comment créer un robot d'exploration Web de base en PHP ?

11Nov2024

Explorer avec PHPDans le paysage numérique actuel, la possibilité de récupérer et de stocker des données à partir de plusieurs pages Web est un atout précieux. Cet article...

Exemples de sites Web PHP qui prouvent que PHP domine toujours

05Nov2024

PHP est un langage très populaire pour créer des sites Web. À l’origine, cela signifiait Personal Home Page et Hypertext Preprocessor. PHP est un langage dynamique côté serveur, ce qui signifie qu'il s'exécute sur le serveur avant le chargement d'une page pour l'utilisateur. Malgré une forte c

Comment puis-je extraire des données de sites Web à l'aide de PHP Web Scraping ?

19Nov2024

Comment fonctionne le Web Scraping avec PHPLe Web Scraping implique trois étapes principales : Demande d'URL : utilisez GET ou POST pour récupérer des données à partir d'un...

Comment extraire des données de sites Web en PHP à l'aide du Web Scraping

17Oct2024

**Web Scraping en PHP : extraction

See all articles