php Webサイトクローリングライブラリ

<?php
header("Content-Type: text/html; charset=UTF-8");
require("phpQuery.php");
$hj = QueryList::Query('http://mobile.csdn.net/',array("title"=>array('.unit h1','text')));
//dump($hj->data);
$data = QueryList::Query('http://cms.querylist.cc/bizhi/453.html',array(
    'image' => array('img','src')
    ))->data;
//
$data = QueryList::Query('http://cms.querylist.cc/google/list_1.html',array(
    'link' => array('a','href')
    ))->data;
$page = 'http://cms.querylist.cc/news/566.html';
$reg = array(
    'title' => array('h1','text'),
    'date' => array('.pt_info','text','-span -a',function($content){
        $arr = explode(' ',$content);
        return $arr[0];
    }),
    'content' => array('.post_content','html','a -.content_copyright -script',function($content){
     
            $doc = phpQuery::newDocumentHTML($content);
            $imgs = pq($doc)->find('img');
            foreach ($imgs as $img) {
                $src = 'http://cms.querylist.cc'.pq($img)->attr('src');
                $localSrc = 'w/'.md5($src).'.jpg';
                $stream = file_get_contents($src);
                file_put_contents($localSrc,$stream);
                pq($img)->attr('src',$localSrc);
            }
            return $doc->htmlOuter();
    })
    );
$rang = '.content';
$ql = QueryList::Query($page,$reg,$rang);
$data = $ql->getData();
dump($data);

は、Web サイトのクロールとクローリングをサポートしています。非常に強力です。これは、PHP に基づいたサーバー側のオープン ソース プロジェクトです。PHP 開発者は、ニュース Web サイトのヘッドライン情報の取得など、DOM ドキュメント コンテンツを簡単に処理できます。さらに興味深いのは、jQuery の考え方を使用していることで、jQuery を使用するのと同じようにページのコンテンツを処理して、必要なページ情報を取得することができます。

関連記事

cURL はどのように PHP での HTTP リクエストを容易にするのですか?

30Nov2024

cURL: PHP の HTTP リクエスト ハンドラー PHP 開発の分野では、「cURL」という用語が頻繁に登場します。それは図書館です...

2025年に知るべきトップ50のPythonライブラリ

16Mar2025

Python：AIとデータサイエンスの未来へのゲートウェイ Pythonの比類のない汎用性と読みやすさは、データサイエンス、機械学習、人工知能の優先言語としてのステータスを固めています。 その広範な図書館のエコシス

App Engine 上の Golang アプリケーションでパスワードを保護するにはどうすればよいですか?

30Oct2024

App Engine 上の Golang でパスワードを保護するWeb アプリケーションのパスワード ハッシュに関しては、セキュリティが最も重要です。人気の図書館ですが...

iTextSharp を使用してテキストの書式設定情報 (フォント、サイズなど) を抽出するにはどうすればよいですか?

11Jan2025

iTextSharp でテキストの書式設定を行うにはどうすればよいですか?はい、iTextSharp でテキストの書式設定を行うことができます。図書館では次のようなサービスを提供しています...

無料のjqueryオンラインエディター

05Mar2025

JSFiddle：便利なオンラインjQueryコードエディター JSFiddleは、開発者がjQueryコードを書き、テスト、デバッグすることを促進する強力なオンラインエディターです。それは、HTML、CSS、およびJavaScript/jQueryコードの入力にそれぞれ使用され、結果をリアルタイムで表示するために使用されるスプリットスクリーンインターフェイスを使用します。これは、非個人的なコンピューターでコードをテストしたり、異なるjQueryバージョン間のコードの違いを比較したりするのに非常に役立ちます。 JQueryに加えて、Mootools、Prototype、Yui、Glow、Dojo、その他の図書館もサポートしています。 jsfiddleの例 JSFiddle FAQ JSFiddleおよびその他のオンライン

PINIAのコア概念を説明する：店、州、ゲッター、アクション。

26Mar2025

この記事では、vue.jsの州管理図書館であるPiniaについて説明し、そのコアコンセプト、ストア、州、ゲッター、アクションに焦点を当てています。 Piniaを使用するためのベストプラクティスを探索し、GettersをVue.js計算プロパティと対比し、強調します

See all articles