Elasticsearch と PHP を使用してリアルタイム Web クローラーを構築する方法-PHPチュートリアル-php.cn

ホームページ

バックエンド開発

PHPチュートリアル

Elasticsearch と PHP を使用してリアルタイム Web クローラーを構築する方法

王林

Jul 07, 2023 pm 12:33 PM

phpウェブクローラーelasticsearch

Elasticsearch と PHP を使用してリアルタイム Web クローラーを構築する方法

はじめに:
Web クローラーは、インターネットから情報を収集し、それを整理および分析する自動プログラムです。 Elasticsearch は、高速でリアルタイムの検索および分析機能を提供するオープンソースの検索エンジンです。 PHP は、人気のあるサーバーサイドスクリプト言語です。 Elasticsearch と PHP を組み合わせると、Web サイトからデータを収集し、検索と分析のために Elasticsearch に保存するリアルタイム Web クローラーを構築できます。

ステップ 1: Elasticsearch をインストールして構成する
まず、サーバーに Elasticsearch をインストールして構成する必要があります。 Elasticsearch 公式 Web サイトからオペレーティングシステムに適したバージョンをダウンロードし、公式ドキュメントに従ってインストールおよび設定できます。

ステップ 2: Elasticsearch インデックスを設定する
Elasticsearch では、データはインデックスに保存されます。インデックスの構造とフィールドを定義する必要があります。以下は、Web サイトからクロールしたデータを保存するためのインデックス定義の例です。

PUT my_index
{
  "mappings": {
    "properties": {
      "title": {
        "type": "text"
      },
      "content": {
        "type": "text"
      },
      "url": {
        "type": "keyword"
      }
    }
  }
}

ここでは、「title」、「content」、「url」の 3 つのフィールドを含む「my_index」という名前のインデックスを定義します。「タイトル」および「コンテンツ」フィールドは「テキスト」タイプであり、「URL」フィールドは「キーワード」タイプです。ニーズに応じてさらに多くのフィールドを定義できます。

ステップ 3: PHP クローラーコードを作成する
次に、PHP を使用して、指定された Web サイトからデータをクロールし、そのデータを Elasticsearch に保存する単純な Web クローラーを作成します。コード例を次に示します。

<?php

// 定义需要抓取的目标网站URL
$targetUrl = "https://www.example.com";

// 创建一个Elasticsearch客户端实例
$esClient = new ElasticsearchClient();

// 从目标网站上获取HTML内容
$htmlContent = file_get_contents($targetUrl);

// 使用正则表达式提取标题和内容
preg_match('/<title>(.*?)</title>/', $htmlContent, $titleMatches);
preg_match('/<body>(.*?)</body>/', $htmlContent, $contentMatches);

// 抓取到的数据
$title = $titleMatches[1];
$content = strip_tags($contentMatches[1]); // 去除HTML标签

// 构建文档
$document = [
    'index' => 'my_index',
    'body' => [
        'title' => $title,
        'content' => $content,
        'url' => $targetUrl
    ]
];

// 将文档存储到Elasticsearch中
$esClient->index($document);

echo "数据已成功存储到Elasticsearch中！";

?>

このコードでは、まずクロールするターゲット Web サイトの URL を定義します。次に、Elasticsearch と対話するための Elasticsearch クライアントインスタンスが作成されました。次に、file_get_contents 関数を使用してターゲット Web サイトの HTML コンテンツを取得し、正規表現を使用してタイトルとコンテンツを抽出します。最後に、ドキュメントが構築され、Elasticsearch に保存されます。保存操作にはElasticsearchが提供するインデックス機能を利用します。

ステップ 4: クローラーコードを実行する
上記のコードを PHP ファイルに保存し、サーバーにアップロードします。次に、ターミナルまたはコマンドラインでファイルを実行して、クローラーの実行を開始します。

$ php crawler.php

クローラーは、指定された Web サイトからデータをクロールし、Elasticsearch に保存します。

結論:
Elasticsearch と PHP を組み合わせることで、シンプルだが強力なリアルタイム Web クローラーを構築できます。 Elasticsearch の検索および分析機能を使用すると、クロールされたデータを簡単に検索および分析できます。この記事がお役に立てば幸いです。独自のリアルタイム Web クローラーの構築に挑戦してください。

以上がElasticsearch と PHP を使用してリアルタイム Web クローラーを構築する方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

声明

この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

アクション中のPHP：実際の例とアプリケーションApr 14, 2025 am 12:19 AM

PHPは、電子商取引、コンテンツ管理システム、API開発で広く使用されています。 1）eコマース：ショッピングカート機能と支払い処理に使用。 2）コンテンツ管理システム：動的コンテンツの生成とユーザー管理に使用されます。 3）API開発：RESTFUL API開発とAPIセキュリティに使用されます。パフォーマンスの最適化とベストプラクティスを通じて、PHPアプリケーションの効率と保守性が向上します。

PHP：インタラクティブなWebコンテンツを簡単に作成しますApr 14, 2025 am 12:15 AM

PHPにより、インタラクティブなWebコンテンツを簡単に作成できます。 1）HTMLを埋め込んでコンテンツを動的に生成し、ユーザー入力またはデータベースデータに基づいてリアルタイムで表示します。 2）プロセスフォームの提出と動的出力を生成して、XSSを防ぐためにHTMLSPECIALCHARSを使用していることを確認します。 3）MySQLを使用してユーザー登録システムを作成し、Password_HashおよびPreprocessingステートメントを使用してセキュリティを強化します。これらの手法を習得すると、Web開発の効率が向上します。

PHPとPython：2つの一般的なプログラミング言語を比較しますApr 14, 2025 am 12:13 AM

PHPとPythonにはそれぞれ独自の利点があり、プロジェクトの要件に従って選択します。 1.PHPは、特にWebサイトの迅速な開発とメンテナンスに適しています。 2。Pythonは、データサイエンス、機械学習、人工知能に適しており、簡潔な構文を備えており、初心者に適しています。

PHPは依然として動的であり、現代のプログラミングの分野で重要な位置を占めています。 1）PHPのシンプルさと強力なコミュニティサポートにより、Web開発で広く使用されています。 2）その柔軟性と安定性により、Webフォーム、データベース操作、ファイル処理の処理において顕著になります。 3）PHPは、初心者や経験豊富な開発者に適した、常に進化し、最適化しています。

PHPの現在のステータス：Web開発動向を見てくださいApr 13, 2025 am 12:20 AM

PHPは、現代のWeb開発、特にコンテンツ管理とeコマースプラットフォームで依然として重要です。 1）PHPには、LaravelやSymfonyなどの豊富なエコシステムと強力なフレームワークサポートがあります。 2）パフォーマンスの最適化は、Opcacheとnginxを通じて達成できます。 3）PHP8.0は、パフォーマンスを改善するためにJITコンパイラを導入します。 4）クラウドネイティブアプリケーションは、DockerおよびKubernetesを介して展開され、柔軟性とスケーラビリティを向上させます。

PHP対その他の言語：比較Apr 13, 2025 am 12:19 AM

PHPは、特に迅速な開発や動的なコンテンツの処理に適していますが、データサイエンスとエンタープライズレベルのアプリケーションには良くありません。 Pythonと比較して、PHPはWeb開発においてより多くの利点がありますが、データサイエンスの分野ではPythonほど良くありません。 Javaと比較して、PHPはエンタープライズレベルのアプリケーションでより悪化しますが、Web開発により柔軟性があります。 JavaScriptと比較して、PHPはバックエンド開発により簡潔ですが、フロントエンド開発のJavaScriptほど良くありません。

PHP対Python：コア機能と機能Apr 13, 2025 am 12:16 AM

PHPとPythonにはそれぞれ独自の利点があり、さまざまなシナリオに適しています。 1.PHPはWeb開発に適しており、組み込みのWebサーバーとRich Functionライブラリを提供します。 2。Pythonは、簡潔な構文と強力な標準ライブラリを備えたデータサイエンスと機械学習に適しています。選択するときは、プロジェクトの要件に基づいて決定する必要があります。

PHP：Web開発の重要な言語Apr 13, 2025 am 12:08 AM

PHPは、サーバー側で広く使用されているスクリプト言語で、特にWeb開発に適しています。 1.PHPは、HTMLを埋め込み、HTTP要求と応答を処理し、さまざまなデータベースをサポートできます。 2.PHPは、ダイナミックWebコンテンツ、プロセスフォームデータ、アクセスデータベースなどを生成するために使用され、強力なコミュニティサポートとオープンソースリソースを備えています。 3。PHPは解釈された言語であり、実行プロセスには語彙分析、文法分析、編集、実行が含まれます。 4.PHPは、ユーザー登録システムなどの高度なアプリケーションについてMySQLと組み合わせることができます。 5。PHPをデバッグするときは、error_reporting（）やvar_dump（）などの関数を使用できます。 6. PHPコードを最適化して、キャッシュメカニズムを使用し、データベースクエリを最適化し、組み込み関数を使用します。 7

See all articles

ホットAIツール

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

脱衣画像を無料で

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

ZendStudio 13.5.1 Mac

強力な PHP 統合開発環境

SublimeText3 英語版

推奨: Win バージョン、コードプロンプトをサポート!

DVWA

Damn Vulnerable Web App (DVWA) は、非常に脆弱な PHP/MySQL Web アプリケーションです。その主な目的は、セキュリティ専門家が法的環境でスキルとツールをテストするのに役立ち、Web 開発者が Web アプリケーションを保護するプロセスをより深く理解できるようにし、教師/生徒が教室環境で Web アプリケーションを教え/学習できるようにすることです。安全。 DVWA の目標は、シンプルでわかりやすいインターフェイスを通じて、さまざまな難易度で最も一般的な Web 脆弱性のいくつかを実践することです。このソフトウェアは、