Elasticsearch와 PHP를 사용하여 실시간 웹 크롤러를 구축하는 방법
- 王林원래의
- 2023-07-07 12:33:251579검색
Elasticsearch와 PHP를 사용하여 실시간 웹 크롤러를 구축하는 방법
소개:
웹 크롤러는 인터넷에서 정보를 수집하여 정리하고 분석하는 자동화된 프로그램입니다. Elasticsearch는 빠른 실시간 검색 및 분석 기능을 제공하는 오픈 소스 검색 엔진입니다. PHP는 널리 사용되는 서버 측 스크립팅 언어입니다. Elasticsearch와 PHP를 결합하면 웹사이트에서 데이터를 스크랩하고 검색 및 분석을 위해 Elasticsearch에 저장하는 실시간 웹 크롤러를 구축할 수 있습니다.
1단계: Elasticsearch 설치 및 구성
먼저 서버에 Elasticsearch를 설치하고 구성해야 합니다. Elasticsearch 공식 홈페이지에서 사용하시는 운영체제에 맞는 버전을 다운로드 하신 후, 공식 문서에 따라 설치 및 구성하시면 됩니다.
2단계: Elasticsearch 인덱스 설정
Elasticsearch에서는 데이터가 인덱스에 저장됩니다. 인덱스의 구조와 필드를 정의해야 합니다. 다음은 웹사이트에서 스크랩한 데이터를 저장하기 위한 인덱스 정의의 예입니다.
PUT my_index
{
"mappings": {
"properties": {
"title": {
"type": "text"
},
"content": {
"type": "text"
},
"url": {
"type": "keyword"
}
}
}
}여기에서는 "title", "content" 및 "url" 세 개의 필드를 포함하는 "my_index"라는 인덱스를 정의합니다. "title" 및 "content" 필드는 "text" 유형이고 "url" 필드는 "keyword" 유형입니다. 필요에 따라 더 많은 필드를 정의할 수 있습니다.
3단계: PHP 크롤러 코드 작성
다음으로, PHP를 사용하여 지정된 웹사이트에서 데이터를 크롤링하고 Elasticsearch에 데이터를 저장하는 간단한 웹 크롤러를 작성하겠습니다. 다음은 예제 코드입니다.
<?php
// 定义需要抓取的目标网站URL
$targetUrl = "https://www.example.com";
// 创建一个Elasticsearch客户端实例
$esClient = new ElasticsearchClient();
// 从目标网站上获取HTML内容
$htmlContent = file_get_contents($targetUrl);
// 使用正则表达式提取标题和内容
preg_match('/<title>(.*?)</title>/', $htmlContent, $titleMatches);
preg_match('/<body>(.*?)</body>/', $htmlContent, $contentMatches);
// 抓取到的数据
$title = $titleMatches[1];
$content = strip_tags($contentMatches[1]); // 去除HTML标签
// 构建文档
$document = [
'index' => 'my_index',
'body' => [
'title' => $title,
'content' => $content,
'url' => $targetUrl
]
];
// 将文档存储到Elasticsearch中
$esClient->index($document);
echo "数据已成功存储到Elasticsearch中！";
?>이 코드에서는 먼저 크롤링할 대상 웹사이트 URL을 정의합니다. 그런 다음 Elasticsearch와 상호 작용하기 위해 Elasticsearch 클라이언트 인스턴스가 생성되었습니다. 다음으로 file_get_contents 함수를 사용하여 대상 웹사이트의 HTML 콘텐츠를 가져온 후 정규식을 사용하여 제목과 콘텐츠를 추출합니다. 마지막으로 문서가 Elasticsearch에 작성되어 저장됩니다. 저장 작업은 Elasticsearch에서 제공하는 인덱스 기능을 사용합니다.
4단계: 크롤러 코드 실행
위 코드를 PHP 파일에 저장하고 서버에 업로드하세요. 그런 다음 터미널이나 명령줄에서 파일을 실행하여 크롤러 실행을 시작합니다.
$ php crawler.php
크롤러는 지정된 웹사이트에서 데이터를 크롤링하여 Elasticsearch에 저장합니다.
결론:
Elasticsearch와 PHP를 결합하면 간단하면서도 강력한 실시간 웹 크롤러를 구축할 수 있습니다. Elasticsearch의 검색 및 분석 기능을 사용하면 크롤링된 데이터를 쉽게 검색하고 분석할 수 있습니다. 이 기사가 여러분에게 도움이 되기를 바랍니다. 가서 여러분만의 실시간 웹 크롤러를 만들어 보세요!
위 내용은 Elasticsearch와 PHP를 사용하여 실시간 웹 크롤러를 구축하는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!