Symfony의 Domcrawler와 함께 이미지 스크래핑

내 사진 작가 친구는 인터넷에서 그림 프레임의 이미지를 찾아 다운로드하도록 간청했습니다. 나는 결국 많은 웹 페이지에 무료로 사용할 수있는 웹 페이지에 착륙했지만 문제가있었습니다. 모든 이미지를 함께 다운로드 할 수있는 링크는 존재하지 않았습니다.

나는 이미지를 개별적으로 다운로드하는 스트레스를 받고 싶지 않았으므로 웹 사이트에서 찾은 모든 이미지를 찾고 다운로드하고 지퍼하기 위해이 PHP 클래스를 작성했습니다. 키 테이크 아웃

PHP 클래스는 Symfony의 Domcrawler 구성 요소를 사용하여 웹 페이지에서 이미지를 긁어 내고 폴더로 다운로드하여 저장하고 폴더의 zip 아카이브를 작성한 다음 폴더를 삭제합니다. 이 클래스는 웹 사이트에서 여러 이미지를 다운로드하는 프로세스를 자동화하도록 설계되었습니다. 클래스에는 5 개의 개인 속성과 8 개의 공개 방법이 포함됩니다. 속성은 폴더 이름, 웹 페이지 URL, HTML 문서 코드, ZIP 파일 이름 및 작동 상태와 같은 정보를 저장합니다. 이 방법에는 폴더 및 파일 이름을 설정하고 Domcrawler를 인스턴스화하고 이미지 다운로드 및 저장, ZIP 파일 생성, 폴더 삭제 및 작업 상태를 얻는 기능이 포함됩니다. 클래스를 사용하려면 AUTOROAD를 통해 또는 명시 적으로 필요한 모든 파일이 포함되어야합니다. SetFolder 및 SetFileName 메소드는 해당 인수와 함께 호출되어야하며 프로세스 방법을 호출하여 클래스를 작동시킵니다. 클래스가 작동하려면 Domcrawler 구성 요소 및 Create_ZIP 함수가 포함되어야합니다.

클래스가 작동하는 방법 이미지에 대한 URL을 검색하고 다운로드하고 이미지를 폴더에 저장하고 폴더의 ZIP 아카이브를 작성하고 마지막으로 폴더를 삭제합니다.

. 클래스는 Symfony의 Domcrawler 구성 요소를 사용하여 웹 페이지에있는 모든 이미지 링크와 zip 파일을 생성하는 사용자 정의 zip 함수를 검색합니다. 지퍼 기능에 대한 David Walsh에게 신용 클래스 코딩 클래스는 5 개의 개인 속성과 __construct Magic Method를 포함한 8 개의 공개 방법으로 구성됩니다.

아래는 클래스 속성과 그 역할의 목록입니다.
• 1. $ 폴더 : 스크래그 이미지가 포함 된 폴더의 이름을 저장합니다.
2. $ URL : 웹 페이지 URL을 저장합니다.
• 3. $ HTML : 웹 페이지의 HTML 문서 코드를 스포팅 할 예정입니다.
4. $ filename : zip 파일의 이름을 저장합니다.
• 5. $ 상태 : 작업 상태를 저장합니다. 즉, 성공 또는 실패라면.
수업 구축을 시작합시다.

위 5 가지 속성을 포함하는 클래스 zipimages를 만듭니다.

<__> URL을 인수로 받아들이는 __Construct Magic 메소드를 만듭니다.

이 방법은 상당히 자명합니다.

생성 된 zip 아카이브에는 스크래프 이미지가 포함 된 폴더가 있습니다. 아래의 setfolder 메소드는이를 구성합니다 기본적으로 폴더 이름은 이미지로 설정되지만이 메소드는 폴더 이름을 인수로 전달하여 폴더 이름을 변경하는 옵션을 제공합니다.

> setFileName은 기본 이름을 ZipImages로 설정 한 Zip 파일의 이름을 변경하는 옵션을 제공합니다.

<span><span><?php </span></span><span><span>class ZipImages {
</span></span><span>    <span>private $folder;
</span></span><span>    <span>private $url;
</span></span><span>    <span>private $html;
</span></span><span>    <span>private $fileName;
</span></span><span>    <span>private $status;</span></span></span>

이 시점에서, 우리는 이미지를 검색하기 위해 Symfony Crawler 구성 요소를 인스턴스화 한 다음 모든 이미지를 폴더에 다운로드하여 저장합니다.

.

다운로드가 완료되면 사용자 정의 Create_ZIP 함수를 사용하여 이미지 폴더를 Zip 아카이브로 압축합니다.

<span>public function __construct($url) {
</span>    <span>$this->url = $url; 
</span>    <span>$this->html = file_get_contents($this->url);
</span>    <span>$this->setFolder();
</span><span>}</span>

마지막으로, 우리는 zip 파일이 생성 된 후 생성 된 폴더를 삭제합니다.

작업 상태를 얻으십시오. 즉, 성공적이거나 오류가 발생한 경우

<span>public function setFolder($folder="image") {
</span>    <span>// if folder doesn't exist, attempt to create one and store the folder name in property $folder
</span>    <span>if(!file_exists($folder)) {
</span>        <span>mkdir($folder);
</span>    <span>}
</span>    <span>$this->folder = $folder;
</span><span>}</span>

위의 모든 방법을 처리하십시오.

github에서 전체 클래스를 다운로드 할 수 있습니다 클래스 종속성 클래스가 작동하려면 DomCrawler 구성 요소 및 Create_ZIP 함수가 포함되어야합니다. 이 기능의 코드를 여기에서 다운로드 할 수 있습니다 Composer.json 파일에 다음 요구 사항을 추가하여 Composer를 통해 Domcrawler 구성 요소를 다운로드하여 설치하십시오.

<span>public function setFileName($name = "zipImages") {
</span>    <span>$this->fileName = $name;
</span><span>}</span>

run $ php composer.phar 설치 라이브러리를 다운로드하고 공급 업체/autoload.php autoloader 파일을 생성합니다. 클래스 사용

AUTOLOAD를 통해 또는 명시 적으로 필요한 모든 파일이 포함되어 있는지 확인하십시오. setfolder를 호출하고 setfilename 메소드를 호출하고 해당 인수를 전달하십시오. 폴더 이름을 변경해야 할 때만 setfolder 메서드 만 호출하십시오.

프로세스 방법을 호출하여 클래스를 작동시킵니다.

<span>public function domCrawler() {
</span>    <span>//instantiate the symfony DomCrawler Component
</span>    <span>$crawler = new Crawler($this->html);
</span>    <span>// create an array of all scrapped image links
</span>    <span>$result = $crawler
</span>        <span>->filterXpath('//img')
</span>        <span>->extract(array('src'));
</span>
<span>// download and save the image to the folder 
</span>    <span>foreach ($result as $image) {
</span>        <span>$path = $this->folder."/".basename($image);
</span>        <span>$file = file_get_contents($image);
</span>        <span>$insert = file_put_contents($path, $file);
</span>        <span>if (!$insert) {
</span>            <span>throw new <span>\Exception</span>('Failed to write image');
</span>        <span>}
</span>    <span>}
</span><span>}</span>

<span>public function createZip() {
</span>    <span>$folderFiles = scandir($this->folder);
</span>    <span>if (!$folderFiles) {
</span>        <span>throw new <span>\Exception</span>('Failed to scan folder');
</span>    <span>}
</span>    <span>$fileArray = array();
</span>    <span>foreach($folderFiles as $file){
</span>        <span>if (($file != ".") && ($file != "..")) {
</span>            <span>$fileArray[] = $this->folder."/".$file;
</span>        <span>}
</span>    <span>}
</span>
    <span>if (create_zip($fileArray, $this->fileName.'.zip')) {
</span>        <span>$this->status = <span><span>
</span></span><span>File successfully archived. <a href="<span%20><span%20>%24this->fileName</span>.zip">Download it now</a>
</span></span><span><span>HTML<span>;</span></span>
</span>    <span>} else {
</span>        <span>$this->status = "An error occurred";
</span>    <span>}
</span><span>}</span>

요약 이 기사에서는 다운로드 된 이미지를 지퍼 아카이브로 자동 압축하는 간단한 PHP 이미지 스크레이퍼를 만드는 방법을 배웠습니다. 대체 솔루션이나 개선을위한 제안이 있으면 아래 의견에 남겨 두십시오. 모든 피드백을 환영합니다!

<span>public function deleteCreatedFolder() {
</span>    <span>$dp = opendir($this->folder) or die ('ERROR: Cannot open directory');
</span>    <span>while ($file = readdir($dp)) {
</span>        <span>if ($file != '.' && $file != '..') {
</span>            <span>if (is_file("<span><span>$this->folder</span>/<span>$file</span>"</span>)) {
</span>                <span>unlink("<span><span>$this->folder</span>/<span>$file</span>"</span>);
</span>            <span>}
</span>        <span>}
</span>    <span>}
</span>    <span>rmdir($this->folder) or die ('could not delete folder');
</span><span>}</span>

. Symfony의 Domcrawler와 함께 이미지 스크래핑에 대한 자주 묻는 질문 (FAQ) Symfony의 Domcrawler 구성 요소 란 무엇입니까?

Symfony의 Domcrawler 구성 요소는 개발자가 HTML 및 XML 문서를 통과하고 조작 할 수있는 강력한 도구입니다. 사용하기 쉽고 이해하기 쉬운 API를 제공하여 웹 스크래핑 작업에 인기있는 선택입니다. Domcrawler 구성 요소는 페이지에서 특정 요소를 선택하고, 데이터를 추출하고, 컨텐츠를 수정하는 데 사용될 수 있습니다.

Symfony의 Domcrawler 구성 요소를 설치하려면 어떻게합니까?

Symfony의 Domcrawler 구성 요소 설치 똑바로. PHP 용 종속성 관리 도구 인 Composer를 사용할 수 있습니다. 프로젝트 디렉토리에서 다음 명령을 실행하십시오. Composer는 Symfony/Dom-Crawler가 필요합니다. 이것은 종속성과 함께 Domcrawler 구성 요소를 다운로드하여 설치합니다. Symfony의 Domcrawler 구성 요소를 사용하여 이미지를 긁어내는 방법은 무엇입니까?

Symfony의 Domcrawler 구성 요소를 사용하여 이미지를 긁어 내기 위해 먼저 크롤러 클래스의 새로운 인스턴스를 생성하고 HTML 컨텐츠를로드해야합니다. 그런 다음 필터 메소드를 사용하여 이미지 요소를 선택하고 SRC 속성을 추출 할 수 있습니다. 기본 예는 다음과 같습니다.

$ crawler = new Crawler ($ html); $ crawler-> 필터 ( 'img')-> 각 (함수 (crawler $ node) {

echo $ node-> attr ( 'src'); });

Symfony의 domcrawler 구성 요소를 사용할 수 있습니까? LARAVEL?

예, Symfony의 Domcrawler 구성 요소를 Laravel과 함께 사용할 수 있습니다. Laravel의 HTTP 테스트 기능은 실제로 후드 아래의 Domcrawler 구성 요소를 사용합니다. 즉, Laravel 테스트에서 HTML 컨텐츠를 가로 지르고 조작하기 위해 동일한 방법과 기술을 사용하여 Symfony의 Domcrawler 구성 요소를 사용하여 요소를 선택하는 방법은 무엇입니까?

Symfony의 Domcrawler 구성 요소는 여러 가지 방법을 제공합니다. 필터, FilterxPath 및 SelectLink를 포함한 요소를 선택하십시오. 이 메소드는 태그 이름, XPath 표현식 또는 링크 텍스트를 기반으로 요소를 선택할 수 있습니다.

Symfony의 domcrawler 구성 요소를 사용하여 요소의 내용을 수정할 수 있습니까?

예, 할 수 있습니다. Symfony의 Domcrawler 구성 요소를 사용하여 요소의 내용을 수정하십시오. 각 방법을 사용하면 선택한 각 요소를 반복하고 작업을 수행 할 수 있습니다. 예를 들어, 이미지 요소의 SRC 속성을 다음과 같이 변경할 수 있습니다. attr ( 'src', 'new-image.jpg'); });

Symfony 's를 사용할 때 오류와 예외를 처리하는 방법 Domcrawler 구성 요소?

Symfony의 Domcrawler 구성 요소를 사용할 때 오류 및 예외는 Try-Catch 블록을 사용하여 처리 할 수 ​​있습니다. 예를 들어, 필터 메소드가 일치하는 요소를 찾지 못하면 InvalidArgumentException이 발생합니다. 이 예외를 포착하고 적절하게 처리 할 수 ​​있습니다.

Symfony의 Domcrawler 구성 요소를 사용하여 인증이 필요한 웹 사이트를 긁어 내야합니까? 예, Symfony의 Domcrawler 구성 요소를 사용하여 인증이 필요한 웹 사이트를 긁어 낼 수 있습니다. 그러나 로그인 자격 증명으로 게시물 요청을 보내고 세션 쿠키 저장과 같은 추가 단계가 필요합니다.

Symfony의 Domcrawler 구성 요소를 사용하여 속성 값을 추출하려면 어떻게 속성을 추출 할 수 있습니까? Symfony의 Domcrawler 구성 요소가 제공하는 attr 방법을 사용한 값. 예를 들어, 이미지 요소의 SRC 속성을 추출하려면 다음을 수행 할 수 있습니다.

$ crawler-> 필터 ( 'img')-> 각 (함수 (Crawler $ node) {

echo $ node-> attr ( 'src');

}); Symfony의 Domcrawler 구성 요소를 사용하여 Ajax-loaded 컨텐츠를 긁어내어 Symfony의 Domcrawler 구성 요소는 javaScript를 실행하지 않기 때문에 Ajax로드 된 컨텐츠를 직접 스크레이프 할 수 없습니다. 그러나 Domcrawler 구성 요소와 함께 Guzzle 및 Goutte와 같은 도구를 사용하여 HTTP 요청을 보내고 Ajax-Loaded 컨텐츠를 처리 할 수 ​​있습니다.

위 내용은 Symfony의 Domcrawler와 함께 이미지 스크래핑의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!