搜尋
首頁後端開發php教程php远路抓取网站图片并保存

php远程抓取网站图片并保存

以前看到网上别人说写程序抓取网页图片的,感觉挺神奇,心想什么时候我自己也写一个抓取图片的方法!

?

刚好这两天没什么事,就参考了网上一个php抓取图片代码,重点借鉴了 匹配img标签和其src属性正则的写法,

封装了一个php远程抓取图片的类,测试了一下,速度还凑合, 两分钟从 艾妮 ini.iteye.com 抓取了 110多张图片

?

代码如下:

<?php /** * 一个用于抓取图片的类 * * @package default * @author  WuJunwei*  keleyi.com */class download_image {        public $save_path;                  //抓取图片的保存地址    //抓取图片的大小限制(单位:字节) 只抓比size比这个限制大的图片    public $img_size=0;     //定义一个静态数组,用于记录曾经抓取过的的超链接地址,避免重复抓取           public static $a_url_arr=array();           /**     * @param String $save_path    抓取图片的保存地址     * @param Int    $img_size     抓取图片的保存地址     */    public function __construct($save_path,$img_size)    {        $this->save_path=$save_path;        $this->img_size=$img_size;    }            /**     * 递归下载抓取首页及其子页面图片的方法  ( recursive 递归)     *     * @param   String  $capture_url  用于抓取图片的网址     *      */    public function recursive_download_images($capture_url)    {        if (!in_array($capture_url,self::$a_url_arr))   //没抓取过        {                                     self::$a_url_arr[]=$capture_url;   //计入静态数组        } else   //抓取过,直接退出函数        {            return;        }                        $this->download_current_page_images($capture_url);  //下载当前页面的所有图片                [email protected]??        [email protected]_get_contents($capture_url);                 //匹配a标签href属性中?之前部分的正则        $a_pattern = "|<a>]+href=['\" ]?([^ '\"?]+)['\" >]|U";           preg_match_all($a_pattern, $content, $a_out, PREG_SET_ORDER);                $tmp_arr=array();  //定义一个数组,用于存放当前循环下抓取图片的超链接地址        foreach ($a_out as $k => $v)         {            /**             * 去除超链接中的 空'','#','/'和重复值               * 1: 超链接地址的值 不能等于当前抓取页面的url, 否则会陷入死循环             * 2: 超链接为''或'#','/'也是本页面,这样也会陷入死循环,               * 3: 有时一个超连接地址在一个网页中会重复出现多次,如果不去除,会对一个子页面进行重复下载)             */            if ( $v[1] && !in_array($v[1],self::$a_url_arr) &&!in_array($v[1],array('#','/',$capture_url) ) )             {                $tmp_arr[]=$v[1];            }        }          foreach ($tmp_arr as $k => $v)         {                        //超链接路径地址            if ( strpos($v, 'http://')!==false ) //如果url包含http://,可以直接访问            {                $a_url = $v;            }else   //否则证明是相对地址, 需要重新拼凑超链接的访问地址            {                $domain_url = substr($capture_url, 0,strpos($capture_url, '/',8)+1);                $a_url=$domain_url.$v;            }            $this->recursive_download_images($a_url);        }            }                /**     * 下载当前网页下的所有图片      *     * @param   String  $capture_url  用于抓取图片的网页地址     * @return  Array   当前网页上所有图片img标签url地址的一个数组     */    public function download_current_page_images($capture_url)    {        [email protected]_get_contents($capture_url);   //屏蔽warning错误		//匹配img标签src属性中?之前部分的正则		$img_pattern = "|<img  alt="php远路抓取网站图片并保存" >]+src=['\" ]?([^ '\"?]+)['\" >]|U";           preg_match_all($img_pattern, $content, $img_out, PREG_SET_ORDER);		$photo_num = count($img_out);        //匹配到的图片数量        echo '<h1 id="capture-url-共找到-photo-num-张图片">'.$capture_url . "共找到 " . $photo_num . " 张图片</h1>";        foreach ($img_out as $k => $v)         {            $this->save_one_img($capture_url,$v[1]);        }    }    /**     * 保存单个图片的方法      *     * @param String $capture_url   用于抓取图片的网页地址     * @param String $img_url       需要保存的图片的url     *      */    public function save_one_img($capture_url,$img_url)    {                //图片路径地址        if ( strpos($img_url, 'http://')!==false )         {            // $img_url = $img_url;        }else           {            $domain_url = substr($capture_url, 0,strpos($capture_url, '/',8)+1);            $img_url=$domain_url.$img_url;        }                   $pathinfo = pathinfo($img_url);    //获取图片路径信息                $pic_name=$pathinfo['basename'];   //获取图片的名字        if (file_exists($this->save_path.$pic_name))  //如果图片存在,证明已经被抓取过,退出函数        {            echo $img_url . '<span   style="max-width:90%">该图片已经抓取过!</span><br>';             return;        }                        //将图片内容读入一个字符串        $img_data = @file_get_contents($img_url);   //屏蔽掉因为图片地址无法读取导致的warning错误        if ( strlen($img_data) > $this->img_size )   //下载size比限制大的图片        {            $img_size = file_put_contents($this->save_path . $pic_name, $img_data);            if ($img_size)            {                echo $img_url . '<span style="color:green;margin-left:80px">图片保存成功!</span><br>';            } else            {                echo $img_url . '<span style="color:red;margin-left:80px">图片保存失败!</span><br>';            }        } else        {            echo $img_url . '<span style="color:red;margin-left:80px">图片读取失败!</span><br>';        }     } } // ENDset_time_limit(120);     //设置脚本的最大执行时间  根据情况设置 $download_img=new download_image('E:/images/',0);   //实例化下载图片对象$download_img->recursive_download_images('http://ini.iteye.com/');      //递归抓取图片方法//$download_img->download_current_page_images($_POST['capture_url']);     //只抓取当前页面图片方法?></a>

?

陳述
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
哪些常見問題會導致PHP會話失敗?哪些常見問題會導致PHP會話失敗?Apr 25, 2025 am 12:16 AM

PHPSession失效的原因包括配置錯誤、Cookie問題和Session過期。 1.配置錯誤:檢查並設置正確的session.save_path。 2.Cookie問題:確保Cookie設置正確。 3.Session過期:調整session.gc_maxlifetime值以延長會話時間。

您如何在PHP中調試與會話相關的問題?您如何在PHP中調試與會話相關的問題?Apr 25, 2025 am 12:12 AM

在PHP中調試會話問題的方法包括:1.檢查會話是否正確啟動;2.驗證會話ID的傳遞;3.檢查會話數據的存儲和讀取;4.查看服務器配置。通過輸出會話ID和數據、查看會話文件內容等方法,可以有效診斷和解決會話相關的問題。

如果session_start()被多次調用會發生什麼?如果session_start()被多次調用會發生什麼?Apr 25, 2025 am 12:06 AM

多次調用session_start()會導致警告信息和可能的數據覆蓋。 1)PHP會發出警告,提示session已啟動。 2)可能導致session數據意外覆蓋。 3)使用session_status()檢查session狀態,避免重複調用。

您如何在PHP中配置會話壽命?您如何在PHP中配置會話壽命?Apr 25, 2025 am 12:05 AM

在PHP中配置會話生命週期可以通過設置session.gc_maxlifetime和session.cookie_lifetime來實現。 1)session.gc_maxlifetime控制服務器端會話數據的存活時間,2)session.cookie_lifetime控制客戶端cookie的生命週期,設置為0時cookie在瀏覽器關閉時過期。

使用數據庫存儲會話的優點是什麼?使用數據庫存儲會話的優點是什麼?Apr 24, 2025 am 12:16 AM

使用數據庫存儲會話的主要優勢包括持久性、可擴展性和安全性。 1.持久性:即使服務器重啟,會話數據也能保持不變。 2.可擴展性:適用於分佈式系統,確保會話數據在多服務器間同步。 3.安全性:數據庫提供加密存儲,保護敏感信息。

您如何在PHP中實現自定義會話處理?您如何在PHP中實現自定義會話處理?Apr 24, 2025 am 12:16 AM

在PHP中實現自定義會話處理可以通過實現SessionHandlerInterface接口來完成。具體步驟包括:1)創建實現SessionHandlerInterface的類,如CustomSessionHandler;2)重寫接口中的方法(如open,close,read,write,destroy,gc)來定義會話數據的生命週期和存儲方式;3)在PHP腳本中註冊自定義會話處理器並啟動會話。這樣可以將數據存儲在MySQL、Redis等介質中,提升性能、安全性和可擴展性。

什麼是會話ID?什麼是會話ID?Apr 24, 2025 am 12:13 AM

SessionID是網絡應用程序中用來跟踪用戶會話狀態的機制。 1.它是一個隨機生成的字符串,用於在用戶與服務器之間的多次交互中保持用戶的身份信息。 2.服務器生成並通過cookie或URL參數發送給客戶端,幫助在用戶的多次請求中識別和關聯這些請求。 3.生成通常使用隨機算法保證唯一性和不可預測性。 4.在實際開發中,可以使用內存數據庫如Redis來存儲session數據,提升性能和安全性。

您如何在無狀態環境(例如API)中處理會議?您如何在無狀態環境(例如API)中處理會議?Apr 24, 2025 am 12:12 AM

在無狀態環境如API中管理會話可以通過使用JWT或cookies來實現。 1.JWT適合無狀態和可擴展性,但大數據時體積大。 2.Cookies更傳統且易實現,但需謹慎配置以確保安全性。

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

PhpStorm Mac 版本

PhpStorm Mac 版本

最新(2018.2.1 )專業的PHP整合開發工具

Atom編輯器mac版下載

Atom編輯器mac版下載

最受歡迎的的開源編輯器

WebStorm Mac版

WebStorm Mac版

好用的JavaScript開發工具

SecLists

SecLists

SecLists是最終安全測試人員的伙伴。它是一個包含各種類型清單的集合,這些清單在安全評估過程中經常使用,而且都在一個地方。 SecLists透過方便地提供安全測試人員可能需要的所有列表,幫助提高安全測試的效率和生產力。清單類型包括使用者名稱、密碼、URL、模糊測試有效載荷、敏感資料模式、Web shell等等。測試人員只需將此儲存庫拉到新的測試機上,他就可以存取所需的每種類型的清單。

EditPlus 中文破解版

EditPlus 中文破解版

體積小,語法高亮,不支援程式碼提示功能