搜索
首页php教程php手册php获取远程网页源码的程序代码

有时我们需要做一些采集需要下载远程网页源码到本来了,在这里我们整理了一些php获取远程网页源码代码,希望对各位会有所帮助。

php的curl函数

基本例子

<?php
// 初始化一个 cURL 对象
$curl = curl_init();
// 设置你需要抓取的URL
curl_setopt($curl, CURLOPT_URL, &#39;http://www.phprm.com&#39;);
// 设置header
curl_setopt($curl, CURLOPT_HEADER, 1);
// 设置cURL 参数,要求结果保存到字符串中还是输出到屏幕上。
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
// 运行cURL,请求网页
$data = curl_exec($curl);
// 关闭URL请求
curl_close($curl);
// 显示获得的数据
var_dump($data);
?>

php fopen函数

<?php
print ("<h1 id="HTTP">HTTP</h1>n");
// open a file using http protocol
if (!($myFile = fopen("http://www.phprm.com/", "r"))) {
    print ("file could not be opened");
    exit;
}
while (!feof($myFile)) {
    // read a line from the file
    $myLine = fgetss($myFile, 255);
    print ("$myLine <BR>n");
}
// close the file
fclose($myFile);
print ("<h1 id="FTP">FTP</h1>n");
print ("<HR>n");
// open a file using ftp protocol
if (!($myFile = fopen("ftp://ftp.php.net/welcome.msg", "r"))) {
    print ("file could not be opened");
    exit;
}
while (!feof($myFile)) {
    // read a line from the file
    $myLine = fgetss($myFile, 255);
    print ("$myLine <BR>n");
}
// close the file
fclose($myFile);
print ("<h1 id="Local">Local</h1>n");
print ("<HR>n");
// open a local file
if (!($myFile = fopen("data.txt", "r"))) {
    print ("file could not be opened");
    exit;
}
while (!feof($myFile)) {
    // read a line from the file
    $myLine = fgetss($myFile, 255);
    print ("$myLine <BR>n");
}
// close the file
fclose($myFile);
?>

file_get_contents函数

<?php
file_get_contents(&#39;http://www.phprm.com/&#39;);
?>

抓取远程网页源码类

<?php
class HTTPRequest {
    var $_fp; // HTTP socket
    var $_url; // full URL
    var $_host; // HTTP host
    var $_protocol; // protocol (HTTP/HTTPS)
    var $_uri; // request URI
    var $_port; // port
    // scan url
    function _scan_url() {
        $req = $this->_url;
        $pos = strpos($req, &#39;://&#39;);
        $this->_protocol = strtolower(substr($req, 0, $pos));
        $req = substr($req, $pos + 3);
        $pos = strpos($req, &#39;/&#39;);
        if ($pos === false) $pos = strlen($req);
        $host = substr($req, 0, $pos);
        if (strpos($host, &#39;:&#39;) !== false) {
            list($this->_host, $this->_port) = explode(&#39;:&#39;, $host);
        } else {
            $this->_host = $host;
            $this->_port = ($this->_protocol == &#39;https&#39;) ? 443 : 80;
        }
        $this->_uri = substr($req, $pos);
        if ($this->_uri == &#39;&#39;) $this->_uri = &#39;/&#39;;
    }
    // constructor
    function HTTPRequest($url) {
        $this->_url = $url;
        $this->_scan_url();
    }
    // download URL to string
    function DownloadToString() {
        $crlf = "rn";
        // generate request
        $req = &#39;GET &#39; . $this->_uri . &#39; HTTP/1.0&#39; . $crlf . &#39;Host: &#39; . $this->_host . $crlf . $crlf;
        // fetch
        $this->_fp = fsockopen(($this->_protocol == &#39;https&#39; ? &#39;ssl://&#39; : &#39;&#39;) . $this->_host, $this->_port);
        fwrite($this->_fp, $req);
        while (is_resource($this->_fp) && $this->_fp && !feof($this->_fp)) $response.= fread($this->_fp, 1024);
        fclose($this->_fp);
        // split header and body
        $pos = strpos($response, $crlf . $crlf);
        if ($pos === false) return ($response);
        $header = substr($response, 0, $pos);
        $body = substr($response, $pos + 2 * strlen($crlf));
        // parse headers
        $headers = array();
        $lines = explode($crlf, $header);
        foreach ($lines as $line) if (($pos = strpos($line, &#39;:&#39;)) !== false) $headers[strtolower(trim(substr($line, 0, $pos))) ] = trim(substr($line, $pos + 1));
        // redirection?
        if (isset($headers[&#39;location&#39;])) {
            $http = new HTTPRequest($headers[&#39;location&#39;]);
            return ($http->DownloadToString($http));
        } else {
            return ($body);
        }
    }
}
//使用方法
$r = new HTTPRequest(&#39;http://www.phprm.com&#39;);
$str = $r->DownloadToString();
?>


声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
Java ArrayList遍历时使用foreach和iterator删除元素的区别是什么?Java ArrayList遍历时使用foreach和iterator删除元素的区别是什么?Apr 27, 2023 pm 03:40 PM

一、Iterator和foreach的区别多态差别(foreach底层就是Iterator)Iterator是一个接口类型,他不关心集合或者数组的类型;for和foreach都需要先知道集合的类型,甚至是集合内元素的类型;1.为啥说foreach底层就是Iterator编写的代码:反编译代码:二、foreach与iterator时remove的区别先来看阿里java开发手册但1的时候不会报错,2的时候就会报错(java.util.ConcurrentModificationException)首

php如何判断foreach循环到第几个php如何判断foreach循环到第几个Jul 10, 2023 pm 02:18 PM

​php判断foreach循环到第几个的步骤:1、创建一个“$fruits”的数组;2、创建一个计数器变量“$counter”初始值为0;3、使用“foreach”循环遍历数组,并在循环体中增加计数器变量的值,再输出每个元素和它们的索引;4、在“foreach”循环体外输出计数器变量的值,以确认循环到了第几个元素。

如何解决PHP Warning: fopen(): failed to open stream: No such file or directory如何解决PHP Warning: fopen(): failed to open stream: No such file or directoryAug 19, 2023 am 10:44 AM

如何解决PHPWarning:fopen():failedtoopenstream:Nosuchfileordirectory在使用PHP开发过程中,我们经常会遇到一些文件操作的问题,其中之一就是"PHPWarning:fopen():failedtoopenstream:Nosuchfileordirectory

如何解决PHP Warning: fopen(): SSL operation failed in file.php on line X如何解决PHP Warning: fopen(): SSL operation failed in file.php on line XAug 25, 2023 am 09:22 AM

如何解决PHPWarning:fopen():SSLoperationfailedinfile.phponlineX在PHP编程中,我们经常使用fopen函数来打开文件或者URL,并进行相关操作。然而,在使用fopen函数时,有时候会遇到类似于Warning:fopen():SSLoperationfailedinfile.p

如何解决PHP Warning: fopen(): failed to open stream: Permission denied如何解决PHP Warning: fopen(): failed to open stream: Permission deniedAug 20, 2023 pm 01:45 PM

如何解决PHPWarning:fopen():failedtoopenstream:Permissiondenied在开发PHP程序的过程中,我们常常会遇到一些报错信息,比如PHPWarning:fopen():failedtoopenstream:Permissiondenied。这个错误通常是由于文件或目录权限不正

Matlab中fopen函数用法Matlab中fopen函数用法Nov 28, 2023 am 11:03 AM

在Matlab中,fopen函数用于打开文件并返回文件标识符,以便后续对文件进行读取或写入操作。根据需要选择适当的权限选项来打开文件,并在操作完成后及时关闭文件。需要注意的是,打开文件后需要确保在不再需要文件时及时关闭文件,以释放系统资源。另外,如果文件打开失败或操作出错,可以通过错误处理机制进行相应的处理。

PHP返回一个键值翻转后的数组PHP返回一个键值翻转后的数组Mar 21, 2024 pm 02:10 PM

这篇文章将为大家详细讲解有关PHP返回一个键值翻转后的数组,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。PHP键值翻转数组键值翻转是一种对数组进行的操作,它将数组中的键和值进行交换,生成一个新的数组,其中原始键作为值,原始值作为键。实现方法在php中,可以通过以下方法对数组进行键值翻转:array_flip()函数:array_flip()函数专门用于键值翻转操作。它接收一个数组作为参数,并返回一个新的数组,其中键和值已交换。$original_array=[

php如何使用fopen、fwrite和fclose进行文件操作?php如何使用fopen、fwrite和fclose进行文件操作?Jun 01, 2023 am 08:46 AM

在PHP开发中,对文件的操作是非常常见的。一般情况下,我们需要进行文件的读取、写入、删除等操作。其中,文件的读取可以使用fopen函数和fread函数,文件的写入可以使用fopen函数、fwrite函数和fclose函数。本文将介绍php如何使用fopen、fwrite和fclose进行文件操作。一、fopen函数fopen函数用于打开文件,它的语法如下:r

See all articles

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热门文章

R.E.P.O.能量晶体解释及其做什么(黄色晶体)
2 周前By尊渡假赌尊渡假赌尊渡假赌
仓库:如何复兴队友
4 周前By尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island冒险:如何获得巨型种子
4 周前By尊渡假赌尊渡假赌尊渡假赌

热工具

螳螂BT

螳螂BT

Mantis是一个易于部署的基于Web的缺陷跟踪工具,用于帮助产品缺陷跟踪。它需要PHP、MySQL和一个Web服务器。请查看我们的演示和托管服务。

DVWA

DVWA

Damn Vulnerable Web App (DVWA) 是一个PHP/MySQL的Web应用程序,非常容易受到攻击。它的主要目标是成为安全专业人员在合法环境中测试自己的技能和工具的辅助工具,帮助Web开发人员更好地理解保护Web应用程序的过程,并帮助教师/学生在课堂环境中教授/学习Web应用程序安全。DVWA的目标是通过简单直接的界面练习一些最常见的Web漏洞,难度各不相同。请注意,该软件中

SublimeText3 英文版

SublimeText3 英文版

推荐:为Win版本,支持代码提示!

适用于 Eclipse 的 SAP NetWeaver 服务器适配器

适用于 Eclipse 的 SAP NetWeaver 服务器适配器

将Eclipse与SAP NetWeaver应用服务器集成。

Dreamweaver Mac版

Dreamweaver Mac版

视觉化网页开发工具