自定义HTTP抓包和过滤
定义一个http抓包类,发送数据到一个自定义的接受脚本,可以发送成功,并收取数据,但是发送到外网,却不行,分析过在浏览器下发送HTTP请求时的request header 信息,通过模拟请求,但超时...
<br />//定义一个HTTP抓包类,其实也可以用curl。。。。。<br /><br /><?php <br />ini_set('error_reporting', E_ALL);<br />class Httpwrap<br />{<br /> private $hostInfo=null;<br /> <br /> private $requestLine=null;<br /> private $requestHeader=null;<br /> private $emptyLine="\r\n";<br /> private $requestBody=null;<br /> private $requestEntity=null;<br /> <br /> private $responseEntity=null;<br /> private $responseHeader=null;<br /> private $responseBody=null;<br /> private $emptyLinePos=null;<br /> <br /> private $connect=null;<br /> private $errNo=null;<br /> private $errStr=null;<br /> <br /> <br /> public function __construct($url)<br /> {<br /> $this->hostInfo=parse_url($url);<br /> $this->setRequestHeader(array('Host' => $this->hostInfo['host']));<br /> $this->setRequestHeader(array('Connection' => 'keep-alive'));<br /> }<br /> //设置HTTP请求行信息,例如: GET /resources HTTP/1.1<br /> //但为了避免漏掉url中?开始的查询信息,有必要进行判断<br /> public function setRequestLine($method)<br /> {<br /> //如果是POST请求,则自动添加content-type头信息<br /> if(strtolower($method)=='post')<br /> {<br /> $this->setRequestHeader(array('Content-type' => 'application/x-www-form-urlencoded'));<br /> }<br /> if(!empty($this->hostInfo['query']))<br /> {<br /> $this->requestLine=strtoupper($method)." ".$this->hostInfo['path']."?".$this->hostInfo['query']." HTTP/1.1 \r\n";<br /> }<br /> else<br /> {<br /> $this->requestLine=strtoupper($method)." ".$this->hostInfo['path']." HTTP/1.1 \r\n";<br /> }<br /> }<br /> //设置HTTP请求头。<br /> //接收参数是数组类型,通过迭代拼接key:value,并换行<br /> public function setRequestHeader($header)<br /> {<br /> foreach($header as $key => $value)<br /> {<br /> $this->requestHeader .=$key.":".$value."\r\n";<br /> }<br /> }<br /> //设置HTTP请求体<br /> //接收参数是数组类型,通过迭代拼接key=value,因为最后一席拼接会有一个多余的&,所以有必要去掉<br /> public function setRequestBody($body)<br /> {<br /> foreach($body as $key => $value)<br /> {<br /> $this->requestBody .=$key.'='.$value.'&';<br /> }<br /> $offset=strrpos($this->requestBody, '&');<br /> $this->requestBody=substr($this->requestBody, 0, $offset);<br /> }<br /> //组装 请求行+请求头+请求体,并根据请求体的长度,自动填充请求头的content-length字段<br /> public function setRequestEntity()<br /> {<br /> if(!empty($this->requestBody))<br /> {<br /> $contentLength=strlen($this->requestBody);<br /> $this->setRequestHeader(array('Content-length' => $contentLength));<br /> <br /> $this->requestEntity=$this->requestLine.$this->requestHeader."\r\n".$this->requestBody;<br /> }<br /> else<br /> {<br /> $this->requestEntity=$this->requestLine.$this->requestHeader."\r\n";<br /> }<br /> }<br /> //解析主机名的函数,暂时没有用上.......<br /> public function parseHost($url)<br /> {<br /> $pat='#http://([^/]+)#i';<br /> if(preg_match($pat, $url, $match))<br /> {<br /> return $match[1];<br /> }<br /> else<br /> {<br /> echo '匹配主机信息失败<br />';<br /> }<br /> }<br /> //创建到主机的连接<br /> public function createConnect()<br /> {<br /> $this->connect=fsockopen($this->hostInfo['host'], 80, $this->errNo, $this->errStr) or die('连接主机失败'.$this->errStr);<br /> }<br /> //发送请求<br /> public function sendRequest()<br /> {<br /> $this->setRequestEntity();<br /> echo $this->requestEntity;<br /> exit();<br /> $this->createConnect();<br /> $entityLength=strlen($this->requestEntity);<br /> if($entityLength != fwrite($this->connect, $this->requestEntity, $entityLength))<br /> {<br /> die('写入数据失败<br />');<br /> }<br /> else<br /> {<br /> $this->receiveResponse();<br /> }<br /> }<br /> //接受请求,并依次拼接响应体<br /> public function receiveResponse()<br /> {<br /> while(!feof($this->connect))<br /> {<br /> $this->responseEntity .= fread($this->connect, 1024);<br /> }<br /> }<br /> //计算响应头与响应体之间的空行的位置<br /> public function calculateEmptyLinePos()<br /> {<br /> $this->emptyLinePos=strpos($this->responseEntity,"\r\n\r\n",0);<br /> }<br /> //接受响应体的头部....<br /> public function receiveResponseHeader()<br /> {<br /> $this->calculateEmptyLinePos();<br /> $this->responseHeader=substr($this->responseEntity, 0, $this->emptyLinePos);<br /> echo $this->responseHeader;<br /> }<br /> //接收响应体的body部分<br /> public function receiveResponseBody()<br /> {<br /> $this->calculateEmptyLinePos();<br /> $this->responseBody=substr($this->responseEntity, $this->emptyLinePos);<br /> }<br /> //返回请求结果<br /> public function getResponse()<br /> {<br /> return $this->responseEntity;<br /> }<br /> <br /><br /> public function parseResponse()<br /> {}<br /> public function __destruct()<br /> {<br /> //fclose($this->connect);<br /> } <br />}<br />set_time_limit(60);<br />$http=new Httpwrap("http://www.mmkao.com/Beautyleg/");<br />//设置HTTP请求行<br />$http->setRequestLine("get");<br />//设置HTTP头<br />$http->setRequestHeader(array("Accept" => "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8"));<br />$http->setRequestHeader(array("Accept-Language" => "zh-cn,zh;q=0.8,en-us;q=0.5,en;q=0.3"));<br />$http->setRequestHeader(array("Accept-Encoding" => "gzip, deflate"));<br />$http->setRequestHeader(array("User-Agent" => "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.101 Safari/537.36"));<br />//$http->setRequestHeader(array("Cookie" => "BAIDU_DUP_lcr=http://www.baidu.com/s?wd=beautyleg&rsv_spt=1&issp=1&f=3&rsv_bp=0&rsv_idx=2&ie=utf-8&tn=baiduhome_pg&rsv_enter=1&rsv_sug3=6&rsv_sug4=415&rsv_sug1=3&oq=beauty&rsv_sug2=0&rsp=0&inputT=2363; safedog-flow-item=8471BA510DA33350ED344AC374D3044A; bdshare_firstime=1415165097782; cscpvrich_fidx=6; AJSTAT_ok_pages=2; AJSTAT_ok_times=2; CNZZDATA3811623=cnzz_eid%3D253823549-1415164312-http%253A%252F%252Fwww.baidu.com%252F%26ntime%3D1415169712"));<br />//发送数据<br />$http->sendRequest();<br />//$http->receiveResponseHeader();<br /><br />?><br /><br />通过这个类给领一个自定义的脚本,可以发送和接收数据,领一个脚本如下:<br /><br /><?php <br />if(!empty($_POST))<br />{<br /> $str=implode(',',$_POST);<br /> file_put_contents('./post.txt', $str,FILE_APPEND);<br /> echo $str;<br />}<br /><br />?><br />但是给这个网站发送请求时,却超时:网站是:<br />http://www.mmkao.com/Beautyleg/<br />通过chrome给这个网站首页发送请求时的header头信息:<br />Accept:text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8<br />Accept-Encoding:gzip,deflate,sdch<br />Accept-Language:zh,en;q=0.8,zh-TW;q=0.6,zh-CN;q=0.4,ja;q=0.2<br />Cache-Control:max-age=0<br />Connection:keep-alive<br />Cookie:BAIDU_DUP_lcr=http://www.baidu.com/s?wd=beautyleg&rsv_spt=1&issp=1&f=3&rsv_bp=0&rsv_idx=2&ie=utf-8&tn=baiduhome_pg&rsv_enter=1&rsv_sug3=6&rsv_sug4=415&rsv_sug1=3&oq=beauty&rsv_sug2=0&rsp=0&inputT=2363; safedog-flow-item=8471BA510DA33350ED344AC374D3044A; bdshare_firstime=1415165097782; cscpvrich_fidx=7; AJSTAT_ok_pages=3; AJSTAT_ok_times=2; CNZZDATA3811623=cnzz_eid%3D253823549-1415164312-http%253A%252F%252Fwww.baidu.com%252F%26ntime%3D1415169712<br />DNT:1<br />Host:www.mmkao.com<br />User-Agent:Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.101 Safari/537.36<br />Response Headersview source<br /><br />//通过相同的包装,并调用Httpwrap发送请求时,却提示超时,是在不知道哪里出问题........<br /><br />针对这个网站写了一个过滤出图片链接的类:<br /><br /><?php <br />class Parseimage<br />{<br /> private $responseBody=null;<br /> private $imgLink=null;<br /> private $pageNum=null;<br /> private header=null;<br /> private body=null;<br /> <br /> public function __construct($body)<br /> {<br /> $this->responseBody=$body;<br /> }<br /> //匹配图片src开始的链接地址<br /> public function feedImage()<br /> {<br /> $pat='#<img src="/static/imghwm/default1.png" data-src="(.*?)(?=" class="lazy" (.*?))#i';<br / alt="自定义HTTP抓包跟过滤" > if(preg_match_all($pat, $body, $match))<br /> {<br /> foreach($match[2] as $link)<br /> {<br /> $this->imgLink[]=$link;<br /> }<br /> }<br /> else<br /> {<br /> echo '匹配失败图片链接地址失败'."<br />";<br /> }<br /> }<br /> //提取head部分<br /> public function filterHeader($body)<br /> {<br /> $pat='#<head>[\s\S]+</head>#im';<br /> if(preg_match($pat, $body, $match))<br /> {<br /> $this->header=$match[0];<br /> }<br /> else<br /> {<br /> echo '匹配head部分失败'."<br />";<br /> }<br /> }<br /> //提取body部分<br /> public function filterBody($body)<br /> {<br /> $pat='#<body>[\s\S]+</body>#im';<br /> if(preg_match($pat, $body, $match))<br /> {<br /> $this->body=$match[0];<br /> }<br /> else<br /> {<br /> echo '匹配body部分失败'."<br />";<br /> }<br /> }<br /> //提取分页信息,这个只能针对性的匹配,不能通用<br /> public function rollPage($body)<br /> {<br /> $pat='#[\x{4e00}-\x{9fa5}]+\s*\d\s+?/\s+?\d+\s*[\x{4e00}-\x{9fa5}]*#ui';<br /> if(preg_match($pat, $body, $match))<br /> {<br /> $patNum='#/\s*(\d\d*)#';<br /> if(preg_match($patNum, $match[0], $num))<br /> {<br /> $this->pageNum=$num[1];<br /> }<br /> else<br /> {<br /> echo '提取分页具体值失败'."<br />";<br /> }<br /> }<br /> else<br /> {<br /> echo '提取分页统计失败'."<br />";<br /> }<br /> }<br /><br />?><br /><br /><br /><br />附注: 这两个类,,都通过了内网的测试,并成功过滤出图片的链接,但是给http://www.mmkao.com/Beautyleg/发送请求时,却提示超时,,不知道哪里出了问题。。。。。。<br /><br /><br /><br /><br />
------解决思路----------------------
$url = 'http://www.mmkao.com/Beautyleg/';<br />print_r(get_headers($url));
Array<br />(<br /> [0] => HTTP/1.1 200 OK<br /> [1] => Connection: close<br /> [2] => Date: Wed, 05 Nov 2014 08:53:09 GMT<br /> [3] => Content-Length: 13889<br /> [4] => Content-Type: text/html<br /> [5] => Content-Location: http://www.mmkao.com/Beautyleg/index.html<br /> [6] => Last-Modified: Wed, 05 Nov 2014 05:39:09 GMT<br /> [7] => Accept-Ranges: bytes<br /> [8] => ETag: "e8939ad2baf8cf1:693"<br /> [9] => Server: IIS<br /> [10] => X-Powered-By: WAF/2.0<br /> [11] => Set-Cookie: safedog-flow-item=8471BA510DA33350ED344AC374D3044A; expires=Sat, 12-Dec-2150 10:26:25 GMT; domain=mmkao.com; path=/<br />)<br /><br />

PHP는 주로 절차 적 프로그래밍이지만 객체 지향 프로그래밍 (OOP)도 지원합니다. Python은 OOP, 기능 및 절차 프로그래밍을 포함한 다양한 패러다임을 지원합니다. PHP는 웹 개발에 적합하며 Python은 데이터 분석 및 기계 학습과 같은 다양한 응용 프로그램에 적합합니다.

PHP는 1994 년에 시작되었으며 Rasmuslerdorf에 의해 개발되었습니다. 원래 웹 사이트 방문자를 추적하는 데 사용되었으며 점차 서버 측 스크립팅 언어로 진화했으며 웹 개발에 널리 사용되었습니다. Python은 1980 년대 후반 Guidovan Rossum에 의해 개발되었으며 1991 년에 처음 출시되었습니다. 코드 가독성과 단순성을 강조하며 과학 컴퓨팅, 데이터 분석 및 기타 분야에 적합합니다.

PHP는 웹 개발 및 빠른 프로토 타이핑에 적합하며 Python은 데이터 과학 및 기계 학습에 적합합니다. 1.PHP는 간단한 구문과 함께 동적 웹 개발에 사용되며 빠른 개발에 적합합니다. 2. Python은 간결한 구문을 가지고 있으며 여러 분야에 적합하며 강력한 라이브러리 생태계가 있습니다.

PHP는 현대화 프로세스에서 많은 웹 사이트 및 응용 프로그램을 지원하고 프레임 워크를 통해 개발 요구에 적응하기 때문에 여전히 중요합니다. 1.PHP7은 성능을 향상시키고 새로운 기능을 소개합니다. 2. Laravel, Symfony 및 Codeigniter와 같은 현대 프레임 워크는 개발을 단순화하고 코드 품질을 향상시킵니다. 3. 성능 최적화 및 모범 사례는 응용 프로그램 효율성을 더욱 향상시킵니다.

phphassignificallyimpactedwebdevelopmentandextendsbeyondit

PHP 유형은 코드 품질과 가독성을 향상시키기위한 프롬프트입니다. 1) 스칼라 유형 팁 : PHP7.0이므로 int, float 등과 같은 기능 매개 변수에 기본 데이터 유형을 지정할 수 있습니다. 2) 반환 유형 프롬프트 : 기능 반환 값 유형의 일관성을 확인하십시오. 3) Union 유형 프롬프트 : PHP8.0이므로 기능 매개 변수 또는 반환 값에 여러 유형을 지정할 수 있습니다. 4) Nullable 유형 프롬프트 : NULL 값을 포함하고 널 값을 반환 할 수있는 기능을 포함 할 수 있습니다.

PHP에서는 클론 키워드를 사용하여 객체 사본을 만들고 \ _ \ _ Clone Magic 메소드를 통해 클로닝 동작을 사용자 정의하십시오. 1. 복제 키워드를 사용하여 얕은 사본을 만들어 객체의 속성을 복제하지만 객체의 속성은 아닙니다. 2. \ _ \ _ 클론 방법은 얕은 복사 문제를 피하기 위해 중첩 된 물체를 깊이 복사 할 수 있습니다. 3. 복제의 순환 참조 및 성능 문제를 피하고 클로닝 작업을 최적화하여 효율성을 향상시키기 위해주의를 기울이십시오.

PHP는 웹 개발 및 컨텐츠 관리 시스템에 적합하며 Python은 데이터 과학, 기계 학습 및 자동화 스크립트에 적합합니다. 1.PHP는 빠르고 확장 가능한 웹 사이트 및 응용 프로그램을 구축하는 데 잘 작동하며 WordPress와 같은 CMS에서 일반적으로 사용됩니다. 2. Python은 Numpy 및 Tensorflow와 같은 풍부한 라이브러리를 통해 데이터 과학 및 기계 학습 분야에서 뛰어난 공연을했습니다.


핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

VSCode Windows 64비트 다운로드
Microsoft에서 출시한 강력한 무료 IDE 편집기

메모장++7.3.1
사용하기 쉬운 무료 코드 편집기

MinGW - Windows용 미니멀리스트 GNU
이 프로젝트는 osdn.net/projects/mingw로 마이그레이션되는 중입니다. 계속해서 그곳에서 우리를 팔로우할 수 있습니다. MinGW: GCC(GNU Compiler Collection)의 기본 Windows 포트로, 기본 Windows 애플리케이션을 구축하기 위한 무료 배포 가능 가져오기 라이브러리 및 헤더 파일로 C99 기능을 지원하는 MSVC 런타임에 대한 확장이 포함되어 있습니다. 모든 MinGW 소프트웨어는 64비트 Windows 플랫폼에서 실행될 수 있습니다.

WebStorm Mac 버전
유용한 JavaScript 개발 도구

SublimeText3 Linux 새 버전
SublimeText3 Linux 최신 버전
