PHP サーバープロキシを使用して Web コンテンツをクロールする方法

最近、会社は外部ネットワークを一時的に切断し、自社のサイトのみをすべて開いてアクセスできるようにしました。正直、WEB 開発を行うときにネットワークを切断するのは本当に唖然とします...

情報を見つける必要があるため、使用する PHP サーバー プロキシ ページを作成するだけで済みました。

シンプルなフレームページ:

以下为引用的内容：

*{margin:0;padding:0;} html,body{overflow:hidden;} td{padding:0;vertical-align:top;} window.onload = function(){ document.getElementById('targeturl').focus(); };

以下は引用内容です: *{マージン:0;パディング:0;} html,body{overflow:hidden;} td{padding:0;vertical-align:top;} window.onload = function(){ document.getElementById('targeturl').focus(); }; テーブル> PHP プロキシ ページ:

以下は引用内容です:

//スヌーピーのページ取得機能を使用する include "Snoopy.class.php"; //ターゲットURL $url = $_REQUEST['targeturl']; //渡されたパラメータをすべてリストします $par = array(); $GetPost = array_merge($_POST,$_GET); foreach($GetPost As $Key=>$Value){ if($Key!='targeturl'){ $Value = str_replace("%25","%",$Value); array_push($par,($Key . "= . $Value)); } } //ターゲット URL に含まれるかどうか (つまり、パラメータがあるかどうか) $cc = strpos($url,"?") ? "&" : "?"; //URLを再構成 $geturl = !$par ? $url : $url.$cc.implode("&",$par); //再編成された URL ページのコンテンツを取得します $snoopy = 新しいスヌーピー; $snoopy->fetch($geturl); //親ウィンドウのアドレスを置き換える可能性のある、ターゲット コンテンツ内のスクリプト内のコードを置き換えます $org = str_replace("top.location","top.title",$snoopy->results); //ターゲットコンテンツのエンコーディングを UTF-8 に変換してみます $opt = iconv("gbk","utf-8",$org); //ターゲットコンテンツのエンコーディングが GBK か UTF-8 かを決定します $ec = strlen($opt)?"gbk":"utf-8";

?> // 閉鎖行程、次面コンテンツ中の表示矛盾を回避 (関数(){ var easyUTF8 = function(gbk){if(!gbk){return '';}var utf8 = [];for(var i=0;i var getArgs = function(surl){var sarg = surl.split('?'),rv={};rv.filename=sarg[0];if(!sarg[1]){return rv;}var aarg= sarg[1].split('&'),atmp=[];for(var i=0;i var createIPH = function(name,value){if(!name){return;}if(/msie/i.test(navigator.appVersion)){return document.createElement(' ');}else{var dfi = document.createElement('input');dfi.type = 'hidden';dfi.name = name;dfi .value = 値;dfi を返す;}}; //回显目标URLへ父窗口文本框 var dtu = top.document.getElementById('targeturl'); if(dtu){dtu.value = ' ';} //目标URL及びドメイン var sref = ' '; var sdomain = sref.match(/^http://[^/]*/i)[0]; //页面追加後実行下面の手順 var process = function(){ //抓取页面中すべて链接 var dlink = document.getElementsByTagName('a'),la = dlink.length; //抓取页面中すべて表单 var dform = document.getElementsByTagName('form'),lf = dform.length; //すべての链接に渡り、代替卢它们のhref地址 for(var i=0;i var src = dlink[i].href.toString().replace(/^http://www.w3cgroup.com(?:/geturl)?/i,sdomain); var oargs = getArgs(src),ahref = []; //UTF-8 符号パラメータ值 for(var d in oargs){ if(!dd=='ファイル名'!oargs[d]){続行;} ahref.push(d+'='+encodeURIComponent(easyUTF8(oargs[d]))); } var ghref = ahref.length?oargs.filename+'?'+ahref.join('&'):oargs.filename; // 重设链接地址 dlink[i].href = 'http://www.w3cgroup.com/geturl/action_get.php?targeturl='+ghref; } //すべての表单、置換卢它们のアクション地址 for(i=0;i //抓取表单アクション并处処理 var src = dform[i].action.toString().replace(/^http://www.w3cgroup.com(?:/geturl)?/i,sdomain); if(!(/^http/.test(src))){src = (/^/.*$/.test(src))?(sdomain+src):(sdomain+'/'+src);} // 一つのドメインターゲット URL を作成します。上面処理の src 地址 です。 var dfi = createIPH('targeturl',src); dform[i].appendChild(dfi); // 一つのドメインを作成し、utf-8 に、属性はインデックスを使用します var dfi2 = createIPH('ie','utf-8'); dform[i].appendChild(dfi2); // 重设表单提交目标窗口 dform[i].target = 'アクションコンテンツ'; // 重设表单アクション地址 dform[i].action = 'http://www.w3cgroup.com/geturl/action_get.php'; // 送信イベントの重設定表、用来 UTF8 文字字句 dform[i].onsubmit = function(){ var dlms = this.elements,l = dlms.length-1,pn = '',pt = '',pv = ''; for(var i=0;i pn = dlms[i].name,pt = dlms[i].type,pv = dlms[i].value; if(!pnpn=='targeturl'pn=='ie'){Continue;} if(pt=='送信'pt=='リセット'pt=='ボタン'){ dlms[i].value = encodeURIComponent(pv); }その他{ dlms[i].value = encodeURIComponent(easyUTF8(pv)); } } }; } }; //window.onload を決定します if(document.attachEvent){window.attachEvent('onload',process);}else{window.addEventListener('load',process,false);} })(); // スクリプトは、実行したい内容が無駄になる可能性のあるコンテンツ内のスクリプト エラーを避けるために、出力コンテンツの前に配置されます //キャプチャされたターゲットページのコンテンツを出力します

この小さな作業では、JavaScript スクリプトで GBK エンコードされたコンテンツを UTF-8 エンコードに簡単に変換できる重要な JavaScript 関数 easyUTF8 を作成しました。

フォームに項目を追加する際の互換性の問題にも対処しました。IE で作成されたフォーム項目の内容は、名前と値を指定すると予期しない結果になる可能性があることに注意してください。これは DHTML マニュアルに記載されています。それについてはすでに説明しました。

PHP サーバー プロキシを使用して Web コンテンツをクロールする方法

PHP サーバープロキシを使用して Web コンテンツをクロールする方法