-
- function match_links($document) {
- preg_match_all("'
]+))[^>]*>?(.*?)'isx",$document,$links);
- while(list($key,$val) = each($links[2])) {
- if(!empty($val))
- $match['link'][] = $val
- }
- while(list($key,$val) = each; ($links[3])) {
- if(!empty($val))
- $match['link'][] = $val
- }
- while(list($key,$val) = each($ links[4])) {
- if(!empty($val))
- $match['content'][] = $val;
- }
- while(list($key,$val) = each($links[ 0])) {
- if(!empty($val))
- $match['all'][] = $val;
- }
- return $match
-
主に通常の質問、これはasp.netでのマルチテストの通常のルールです。
ページのリンク規則性を取得する
public string GetHref(string HtmlCode) { string MatchVale = ""; - string Reg = @"(h|H)(r|R)(e|E)(f|F) *= *('|"")?((w|\|/|.|:|-|_)+)('|""| *|>)?";
- foreach (Regex.Matches( の m と一致) HtmlCode, Reg))
- {
- MatchVale += (m.Value).ToLower().Replace("href=", "").Trim() + "||"
- }
- return MatchVale;
-
- コードをコピー
-
-
- 例 2、PHP の正規表現を使用してコンテンツ内のリモート画像をダウンロードするための関数コード
PHP 正規表現を使用してコンテンツ内の画像を判断し、このドメイン名にない画像をダウンロードして保存するプログラム。
実はこのプログラム、「泥棒プログラム」の重要な部分を担っています。
プログラムのこのセクションは、リモート画像をダウンロードするためのセクションです。
if (preg_match_all("/http://[^ "']+[.jpg|.gif|.jpeg|.png]+/ui",stripcslashes($content),$aliurl)) { $i=0; //複数のファイル++ while(list($key ,$v) = each($aliurl[0])){ //echo $v." "; $filetype = pathinfo($v, PATHINFO_EXTENSION); //サフィックス名を取得します $ff = @file_get_contents($v) //バイナリファイルの内容を取得します- if(!stripos($v,"jbxue.com"); ){//自分のウェブサイトの画像かどうかを判断します
- if (!empty($ff)){ //ファイルを取得したら以下の操作を実行します
- $dir = "upload/".date("Ymd" ) ."/";//新しいストレージ パスを指定します
- if (!file_exists($dir)){//ディレクトリが存在するかどうかを確認します
- @mkdir($dir,511,true); //複数レベルのディレクトリを作成します,511 10 進数に変換すると、実行権限は 777 になります
- } // bbs.it-home.org
- $nfn = $dir.date("Ymdhis").$i.".".$filetype; //Build new file Name
- $nf = @fopen($nfn,"w"); //ファイルを作成します
- fwrite($nf,$ff); //ファイルを書き込みます
- fclose($nf); //複数のファイル++
- echo "";
- $content = str_replace($v,$nfn, $content);//コンテンツ内のパラメータを置換します
- }else{ //画像が取得できない場合は、デフォルトの画像に置き換えます
- $content = str_replace($v,"/upload/201204/20120417213810742.gif", $content);//content のパラメータを置き換えます
- }
- }
- }
- }
-
-
- コードをコピー
-
-
例 3、PHP は正規表現を使用して画像をローカルにダウンロードします。
-
-
/* - shortage: Web ページ内の画像パスが絶対パスでない場合、クロールできません
- */
- set_time_limit(0);//クロールには影響しません 時間制限
$URL='http://pp.baidu.com/';//任意のURL
get_pic($URL) ;< /p>
function get_pic($pic_url) {
- //画像バイナリ ストリームを取得します
- $data=CurlGet($pic_url);
- /*正規表現を使用して画像リンクを取得します*/
- $pattern_src = '/ <[img|IMG].*?src=['|"](.*?(?:[.gif|.jpg]))['|"].*?[/]? >/';
- $num = preg_match_all($pattern_src, $data, $match_src);
- $arr_src=$match_src[1];//画像配列を取得
- get_name($arr_src);
echo " finished!!!";
- return
- }
/*画像の種類を取得し、ファイルと同じディレクトリに保存します*/
- function get_name($pic_arr )
- {
- //画像タイプ
- $pattern_type = '/(/.(jpg|bmp|jpeg|gif|png))/';
foreach( $pic_arr as $pic_item) {//各画像のアドレスを取得するループ
- $num = preg_match_all($pattern_type, $pic_item, $match_type);
- $pic_name = get_unique().$match_type[1][0]; //マイクロ秒の時間を変更します クリックして名前を付けます
- $write_fd = @fopen($pic_name,"wb");
- @fwrite($write_fd, CurlGet($pic_item)); @fclose($write_fd);
- echo "[OK]..!";
- }
- return 0;//マイクロ秒単位で一意の ID を取得
- function get_unique(){
- list($msec, $sec ) =explode(" ",microtime());
- return $sec.intval($msec*1000000)
- }
//ウェブページをキャッチコンテンツ
- function CurlGet($url) {
- $url=str_replace('&','&',$url);
- curl_setopt($curl, CURLOPT_URL, $url); $curl, CURLOPT_HEADER, false);
//curl_setopt($curl, CURLOPT_REFERER,$url); - curl_setopt($curl, CURLOPT_USERAGENT, "Mozilla/4.0 (互換性; MSIE 6.0; SeaPort) /1.2; Windows NT 5.1; InfoPath.2)");
- curl_setopt($curl, CURLOPT_COOKIEJAR, 'cookie.txt');
- curl_setopt($カール、CURLOPT_RETURNTRANSFER、1);
- curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 0);
- curl_close($curl); /p>
-
-
-
- コードをコピー
-
-
-
-
-
-
-
-
-
|