ホームページ >バックエンド開発 >C#.Net チュートリアル >HttpClient は Web ページのソース コードをクロールします

HttpClient は Web ページのソース コードをクロールします

巴扎黑
巴扎黑オリジナル
2016-12-20 12:00:301833ブラウズ

インポート java.io.BufferedReader;

インポート java.io.InputStreamReader;

インポート java.text; .SimpleDateFormat;
import java.util.Date;
import java.util.List; ;
import java.util.zip.GZIPInputStream;
import org.apache.commons.httpclient.HttpClient; apache.commons.httpclient.HttpException;
import org.apache.commons.httpclient.HttpStatus;
import org.apache.commons.httpclient.HttpStatus; commons.httpclient.SimpleHttpConnectionManager;
import org.apache.commons.httpclient.methods.PostMethod;
import org.apache.commons.httpclient.params.HttpConnectionManagerParams; org.apache.commons.httpclient.params.HttpMethodParams;

/ **
* @author Liuwei
* 日付: 2009 年 12 月 18 日
*
* TODO
* HttpClient の補助クラス
* /
public class HttpClientHelper
{

/ **
* HttpClient の接続タイムアウト、読み取りデータのタイムアウト設定 (単位: ミリ秒)
* /
Public static Final int HTTPCLIENT_CONNECTION_TIMEOUT = 30000;
Public static Final int HTTPMETHOD_SO_TIMEOUT = 5000; ConnectionManager の管理 接続を閉じるかどうかwhen httpclientconnection
private static boolean alwaysClose = FALSE;
private static string defaultEncode = "UTF-8";

private static last DateFormat = new SimpleDateFormat("YYYY-MM-DD HH:MM:SS "); **
* HttpClient 接続を取得し、関連するパラメーターを設定します
*
* @return
* /
public static HttpClient の getHttpClient()
{
HttpClient client = new HttpClient (new SimpleHttpConnectionManager (alwaysClose)); ionManagerParams managerParams = クライアント.getHttpConnectionManager() getParams() メソッド。
//接続タイムアウトを設定します (ミリ秒単位)
managerParams.setConnectionTimeout (HTTPCLIENT_CONNECTION_TIMEOUT);
//読み取りデータのタイムアウトを設定します (ミリ秒単位)
クライアントに戻ります。
/ * *
* HttpClient 接続を取得し、関連するパラメーターを設定します
*
* @parameter logonSite
* @parameter logonPort
* @parameter Protocol
* @return
* /
public static HttpClient の getHttpClient (最後の文字列 logonSite、最終解釈 logonPort 、最後の文字列プロトコル)
{
HttpClient client = new HttpClient(new SimpleHttpConnectionManager(alwaysClose));
client.getHostConfiguration() setHost(logonSite, logonPort, プロトコル)。
HttpConnectionManagerParams managerParams = client.getHttpConnectionManager() getParams() メソッド。
//接続タイムアウトを設定します (ミリ秒単位)
managerParams.setConnectionTimeout (HTTPCLIENT_CONNECTION_TIMEOUT);
//読み取りデータのタイムアウトを設定します (ミリ秒単位)
クライアントに戻ります。
プライベートstatic List getHeaders(MapHeaders)
{
List = ヘッダーの配列 new ();
if ( empty = header&& false == ヘッダー) .isEmpty() )
{
set> =entrySet header.entrySet();
for (enter エントリ:entrySet)
if (false == includeUserAgent
&& "UserAgent".equals(entry.getKey()))
{
includeUserAgent = TRUE;
}
headers(new headers()entry.getKey(),entry.getValue()))
} }

if (false == includeUserAgent)
{
headers.add(new headers(
"UserAgent",
"Mozilla/4.0( と互換性があります。MSIE 7.0; Windows NT 5.1; GTB5; .NET CLR 1.1.4322; .NET CLR 2.0 0.50727; Alexa ツールバー; MAXTHON 2.0)"));
}
Return Header;
}

Private static NameValuePair [] getPairs(Map POSTDATA)
{
if (null == | | POSTDATA postData.isEmpty())
{
return
}

文字列 , 文字列 >> =
INT DATALENGTH =
NameValuePair ] = 新しい NameValuePair[DATALENGTH]
INT I = 0;
For (entryentrySet)
{
double[i++] = new NameValuePair(entry.getKey(),entry.getValue());
return ペア
}

/ **
*Web コンテンツ情報のリクエスト
*
* @parameter HttpClient
* @parameter reqUrl
*パラメータ タイトル
* @parameter POSTDATA
*パラメータ エンコーディング
* @return
* /
public static string doRequest(HttpClient HttpClient, String reqUrl,
Map ヘッダー, MapPOSTDATA, String エンコーディング)
{
String htmlContent = NULL;
if (null == HttpClient )
{
Return htmlContent;

//エンコーディング設定のリクエスト

//ヘッダーリクエスト情報
ListSystem.out.println("[" + DATE_FORMAT.format(new Date()) + "] - doRequest - " + reqUrl); <br><br>//Post メソッド <br> if (null = POSTDATA!) <br>{ <br> PostMethod PostMethod = new EncodePostMethod(reqUrl,coding); <br>for (header tempHeader: header) <br>{ <br>postMethod.setRequestHeader(tempHeader); <br><br>//Post パラメータ設定 <br>NameValuePair[] = PARAMS getPairs(POSTDATA ; <br>Other<br>{ <br>) GetMethod getMethod = 新しい実装 getMethod(reqUrl); <br>for (head tempHeader: header) <br>{ <br>getMethod.setRequestHeader(tempHeader) <br>} <br><br>//Web ページのコンテンツを抽出 <br>htmlContent =executeMethod(HttpClient , getMethod, encoding, NULL) ); <br>} <br>Return htmlContent; <br><br> プライベート静的文字列 getWebSite(String reqUrl) <br>{ <br>String website = NULL; <br> if (null == reqUrl || reqUrl.isEmpty( )) <br>{ <br>Web サイトに戻る<br>} <br><br>文字列プレフィックス = "HTTP://"; <br>if (reqUrl.startsWith(prefix)) <br>{ <br>INT インデックス = reqUrl.substring(prefix.length()) IndexOf("/") + prefix.length (); <br>Website = reqUrl.substring(0,index); <br>} <br>Web サイトに戻る <br>} <br><br>/ ** <br>* HTTPMethod を列挙して Web ページのコンテンツを取得します <br>* <br>* @parameter HttpClient <br>* requestMethod <br>* パラメータのエンコーディング <br> * パラメータのウェブサイト <br>* @return <br>* / <br> private static string useMethod (HttpClient HttpClient, enum HTTPMethod requestMethod, エンコードされた文字列, 文字列 Web サイト) <br> { <br>String responseContent = NULL; ) <br>{ <br>return responseContent; <br>} <br><br>//暗号化されたデータをリクエストするかどうかを決定する <br> Boolean dataEncrypt = FALSE; <br>Header acceptEncoding = requestMethod.getRequestHeader(" エンコーディングを受け入れる");空 = acceptEncoding <br>。 && acceptEncoding.getValue() contains("gzip")) <br>{ <br>dataEncrypt = TRUE; <br><br>InputStream responseStream = NULL; <br>INT status = httpClient.executeMethod(requestMethod) <br>if(HttpStatus .SC_OK) == ステータス) <br>{ <br>responseStream = requestMethod.getResponseBodyAsStream(); <br>responseContent = getContentByStream(dataEncrypt new GZIPInputStream(responseStream): responseStream, encoding); <br>responseStream.close() <br> //リターン コードが 30130 2303307 の場合これは、ページがリダイレクトされたことを意味し、その場所の URL を再リクエストします。これは、Cookie を取得するために一部のログイン認証が使用される場合に重要です。それ以外の場合、(HttpStatus.SC_MOVED_PERMANENTLY == ステータス <br>|| HttpStatus.SC_MOVED_TEMPORARILY = = ステータス <br>|| HttpStatus .SC_SEE_OTHER == ステータス <br>|| HttpStatus.SC_TEMPORARY_REDIRECT == ステータス) <br>{ <br> //新しい URL アドレスを読み取ります <br>Header = requestMethod.getResponseHeader("position"); ) <br>{ <br>String redirectUrl = header.getValue(); <br>if (null = redirectUrl! <br>&& false == redirectUrl.isEmpty()) <br>{ <br>responseContent = void <br>if (null == redirectUrl || redirectUrl.isEmpty; ()) <br>{ <br> redirectUrl = "/"; <br>} <br><br> if (false == redirectUrl.startsWith("http://") <br>! && empty = website) <br>{ <br> if (website.startsWith( "/ ")) <br>{ <br> redirectUrl = website + redirectUrl; <br>} <br> other <br>{ <br> redirectUrl = website + "/" + redirectUrl; <br>} <br>} <br><br>GetMethod リダイレクト = 新しい実装 getMethod( redirectUrl); <br>ヘッダリファラー = requestMethod .getRequestHeader("リファラー"); <br>if (null = リファラー! ; + } <br><br>} //ターミナル <br><br>} //終了ステータス <br><br>} の追いつき (例外 5) <br>{ <br>e.printStackTrace() <br>}最後に <br>{ <br>;If (requestMethod! = NULL) <br>{ <br>requestMethod.releaseConnection(); <br>} <br>} <br>ReturnContent; <br>} <br><br>/ ** <br>* 指定されたエンコーディングに従ってストリームから情報を読み取る <br>* <br>* @parameter inStream <br>*パラメータエンコーディング<br>* @return <br>*IOExceptionをスローします <br>* / <br>パブリック静的文字列getContentByStream(InputStream inStream, Stringエンコーディング)はIOExceptionをスローします <br>{ <br>if (null == Break) <br>{ <br> return NULL <br>} <br><br>StringBuilder content = new StringBuilder(); <br>//指定されたエンコード形式を使用してストリーム コンテンツを読み取ります <br>BufferedReader (new InputStreamReader(Interstitial, encoding)); <br>String message = NULL; .readLine())!) <br>{ <br>content.append(message); <br>content.append("r n") <br>} <br>// リーダーを閉じ、リソースを解放します <br>reader.close(); toString()); <br>} <br><br>/ ** <br>*PostMethod から継承された内部クラス。郵便リクエストのエンコード形式を指定するために使用されます <br>* / <br>EncodePostMethod によって拡張されたパブリック静的クラス PostMethod <br>{ <br> プライベート文字列エンコーディング = NULL; <br> public EncodePostMethod(URL String, String encode) <br>{ <br> super(URL); <br>this.encode = encode; <br>} <br><br>@override <br> public String getRequestCharSet() <br>{ <br> // TODO メソッド スタブを自動的に生成します <br> return ( this.encode); <br>} <br><br>} <br><br>/ ** <br>* テスト <br>* <br>* @parameter ARGS <br>* / <br> public static valid main(String[] args) <br>{ <br>//System.setProperty("http .proxyHost", "165.228.128.10"); <br>//System.setProperty("http.proxyPort", "3128"); <br> //System.setProperty("http.proxySet","true"); <br><br><br> String reqUrl = " http://news.39.net/jbyw/index.html "; <br>reqUrl = " http:// news.39.net/a/2010722/1404231.html ”; <br>Map<string string hashmap>(); <br>headers.put("エンコーディングを受け入れる" , "gzip,deflate"); <br><br>HttpClient = getHttpClient();ヘッダー、null、"GBK"); <br>System.out.println(htmlContent);</string>

声明:
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。
前の記事:継承の概要次の記事:継承の概要