Java爬蟲的實例分析

首先，看完這篇文章，不能保證你成為大神，但是卻可以讓你懂得什麼是爬蟲，如何使用爬蟲，如何利用http協議，侵入別人的系統，當然只是一些簡單的教程，拿到一些簡單的資料；

先上程式碼，在一步一步講解：

這是一個工具類，不用詳細看，網路上哪裡都能找到發送http請求的工具類，少包自己導

package com.df.util;
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.OutputStreamWriter;
import java.io.PrintWriter;
import java.net.HttpURLConnection;
import java.net.URL;
import java.net.URLConnection;
import java.util.List;
import java.util.Map;
import org.apache.log4j.Logger;
import org.jsoup.Connection;
import org.jsoup.Connection.Method;
import org.jsoup.Connection.Response;
import org.jsoup.Jsoup;
import com.df.controller.DFContorller;
public class HttpPosts {
    private final static Logger logger = Logger.getLogger(DFContorller.class);
    public static String sendPost(String url, String param) {
        PrintWriter out = null;
        BufferedReader in = null;
        String result = "";
        try {
            URL realUrl = new URL(url);
            // 打开和URL之间的连接
            URLConnection conn = realUrl.openConnection();
            // 设置通用的请求属性
            conn.setRequestProperty("accept", "*/*");
            conn.setRequestProperty("connection", "Keep-Alive");
            conn.setRequestProperty("user-agent",
                    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)");
            // 发送POST请求必须设置如下两行
            conn.setDoOutput(true);
            conn.setDoInput(true);
            // 获取URLConnection对象对应的输出流
            out = new PrintWriter(conn.getOutputStream());
            // 发送请求参数
            out.print(param);
            // flush输出流的缓冲
            out.flush();
            // 定义BufferedReader输入流来读取URL的响应
            in = new BufferedReader(
                    new InputStreamReader(conn.getInputStream(),"utf-8"));
            String line;
            while ((line = in.readLine()) != null) {
                result += line;
            }
        } catch (Exception e) {
            logger.info("发送 POST 请求出现异常！"+e);
            e.printStackTrace();
        }
        //使用finally块来关闭输出流、输入流
        finally{
            try{
                if(out!=null){
                    out.close();
                }
                if(in!=null){
                    in.close();
                }
            }
            catch(IOException ex){
                ex.printStackTrace();
            }
        }
        return result;
    }  
    
    
      public static String sendGet(String url, String param) {
            String result = "";
            BufferedReader in = null;
            try {
                String urlNameString = url + "?" + param;
                URL realUrl = new URL(urlNameString);
                // 打开和URL之间的连接
                URLConnection connection = realUrl.openConnection();
                // 设置通用的请求属性
                connection.setRequestProperty("accept", "*/*");
                connection.setRequestProperty("connection", "Keep-Alive");
                connection.setRequestProperty("user-agent",
                        "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)");
                connection.setRequestProperty("Cookie","PHPSESSID=27roc4d0ccd2cg4jbht80k8km2");
                // 建立实际的连接
                connection.connect();
                // 获取所有响应头字段
                Map<String, List<String>> map = connection.getHeaderFields();
                // 遍历所有的响应头字段
                for (String key : map.keySet()) {
                    System.out.println(key + "--->" + map.get(key));
                }
                // 定义 BufferedReader输入流来读取URL的响应
                in = new BufferedReader(new InputStreamReader(
                        connection.getInputStream(),"utf-8"));
                String line;
                while ((line = in.readLine()) != null) {
                    result += line;
                }
            } catch (Exception e) {
                System.out.println("发送GET请求出现异常！" + e);
                e.printStackTrace();
            }
            // 使用finally块来关闭输入流
            finally {
                try {
                    if (in != null) {
                        in.close();
                    }
                } catch (Exception e2) {
                    e2.printStackTrace();
                }
            }
            return result;
       }       
}

---------------------------------------分割線

 

下面進入主題：首先你要先進入，你要去爬取網站的登入頁面，查看頁面原始碼，找到登入請求發送的方法名稱；一般來所，小型網站會直接寫在from表面action裡面，很容易找得到，中型的網站就不會寫的這麼直接了，找起來要費些功夫，可能在js裡面，也可能不在這個頁面，推薦使用抓包工具登陸一次，看抓到的請求信息，大型的網站，本人爬取過的京東商城後台，用遊覽器自帶的f12，抓不到登錄的信息，一閃即逝，最後想了很多招才搞到京東的登入介面；實作爬去；拿到了登入介面位址後；上碼

String data=HttpPosts.sendGet(登入位址（不含參數；String類型位址）,參數（如：user_id=6853&export =112）);（回傳的登入狀態，一般是json格式，他會高數你是否登入成功，有的是true，有的是1，視情況而定）選擇get還是post，模仿登入頁面的請求

然後再來一個請求獲取cookie

Connection conn = Jsoup.connect("登录后页面的地址");  
          conn.method(Method.GET);  
          conn.followRedirects(false);  
          Response response = conn.execute();  
          System.out.println(response.cookies());

再講cookie動態傳入get或post方法裡面替換到寫死的cookie；因為是測試所以寫死了cookie，可以寫成動態的；

之後再掉你要訪問登入之後的頁面，主頁，或是資料頁面，裡面一定要攜帶cookie，和http請求的基本參數訊息，不然一定會被攔截的。

String data=HttpPosts.sendGet(登入位址（不含參數；String類型位址）,參數（如：user_id=6853&export=112）);存取方法同上；這回給你回傳的就是他們的頁面了，如何你找到了對面的某個數據接口，那就可以直接訪問他，返回的就直接是數據，不然你還要解析，他的頁面，很麻煩的。解析頁面一般用jsoup。

其實這個等於另類的入侵，不需要知道對方的介面文檔，用程式利用http協定直接存取對方的伺服器， 

以上是Java爬蟲的實例分析的詳細內容。更多資訊請關注PHP中文網其他相關文章！