零基礎寫Java知乎爬蟲之獲取知乎編輯推薦內容

先花個三五分鐘設計一個Logo=。 =身為一個程式設計師我一直有一顆做美工的心！

好吧做的有點小湊合，就先湊合著用咯。

接下來呢，我們開始製作知乎的爬蟲。

首先，確定第一個目標：編輯推薦。

網頁連結：http://www.zhihu.com/explore/recommendations

我們對上次的程式碼稍作修改，先實現能夠取得該頁內容：

import java.io.*;
import java.net.*;
import java.util.regex.*;
public class Main {
 static String SendGet(String url) {
  // 定义一个字符串用来存储网页内容
  String result = "";
  // 定义一个缓冲字符输入流
  BufferedReader in = null;
  try {
   // 将string转成url对象
   URL realUrl = new URL(url);
   // 初始化一个链接到那个url的连接
   URLConnection connection = realUrl.openConnection();
   // 开始实际的连接
   connection.connect();
   // 初始化 BufferedReader输入流来读取URL的响应
   in = new BufferedReader(new InputStreamReader(
     connection.getInputStream()));
   // 用来临时存储抓取到的每一行的数据
   String line;
   while ((line = in.readLine()) != null) {
    // 遍历抓取到的每一行并将其存储到result里面
    result += line;
   }
  } catch (Exception e) {
   System.out.println("发送GET请求出现异常！" + e);
   e.printStackTrace();
  }
  // 使用finally来关闭输入流
  finally {
   try {
    if (in != null) {
     in.close();
    }
   } catch (Exception e2) {
    e2.printStackTrace();
   }
  }
  return result;
 }
 static String RegexString(String targetStr, String patternStr) {
  // 定义一个样式模板，此中使用正则表达式，括号中是要抓的内容
  // 相当于埋好了陷阱匹配的地方就会掉下去
  Pattern pattern = Pattern.compile(patternStr);
  // 定义一个matcher用来做匹配
  Matcher matcher = pattern.matcher(targetStr);
  // 如果找到了
  if (matcher.find()) {
   // 打印出结果
   return matcher.group(1);
  }
  return "Nothing";
 }
 public static void main(String[] args) {
  // 定义即将访问的链接
  String url = "http://www.zhihu.com/explore/recommendations";
  // 访问链接并获取页面内容
  String result = SendGet(url);
  // 使用正则匹配图片的src内容
  //String imgSrc = RegexString(result, "src=\"(.+?)\"");
  // 打印结果
  System.out.println(result);
 }
}

運行一下木有問題，接下來就是一個正規匹配的問題了。

首先我們先來獲取該頁面的所有的問題。

右擊標題，審查元素：

啊哈，可以看到標題其實是一個a標籤，也就是一個超鏈接，而其中能夠和其他超鏈接區分開的，應該就是那個class了，也就是類別選擇器。

於是我們的正規語句就出來了：question_link.+?href="(.+?)"

調用RegexString函數，並給它傳參：

public static void main(String[] args) {
  // 定义即将访问的链接
  String url = "http://www.zhihu.com/explore/recommendations";
  // 访问链接并获取页面内容
  String result = SendGet(url);
  // 使用正则匹配图片的src内容
  String imgSrc = RegexString(result, "question_link.+?>(.+?)<");
  // 打印结果
  System.out.println(imgSrc);
 }

啊哈，可以看到我們成功抓到了一個標題（注意，只是一個）：

等一下啊這一大堆的亂七八糟的是什麼玩意？ ！

別緊張=。 =它只是字元亂碼而已。

編碼問題可以參考：HTML字元集

一般來說，對中文支援較好的主流編碼是UTF-8，GB2312和GBK編碼。

 以上就是零基礎寫Java知乎爬蟲之獲取知乎編輯推薦內容的內容，更多相關內容請關注PHP中文網（www.php.cn）！