首頁 >Java >java教程 >登入後如何處理 Jsoup 中的 Post 請求和 Cookie 以進行網站抓取?

登入後如何處理 Jsoup 中的 Post 請求和 Cookie 以進行網站抓取?

Barbara Streisand
Barbara Streisand原創
2024-10-29 04:01:29479瀏覽

How to Handle Post Requests and Cookies in Jsoup for Website Scraping After Login?

在 jsoup 中處理 Post 請求和 Cookie

登入後嘗試抓取網站時,通常會遇到由於缺少曲奇餅。為了維護經過驗證的會話,網站通常會在登入期間設定 cookie。

在jsoup 中,您可以在成功登入要求後使用Connection.Response 物件擷取用於後續要求的會話cookie:

<code class="java">Connection.Response res = Jsoup.connect("http://www.example.com/login.php")
    .data("username", "myUsername", "password", "myPassword")
    .method(Method.POST)
    .execute();</code>

收到回應後,您可以存取會話cookie ,其名稱通常類似於「SESSIONID」:

<code class="java">String sessionId = res.cookie("SESSIONID");</code>

後續頁面請求必須使用會話cookie 來維護session:

<code class="java">Document doc2 = Jsoup.connect("http://www.example.com/otherPage")
    .cookie("SESSIONID", sessionId)
    .get();</code>

透過將cookie 處理合併到您的jsoup 程式碼中,您可以在登入後成功導航並抓取網站的後續頁面。

以上是登入後如何處理 Jsoup 中的 Post 請求和 Cookie 以進行網站抓取?的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述:
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn