cari
RumahJavajavaTutorialMengapa Saya Mendapat Ralat Terlarang 403 Semasa Mengikis Web dengan Java?

Why Am I Getting a 403 Forbidden Error When Web Scraping with Java?

Cara Menyelesaikan 403 Ralat Terlarang untuk Mengikis Web Java

Apabila mengikis hasil carian Google menggunakan Java, anda mungkin menghadapi "403 Forbidden" ralat semasa pelayar web mengembalikan hasil yang diharapkan. Ini kerana tapak web, seperti Google, melaksanakan langkah anti-mengikis untuk menghalang akses automatik tanpa ejen pengguna yang betul.

Untuk mengatasi isu ini, anda perlu mengubah suai program Java anda untuk memasukkan pengepala ejen pengguna, mensimulasikan permintaan pelayar. Begini cara untuk melakukannya:

  1. Import perpustakaan yang diperlukan:
import java.net.HttpURLConnection;
import java.net.URL;
import java.io.BufferedReader;
import java.io.InputStreamReader;
  1. Tetapkan sambungan:
URLConnection connection = new URL("https://www.google.com/search?q=" + query).openConnection();
  1. Tetapkan ejen pengguna pengepala:
connection.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.95 Safari/537.11");
  1. Sambung dan dapatkan semula data:
connection.connect();
BufferedReader r = new BufferedReader(new InputStreamReader(connection.getInputStream(), Charset.forName("UTF-8")));

Pengubahsuaian ini memastikan program Java anda muncul sebagai penyemak imbas yang sah, membolehkan anda untuk memintas ralat 403 Forbidden. Walau bagaimanapun, ambil perhatian bahawa Google sentiasa mengemas kini langkah anti-mengikisnya, jadi anda mungkin perlu melaraskan kod anda jika anda menghadapi sebarang ralat yang tidak diduga pada masa hadapan.

Atas ialah kandungan terperinci Mengapa Saya Mendapat Ralat Terlarang 403 Semasa Mengikis Web dengan Java?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn

Alat AI Hot

Undresser.AI Undress

Undresser.AI Undress

Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover

AI Clothes Remover

Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool

Undress AI Tool

Gambar buka pakaian secara percuma

Clothoff.io

Clothoff.io

Penyingkiran pakaian AI

AI Hentai Generator

AI Hentai Generator

Menjana ai hentai secara percuma.

Alat panas

SublimeText3 versi Cina

SublimeText3 versi Cina

Versi Cina, sangat mudah digunakan

MinGW - GNU Minimalis untuk Windows

MinGW - GNU Minimalis untuk Windows

Projek ini dalam proses untuk dipindahkan ke osdn.net/projects/mingw, anda boleh terus mengikuti kami di sana. MinGW: Port Windows asli bagi GNU Compiler Collection (GCC), perpustakaan import yang boleh diedarkan secara bebas dan fail pengepala untuk membina aplikasi Windows asli termasuk sambungan kepada masa jalan MSVC untuk menyokong fungsi C99. Semua perisian MinGW boleh dijalankan pada platform Windows 64-bit.

Dreamweaver CS6

Dreamweaver CS6

Alat pembangunan web visual

mPDF

mPDF

mPDF ialah perpustakaan PHP yang boleh menjana fail PDF daripada HTML yang dikodkan UTF-8. Pengarang asal, Ian Back, menulis mPDF untuk mengeluarkan fail PDF "dengan cepat" dari tapak webnya dan mengendalikan bahasa yang berbeza. Ia lebih perlahan dan menghasilkan fail yang lebih besar apabila menggunakan fon Unicode daripada skrip asal seperti HTML2FPDF, tetapi menyokong gaya CSS dsb. dan mempunyai banyak peningkatan. Menyokong hampir semua bahasa, termasuk RTL (Arab dan Ibrani) dan CJK (Cina, Jepun dan Korea). Menyokong elemen peringkat blok bersarang (seperti P, DIV),

Hantar Studio 13.0.1

Hantar Studio 13.0.1

Persekitaran pembangunan bersepadu PHP yang berkuasa