


Pourquoi est-ce que j'obtiens une erreur 403 Forbidden lors du Web Scraping avec Java ?
Comment résoudre les erreurs 403 interdites pour le scraping Web Java
Lors du scraping des résultats de recherche Google à l'aide de Java, vous pouvez rencontrer un « 403 interdit » erreur tandis que les navigateurs Web renvoient les résultats attendus. En effet, les sites Web, comme Google, mettent en œuvre des mesures anti-scraping pour empêcher l'accès automatisé sans un agent utilisateur approprié.
Pour surmonter ce problème, vous devez modifier votre programme Java pour inclure un en-tête d'agent utilisateur, simulant un demande du navigateur. Voici comment procéder :
- Importez les bibliothèques nécessaires :
import java.net.HttpURLConnection; import java.net.URL; import java.io.BufferedReader; import java.io.InputStreamReader;
- Établissez la connexion :
URLConnection connection = new URL("https://www.google.com/search?q=" + query).openConnection();
- Définir l'agent utilisateur header :
connection.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.95 Safari/537.11");
- Connectez-vous et récupérez les données :
connection.connect(); BufferedReader r = new BufferedReader(new InputStreamReader(connection.getInputStream(), Charset.forName("UTF-8")));
Cette modification garantit que votre programme Java apparaît comme un navigateur légitime, vous permettant pour contourner l'erreur 403 Forbidden. Notez cependant que Google met constamment à jour ses mesures anti-scraping, vous devrez donc peut-être ajuster votre code si vous rencontrez des erreurs imprévues à l'avenir.
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Outils d'IA chauds

Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool
Images de déshabillage gratuites

Clothoff.io
Dissolvant de vêtements AI

AI Hentai Generator
Générez AI Hentai gratuitement.

Article chaud

Outils chauds

VSCode Windows 64 bits Télécharger
Un éditeur IDE gratuit et puissant lancé par Microsoft

Bloc-notes++7.3.1
Éditeur de code facile à utiliser et gratuit

MinGW - GNU minimaliste pour Windows
Ce projet est en cours de migration vers osdn.net/projects/mingw, vous pouvez continuer à nous suivre là-bas. MinGW : un port Windows natif de GNU Compiler Collection (GCC), des bibliothèques d'importation et des fichiers d'en-tête librement distribuables pour la création d'applications Windows natives ; inclut des extensions du runtime MSVC pour prendre en charge la fonctionnalité C99. Tous les logiciels MinGW peuvent fonctionner sur les plates-formes Windows 64 bits.

Version Mac de WebStorm
Outils de développement JavaScript utiles

SublimeText3 Linux nouvelle version
Dernière version de SublimeText3 Linux