집

백엔드 개발

파이썬 튜토리얼

Python으로 자바스크립트 웹사이트를 긁는 방법은 무엇입니까?

WBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWB

Feb 10, 2024 pm 03:40 PM

webdriver

如何用 Python 抓取 javascript 网站？

질문 내용

웹사이트를 크롤링하려고 합니다. 두 가지 방법을 모두 사용해 보았으나 어느 방법도 내가 찾고 있는 전체 웹사이트 소스 코드를 제공하지 못했습니다. 아래 제공된 웹사이트 URL에서 뉴스 헤드라인을 긁어내려고 합니다.

웹사이트: "https://www.todayonline.com/"

제가 시도했지만 실패한 두 가지 방법은 다음과 같습니다.

방법 1: 아름다운 수프

으아악

방법 2: 셀레늄 + 뷰티풀수프

으아악

도와주세요. 다른 뉴스 사이트를 스크랩해 보았는데 이것이 훨씬 쉽습니다. 감사해요.

정답

API를 통해 데이터에 액세스할 수 있습니다("네트워크" 탭 참조):

예를 들어

으아악

위 내용은 Python으로 자바스크립트 웹사이트를 긁는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명

이 기사는 stackoverflow에서 복제됩니다. 침해가 있는 경우 admin@php.cn으로 문의하시기 바랍니다. 삭제

관련 기사

使用Python和WebDriver实现网页自动填写验证码Jul 07, 2023 am 10:19 AM

使用Python和WebDriver实现网页自动填写验证码随着网络的发展，越来越多的网站在用户注册、登录等操作中引入了验证码机制，以提高安全性和防止自动化攻击。然而，手动输入验证码不仅麻烦，还增加了用户体验的复杂度。那么，有没有一种方法能够自动填写验证码呢？答案是肯定的。本文将介绍如何使用Python和WebDriver实现网页自动填写验证码的方法。首先，我

Python和WebDriver扩展：在网页中模拟鼠标右键点击Jul 07, 2023 am 11:22 AM

Python和WebDriver扩展：在网页中模拟鼠标右键点击在使用Python和WebDriver进行网页自动化测试时，我们经常需要模拟用户的鼠标行为，例如点击、拖拽和右键菜单等操作。WebDriver会提供一些基本的鼠标行动函数，如click、drag_and_drop等，但是却没有直接提供模拟鼠标右键点击的函数。本文将介绍如何使用Python和WebD

构建可靠的PHP WebDriver测试环境: 从安装到优化Jun 15, 2023 pm 05:34 PM

近年来，随着Web应用程序的不断普及和复杂度的增加，自动化测试也变得越来越重要。PHPWebDriver是一个广泛使用的自动化测试工具，它可以模拟用户在网站上的行为，进行UI测试、功能测试等各种测试。但是，要使测试环境可靠、高效，我们需要进行一系列的安装和优化操作，本文将为您介绍具体步骤。安装SeleniumServerSelenium是一个自动化测试

使用Python和WebDriver在网页上自动点击按钮Jul 07, 2023 am 09:06 AM

使用Python和WebDriver在网页上自动点击按钮自动化测试在今天的软件开发领域中变得非常重要，它可以帮助开发人员提高效率，减少人为错误。在自动化测试中，模拟用户操作是非常关键的一步，而自动点击按钮是其中的常见需求之一。本文将介绍如何使用Python和WebDriver来实现在网页上自动点击按钮的功能。首先，我们需要安装Python的WebDriver

使用Python和WebDriver实现网页自动填充日期选择器Jul 07, 2023 am 10:21 AM

使用Python和WebDriver实现网页自动填充日期选择器引言：在现代Web应用程序中，日期选择器是非常常见的，用户需要手动选择日期。然而，对于一些自动化测试和数据收集等场景，我们需要通过编程的方式自动填充日期选择器。本文将介绍如何使用Python和WebDriver来实现自动填充日期选择器的功能。一、准备工作：首先，我们需要安装Python和WebDr

使用Python和WebDriver实现表单自动填写功能Jul 07, 2023 am 10:25 AM

使用Python和WebDriver实现表单自动填写功能在日常的网站浏览中，我们经常会遇到需要填写表单的情况。当我们需要频繁填写相同或类似的表单时，手动填写显得很繁琐而且耗时。所幸的是，我们可以借助Python和WebDriver来实现自动填写表单的功能，提高我们的工作效率。首先，我们需要安装selenium库。Selenium是一个自动化测试工具，可以模拟

利用Python和WebDriver扩展自动化处理网页的滑动验证码Jul 07, 2023 pm 01:04 PM

利用Python和WebDriver扩展自动化处理网页的滑动验证码引言：随着互联网的快速发展，为了确保网站的安全性和用户体验，很多网站都采用了各种形式的验证码。其中，滑动验证码被广泛应用于验证用户的真实性。但对于使用自动化测试工具的测试人员来说，滑动验证码却成为了一道难以逾越的鸿沟。然而，利用Python的selenium库以及WebDriver，我们可以轻

PHP和WebDriver扩展：如何模拟用户点击和输入操作Jul 07, 2023 pm 05:10 PM

PHP和WebDriver扩展：如何模拟用户点击和输入操作近年来，随着Web应用程序的快速发展，自动化测试变得越来越重要。在自动化测试中，模拟用户操作是一个关键的环节，它可以使我们更准确地测试和验证我们的应用程序。在PHP开发中，我们通常使用SeleniumWebDriver来实现自动化测试。SeleniumWebDriver是一种强大的工具，它可以模拟

See all articles