Selenium+PhantomJs는 Js의 기본 작업을 구문 분석하고 렌더링합니다.

어떤 사람들은 Selenium 라이브러리와 PhantomJ를 함께 사용하면 다재다능한 도구라고 말합니다. 그렇다면 Selenium 라이브러리의 사용법을 살펴보겠습니다. 이번 글을 통해 PhantomJs, Chrome, 기타 브라우저와 결합된 Selenium 라이브러리의 동작을 살펴보겠습니다.

Selenium이란 무엇입니까

Selenium은 Chrome, Firefox, Safari, PhantomJs, 등 장치. 크롤러에서 사용되는 경우 주로 일부 JavaScript 렌더링 문제를 해결하는 데 사용됩니다.

Requests 라이브러리를 사용하여 163music과 같은 일부 웹페이지를 요청할 때 우리가 얻는 응답 데이터는 브라우저에 표시되는 정보의 전부가 아닙니다. 그는 js를 통해 렌더링될 수 있습니다. 그러면 Selenium 라이브러리를 사용하면 이 문제를 어떻게 해결해야 할지 더 이상 신경 쓰지 않게 됩니다.

PhantomJs와 같은 브라우저는 인터페이스가 없는 브라우저이기 때문에 js를 렌더링하고 구문 분석하는 데 사용되며 Selenium 라이브러리는 브라우저에 일부 명령을 보내고 drop- 아래로 드래그하고, 페이지를 넘기고, 양식 및 기타 작업을 입력하세요. 이러한 방식으로 두 가지를 결합하면 JS 렌더링 문제를 완벽하게 해결할 수 있습니다.

Note

Selenium 라이브러리와 PhantomJs는 매우 유용하지만 결국 브라우저를 구동한 다음 데이터를 얻습니다. 그래서 우리가 그것을 사용할 때 우리가 사용하는 일부 구문 분석 라이브러리만큼 빠르지 않다는 것을 알게 될 것입니다. 이것이 실제로 단점이므로 실제로 해결책을 찾을 수 없을 때까지는 사용하지 않는 것이 좋습니다.

설치 준비

pip에서 Selenium 라이브러리 직접 설치:

pip install selenium

브라우저 드라이버 설치: #🎜🎜 #

Chrome 브라우저 드라이버

PhantomJs 브라우저 드라이버

설치된 브라우저 드라이버를 환경 변수에 구성해야 합니다. Windows 사용자의 경우 환경 변수 구성이 더 번거롭습니다. 다운로드한 드라이버의 위치를 ​​찾은 다음 해당 파일 위치를 복사하여 환경 변수에 붙여넣어야 합니다.

구성이 완료되었습니다. 명령줄 입력:

phantomjs -v

성공 여부를 확인하세요.

사용 예

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
 
 
browser = webdriver.Chrome()
 
try:
    browser.get('http://www.yukunweb.com')
    input = browser.find_element_by_id('s')
    input.send_keys('Python')
    input.send_keys(Keys.ENTER)
    wait = WebDriverWait(browser, 10)
    wait.until(EC.presence_of_element_located((By.ID, 'main')))
    print(browser.current_url)
    print(browser.page_source)
finally:
    browser.close()

위 코드를 실행하면 Chrome 브라우저가 로컬로 열린 다음 브라우저에서 열리는 것을 볼 수 있습니다. 주소창에 내 블로그 URL을 입력한 뒤, 자동으로 검색창에 'Python'을 입력하고 엔터를 눌러 검색을 하더군요. 그리고 결과페이지의 URL과 소스코드를 출력합니다.

PhantomJs에는 인터페이스가 없고 효과를 보기가 불편하기 때문에 예제는 모두 Chrome 브라우저를 사용하여 작동됩니다. 잘못 실행하면 일반적으로 브라우저가 열리지 않습니다. 그렇다면 Chrome 브라우저를 설치하지 않았거나 환경 변수로 드라이버를 구성하지 않은 것입니다.

그럼 이 코드 줄은 무엇을 의미하며, 어떤 지침을 제공합니까?

브라우저 객체 선언

from selenium import webdriver
 
browser = webdriver.Chrome()
# 声明其他浏览器
browser = webdriver.PhantomJs()
browser = webdriver.Firefox()

이것은 Selenium 라이브러리의 webdriver 메소드를 호출하는 것과 동일합니다. . Chrome 브라우저를 인스턴스화하고 호출해 주세요.

액세스 페이지

from selenium import webdriver
 
browser = webdriver.Chrome()
browser.get('http://www.yukunweb.com')

방문하려는 URL을 get 메소드에 전달합니다. URL에 액세스하려면 브라우저를 호출하세요.

Find element

input = browser.find_element_by_id('s')

이 코드는 이름에서 알 수 있듯이 find_element_by_id 메서드를 호출합니다. id의 ' 태그이고 작업 클래스가 's'이면 find_element_by_class('s')입니다.

물론 CSS 선택기와 xpath 선택기를 사용하여 요소를 찾을 수도 있습니다.

input = browser.find_element_by_css_selector("#s")
print(input)
input = browser.find_element_by_xpath('//*[@id="s"]')
print(input)

결과를 인쇄하면 어떤 선택기를 사용하든 상관없이 검색결과는 동일합니다. 다음은 몇 가지 검색 API입니다.

find_element_by_namefind_element_by_xpathfind_element_by_link_textfind_element_by_partial_link_textfind_element_by_tag_namefind_element_by_class_namefind_element_by_css_selector

여러 요소 찾기

우리가 찾고 있는 요소가 웹 페이지의 li 태그인 경우, 많은 요소가 있습니다. 그런 다음 검색 방법은 검색 API의 경우 요소 뒤에 복수형 s를 추가해야 한다는 점을 제외하면 단일 요소의 경우와 동일합니다. 즉,

find_elements_by_namefind_elements_by_xpathfind_elements_by_link_textfind_elements_by_partial_link_textfind_elements_by_tag_namefind_elements_by_class_namefind_elements_by_css_selector

Element 대화형 작업

은 우리가 얻은 요소에 대한 지침을 발행하고 대화형 메서드를 호출하는 것입니다.

browser.get('http://www.yukunweb.com')
input = browser.find_element_by_id('s')
input.send_keys('Python')
input.send_keys(Keys.ENTER)

​

이 코드에서는 먼저 ID가 's'인 요소를 찾은 다음 'Python' 값을 전달한 다음 상호 작용 방법을 호출하고 Enter를 누르세요.

물론 대부분의 경우 Enter 키를 누른 후 양식이 제출되었는지 확실하지 않기 때문에 Enter 키를 누르는 방법을 직접 사용할 수 없습니다. 파인더를 사용하여 제출 버튼 요소를 찾은 다음 클릭을 시뮬레이션해야 합니다.

button = browser.find_element_by_class_name('xxxx')
button.click()
# 清除表单信息
button.clear()

그런 다음 로그인을 시뮬레이션할 때 계정을 직접 입력하는 것을 볼 수 있습니다. 번호, 비밀번호, 인증코드가 있으면 입력방법에 직접 입력해보겠습니다.

인터랙티브 액션

元素交互动作与上面的操作是不同的。上面的操作需要获得一个特定的元素。然后对这个特定的元素调用一些指令，才可以完成交互。而这个交互是将这些动作附加到动作链中串行执行。

我们以拖拽元素为例(我们需要导入ACtionChains方法)：

from selenium import webdriver
from selenium.webdriver import ActionChains
 
browser = webdriver.Chrome()
 
browser.get(url)
source = browser.find_element_by_name("source")
target = browser.find_element_by_name("target")
actions = ActionChains(browser)
actions.drag_and_drop(source, target).perform()

   

这里的sourcs是我们要拖拽的元素，我们使用查找器找到他，target就是我们要拖拽到的位置元素。然后调用ActionChains方法，实现拖拽操作。

执行JavaScript

有些动作呢，Selenium库并没有为我们提供特定的api，比如说将浏览器进度条下拉，这个实现起来是很难的。那么我们就可以通过让Selenium执行JS来实现进度条的下拉，这个得需要一些js的知识，不过还是很简单的。

from selenium import webdriver
 
browser = webdriver.Chrome()
browser.get('http://www.yukunweb.com')
browser.execute_script('window.scrollTo(0, document.body.scrollHeight)')
browser.execute_script('alert("到达底部")')

   

这就相当于我们将一些JS命令传给Selenium的execute_script这个api，我们运行就可以看到浏览器下拉到底部，然后弹出会话框。

获取元素文本值

如果我们查找得到一个元素，我们要怎样获得元素的一些属性和文本信息呢？

from selenium import webdriver
 
browser = webdriver.Chrome()
 
browser.get('http://www.yukunweb.com')
name = browser.find_element_by_css_selector('#kratos-logo > a')
print(name.text)
print(name.get_attribute('href'))

   

运行结果可以看到，他打印出了‘意外’和他的url。

Frame框架

有些网页在我们直接使用Selenium驱动浏览器打印源码的时候，并没有如期获得想要的数据，那在我们查看网页源码的时候，可以看到网页的iframe标签包裹的一个一个的框架。那么这就需要我们请求对应框架，拿到源码了。

我们以网易云音乐的歌手栏为例。

from selenium import webdriver
 
browser = webdriver.Chrome()
browser.get('https://music.163.com/#/discover/artist/signed/')
 
print(browser.page_source)

   

可以查看结果，并没有我们想要的信息。

from selenium import webdriver
 
browser = webdriver.Chrome()
browser.get('https://music.163.com/#/discover/artist/signed/')
browser.switch_to.frame('contentFrame')
 
print(browser.page_source)

   

这次打印，我们就可以看到我们需要的信息了，是不是很简单。

显示等待

在文章开始的时候，我们运行的那段代码中有一段代码是不是还没有说。那就是我们命令浏览器等待的操作。

等待有两种方式，一种是隐士等待，一种是显示等待。当使用了隐士等待执行时，如果浏览器没有找到指定元素，将继续等待，如果超出设定时间就会抛出找不到元素的异常。而大多数情况我们建议使用显示等待。

显示等待是你指定一个等待的条件，还指定一个最长等待时间。那么程序会在最长等待时间内，判断条件是否成立，如果成立，立即返回。如果不成立，他会一直等待，直到最长等待时间结束，如果条件仍然不满足，就返回异常。

wait = WebDriverWait(browser, 10)
wait.until(EC.presence_of_element_located((By.ID, 'main')))

   

这里的By.ID方法实际上就是一个查找的万能方法，而我们直接查找或者使用CSS、xpath查找足够满足，我也不过多介绍，想要了解可以查看官方文档。

这里是知道查找到id为‘main’就返回。

显示等待的一些条件还有：

title_is 标题是某内容

title_contains 标题包含某内容

presence_of_element_located 元素加载出，传入定位元组，如(By.ID, ‘p’)

visibility_of_element_located 元素可见，传入定位元组

visibility_of_element_located 元素可见，传入定位元组

visibility_of_element_located 元素可见，传入定位元组

visibility_of 可见，传入元素对象

presence_of_all_elements_located 所有元素加载出

text_to_be_present_in_element 某个元素文本包含某文字

text_to_be_present_in_element_value 某个元素值包含某文字

frame_to_be_available_and_switch_to_it frame加载并切换

invisibility_of_element_located 元素不可见

element_to_be_clickable 元素可点击

staleness_of 判断一个元素是否仍在DOM，可判断页面是否已经刷新

element_to_be_selected 元素可选择，传元素对象

element_located_to_be_selected 元素可选择，传入定位元组

element_selection_state_to_be 传入元素对象以及状态，相等返回True，否则返回False

element_located_selection_state_to_be 传入定位元组以及状态，相等返回True，否则返回False

alert_is_present 是否出现Alert

窗口选择

如果我们在表单输入关键词，提交表单后浏览器新打开了一个窗口，那么我们要怎么去操作新的窗口呢？索性Selenium为我们提供了对应的api.

import time
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
 
browser = webdriver.Chrome()
browser.get('http://www.23us.cc/')
input = browser.find_element_by_id('bdcs-search-form-input')
input.send_keys('斗破苍穹')
input.send_keys(Keys.ENTER)
browser.switch_to_window(browser.window_handles[1])
print(browser.current_url)
time.sleep(1)
browser.switch_to_window(browser.window_handles[0])
print(browser.current_url)

   

通过打印结果，不难看出先打印了搜索结果窗口url，然后打印了索引页url。要注意窗口的索引是从 0 开始的哦，这个大家都明白。

异常处理

异常处理和普通的异常处理一样，没有什么要说的，大家自己查看官方异常 api.地址

最后

그렇습니다. 이 글을 통해 브라우저 드라이버와 결합된 Selenium 라이브러리를 사용하는 몇 가지 방법을 기본적으로 이해할 수 있기를 바랍니다. 이 예에서는 Chrome을 사용하지만 실제 코드에서는 인터페이스가 없고 상대적으로 더 잘 실행되기 때문에 PhantomJ를 사용하는 것이 가장 좋습니다.

글 시작 부분에서 셀레늄은 매우 느리기 때문에 일반적으로 모든 사람에게 사용하는 것을 권장하지 않는다고 말했습니다. 하지만 느리더라도 여전히 매우 멋지지 않나요?

위 내용은 Selenium+PhantomJs는 Js의 기본 작업을 구문 분석하고 렌더링합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!