Python 웹 크롤러를 사용하여 Bilibili의 비디오 선택 콘텐츠를 얻는 방법을 단계별로 가르칩니다(소스 코드 첨부)

1. 배경 소개

스테이션 B의 첫인상은 저와 같은 많은 친구들이 스테이션 B의 비디오를 얻기 위해 웹 크롤러 기술을 사용하고 싶어한다고 생각합니다. 스테이션 B는 실제로 얻기가 쉽지 않습니다. off 스테이션 B에서 비디오를 가져옵니다 , 는 이전에 에 소개한 적이 있으며 you-get 라이브러리를 통해 구현했으며, 관심 있는 친구는 이 기사를 읽어보세요:You-Get은 정말 강력합니다! .经 经

🎜🎜 🎜🎜🎜🎜🎜 🎜🎜🎜🎜🎜, 특히 이 프로그래밍 언어처럼 수십, 심지어 수백 개의 비디오를 연재하는 블로거를 자주 만날 수 있습니다. , 강좌, 도구 사용 등 튜토리얼을 진행하면 아래 그림과 같이 선택 시리즈가 나타납니다. 🎜🎜🎜🎜🎜

물론이 선택 필드는 육안으로도 볼 수 있습니다. 그냥 프로그램을 통해 구현해 보면 생각보다 간단하지 않을 수도 있습니다. 따라서 이 기사의 목표는 Python 웹 크롤러 기술을 통해 셀레늄 라이브러리를 기반으로 비디오 선택을 얻는 것입니다.

2. 구체적인 구현

이 글에서 사용하는 라이브러리는 사용자 로그인을 시뮬레이션하는 데 사용되는 라이브러리인 Selenium입니다. 웹 크롤러 분야에서는 느리다고 느껴지지만, 이 라이브러리는 다음과 같습니다. 여전히 많이 사용되며 로그인을 시뮬레이션하고 데이터를 얻기 위해 시도되고 테스트되었습니다. 다음은 비디오 선택 컬렉션을 구현하는 모든 코드입니다. 직접 연습해 보세요.

# coding: utf-8
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait


class Item:
    page_num = ""
    part = ""
    duration = ""


    def __init__(self, page_num, part, duration):
        self.page_num = page_num
        self.part = part
        self.duration = duration


    def get_second(self):
        str_list = self.duration.split(":")
        sum = 0
        for i, item in enumerate(str_list):
            sum += pow(60, len(str_list) - i - 1) * int(item)


        return sum


def get_bilili_page_items(url):
    options = webdriver.ChromeOptions()
    options.add_argument('--headless')  # 设置无界面
    options.add_experimental_option('excludeSwitches', ['enable-automation'])
    # options.add_experimental_option("prefs", {"profile.managed_default_content_settings.images": 2,
    #                                           "profile.managed_default_content_settings.flash": 0})


    browser = webdriver.Chrome(options=options)
    # browser = webdriver.PhantomJS()
    print("正在打开网页...")
    browser.get(url)


    print("等待网页响应...")
    # 需要等一下，直到页面加载完成
    wait = WebDriverWait(browser, 10)
    wait.until(EC.visibility_of_element_located((By.XPATH, '//*[@class="list-box"]/li/a')))


    print("正在获取网页数据...")
    list = browser.find_elements_by_xpath('//*[@class="list-box"]/li')
    # print(list)
    itemList = []


    second_sum = 0


    # 2.循环遍历出每一条搜索结果的标题
    for t in list:
        # print("t text:",t.text)
        element = t.find_element_by_tag_name('a')
        # print("a text:",element.text)
        arr = element.text.split('\n')
        print(" ".join(arr))
        item = Item(arr[0], arr[1], arr[2])
        second_sum += item.get_second()
        itemList.append(item)


    print("总数量:", len(itemList))
    # browser.page_source


    print("总时长/分钟:", round(second_sum / 60, 2))
    print("总时长/小时:", round(second_sum / 3600.0, 2))


    browser.close()


    return itemList




get_bilili_page_items("https://www.bilibili.com/video/BV1Eb411u7Fw")

여기에 사용된 선택기는 xpath이고, 영상 예시는 스테이션 B의 전체 교육 영상(송하오 선생님) 영상 선택의 "고급 수학" 통지 버전입니다. 기타 동영상을 선택하려면 위 코드 마지막 줄의 URL 링크만 변경하면 됩니다.

三、常见问题

    在运行过程中小伙伴们应该会经常遇到这个问题，如下图所示。

    这个是因为谷歌驱动版本问题导致的，只需要根据提示，去下载对应的驱动版本即可，驱动下载链接：

https://chromedriver.storage.googleapis.com/index.html

위 내용은 Python 웹 크롤러를 사용하여 Bilibili의 비디오 선택 콘텐츠를 얻는 방법을 단계별로 가르칩니다(소스 코드 첨부)의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!