Python Crawler를 사용할 때 '범위에서 목록'오류를 가져 오는 이유는 무엇입니까?

Python Crawler의 "인덱스 목록"오류 : 원인 및 솔루션

웹 크롤링에 Python과 BeautifulSoup을 사용하는 경우 종종 list index out of range 만날 수 있습니다. 이 문제는 코드가 수정되지 않은 경우에도 발생할 수 있습니다. 특히 동적 웹 페이지 또는 웹 사이트 구조 변경을 처리 할 때는이 문제가 발생할 수 있습니다. 이 기사는이 오류의 원인을 분석하고 효과적인 솔루션을 제공합니다.

다음은이 오류가 발생할 수있는 원인을 보여주는 샘플 코드입니다.

 가져 오기 요청
BS4 Import BeautifulSoup에서

헤더 = { '사용자 에이전트': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebkit/537.36 (Gecko Like Gecko) Chrome/124.0.0.0 Safari/537.36 EDG/124.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.
응답 = requests.get ( "https://www.iqiyi.com/ranks1/3/0", 헤더 = 헤더)
print (response.status_code)
응답 = response.text
수프 = BeautifulSoup (응답, "html.parser")

def extract_data () :
    titles = [title.get_text (). strip () stour.find_all ( "div", class _ = "rvi__tit1")의 제목에 대한 strip ()]
    heat = [heat.get_text (). Strip () 수프 열에 대한 스트립 () .find_all ( "span", class _ = "rvi__ index__num")]
    소개 = [intro.get_text (). Strip ()의 소개에 대한 Strip () .find_all ( "p", class _ = "rvi__des2")]
    제목, 열, 소개를 반환합니다

def display_data (제목, 열, 소개) :
    min_len = min (Len (제목), Len (Heat), Len (소개)))
    IN RANGE (Min_LEN)의 경우 :
        print (f "순위 : {i 1}, 제목 : {제목 [i]}, population : {heat [i]}, 소개 : {소개 [i]}")


__name__ == '__main__':
    제목, 열, 소개 = Extract_Data ()
    Display_Data (제목, 열, 소개)

이 예에서는 list index out of range 일반적으로 display_data 함수에서 발생합니다. 그 이유는 다음과 같습니다. titles , heat 및 introductions 의 세 목록의 길이는 일관성이 없을 수 있습니다. 목록 중 하나가 길이가 10 미만 (또는 루프 범위)을 갖는 경우 목록 요소에 액세스 할 때 인덱스 외부 오류가 발생합니다.

해결책:

열쇠는 목록 요소에 액세스하기 전에 목록의 길이를 확인하고 유효한 인덱스 범위 내의 요소 만 액세스하는 것입니다. 개선 된 코드는 다음과 같습니다.

 가져 오기 요청
BS4 Import BeautifulSoup에서

# ... (헤더와 요청은 동일하게 유지됩니다) ...

def extract_data () :
    # ... (추출은 동일하게 유지됩니다) ...

def display_data (제목, 열, 소개) :
    min_len = min (Len (제목), Len (Heat), Len (소개)) # 가장 짧은 목록 찾기
    IN RANGE (Min_LEN)의 경우 :
        print (f "순위 : {i 1}, 제목 : {제목 [i]}, population : {heat [i]}, 소개 : {소개 [i]}")


__name__ == '__main__':
    제목, 열, 소개 = Extract_Data ()
    Display_Data (제목, 열, 소개)

세 목록 중 가장 짧은 길이를 min_len 가장 짧은 길이를 계산하고 min_len 루프 범위로 사용함으로써 목록 인덱스 범위 외부의 요소가 액세스되지 않아 list index out of range 피하십시오. 이것은 다른 웹 페이지 구조 및 데이터 볼륨의 변경에 적응할 수있는보다 강력한 처리 방법입니다. 또한 오류 처리 메커니즘 (예 : try-except 블록)을 추가하는 것도 더 복잡한 상황을 처리 할 수있는 좋은 프로그래밍 연습입니다.

위 내용은 Python Crawler를 사용할 때 '범위에서 목록'오류를 가져 오는 이유는 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!