Python Crawlerを使用するときに、「範囲外」エラーを取得するのはなぜですか？

Python Crawlerの「範囲外のインデックス」エラー：原因と解決策

PythonとBeautifulSoupを使用してWeb Crawlingを使用する場合、 list index out of rangeエラーを発生することがよくあります。この問題は、特に動的なWebページやWebサイト構造の変更を扱う場合、コードが変更されていなくても発生する可能性があります。この記事では、このエラーの原因を分析し、効果的なソリューションを提供します。

このエラーが発生する原因を示すサンプルコードは次のとおりです。

リクエストをインポートします
BS4からBeautifulSoupをインポートします

headers = {'user-agent'： 'mozilla/5.0（windows nt 10.0; win64; x64）applewebkit/537.36（khtml、geckoのような）chrome/124.0.0.0 safari/537.36 edg/124.0.0.0'}
Response = requests.get（ "https://www.iqiyi.com/ranks1/3/0"、headers = headers）
print（respons.status_code）
Response = Response.Text
スープ= BeautifulSoup（Response、 "html.parser"）

def extract_data（）：
    title = [title.get_text（）。sport.find_all（ "div"、class _ = "rvi__tit1"）のタイトルの場合
    heat = [heat.get_text（）。strip（）for heat in soup.find_all（ "span"、class _ = "rvi__index__num"）]]
    紹介= [intro.get_text（）。spoup.find_all（ "p"、class _ = "rvi__des2"）のintroのsrip（）。
    タイトル、ヒート、紹介を返します

dif display_data（タイトル、ヒート、紹介）：
    min_len = min（len（title）、len（heat）、len（紹介））
    範囲のi（min_len）：
        print（f "lanking：{i 1}、title：{title [i]}、人気：{heat [i]}、はじめに：{Introductions [i]}"）


__name__ == '__main__'の場合：
    タイトル、熱、紹介= extract_data（）
    display_data（タイトル、ヒート、紹介）

この例では、 list index out of range通常、 display_data関数で発生します。その理由は、 titles 、 heat 、 introductionsの3つのリストの長さが一貫性がない場合があります。リストの1つが10（またはループの範囲）未満の長さを持っている場合、リスト要素にアクセスするときにインデックスアウトバウンドエラーが発生します。

解決：

重要なのは、リスト要素にアクセスする前に、リストの長さがチェックされ、有効なインデックス範囲内の要素のみがアクセスできることを確認することです。改善されたコードは次のとおりです。

リクエストをインポートします
BS4からBeautifulSoupをインポートします

＃...（ヘッダーとリクエストは同じままです）...

def extract_data（）：
    ＃...（抽出は同じままです）...

dif display_data（タイトル、ヒート、紹介）：
    min_len = min（len（title）、len（heat）、len（紹介））＃最短リストを見つける
    範囲のi（min_len）：
        print（f "lanking：{i 1}、title：{title [i]}、人気：{heat [i]}、はじめに：{Introductions [i]}"）


__name__ == '__main__'の場合：
    タイトル、熱、紹介= extract_data（）
    display_data（タイトル、ヒート、紹介）

3つのリストmin_lenの最短長さを計算し、 min_lenループの範囲として使用することにより、リストインデックス範囲外の要素がアクセスされないようにし、 list index out of rangeを効果的に回避します。これは、さまざまなWebページ構造とデータボリュームの変化に適応できる、より堅牢な処理方法です。さらに、エラー処理メカニズム（ try-exceptブロックなど）を追加することも、より複雑な状況を処理できる優れたプログラミングプラクティスです。

以上がPython Crawlerを使用するときに、「範囲外」エラーを取得するのはなぜですか？の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。