Python と BeautifulSoup を使用して Web ページからハイパーリンクと URL を抽出するにはどうすればよいですか?

Python と BeautifulSoup を使用した Web ページのリンクの取得

質問: Web ページからハイパーリンクを抽出し、を使用して URL を取得しますPython?

答え:

Python と BeautifulSoup を使用して Web ページからリンクと URL アドレスを効率的に抽出するには、SoupStrainer クラスを利用できます。コード スニペットは次のとおりです。

import httplib2
from bs4 import BeautifulSoup, SoupStrainer

http = httplib2.Http()
status, response = http.request('http://www.nytimes.com')

for link in BeautifulSoup(response, 'html.parser', parse_only=SoupStrainer('a')):
    if link.has_attr('href'):
        print(link['href'])

このコードは、まず Web ページの HTML コンテンツを取得します (httplib2 ライブラリを使用)。次に、BeautifulSoup を使用して HTML を解析し、効率を高めるために SoupStrainer クラスを使用してタグのみをフィルタリングします。最後に、a タグを反復処理して、それぞれの href 属性を出力し、リンク URL を効果的に抽出します。

さまざまな解析シナリオの詳細については、BeautifulSoup のドキュメントを参照してください。

[BeautifulSoup]ドキュメント](https://www.crummy.com/software/BeautifulSoup/bs4/doc/)

以上がPython と BeautifulSoup を使用して Web ページからハイパーリンクと URL を抽出するにはどうすればよいですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。