如何使用 Python 和 BeautifulSoup 从网页中提取超链接和 URL？

使用Python和BeautifulSoup检索网页链接

问题：如何从网页中提取超链接并使用以下方式获取他们的 URL Python？

答案：

要使用 Python 和 BeautifulSoup 高效地从网页中提取链接和 URL 地址，您可以使用 SoupStrainer 类。下面是一个代码片段：

import httplib2
from bs4 import BeautifulSoup, SoupStrainer

http = httplib2.Http()
status, response = http.request('http://www.nytimes.com')

for link in BeautifulSoup(response, 'html.parser', parse_only=SoupStrainer('a')):
    if link.has_attr('href'):
        print(link['href'])

此代码首先获取网页的 HTML 内容（使用 httplib2 库）。然后，它使用 BeautifulSoup 来解析 HTML，使用 SoupStrainer 类仅过滤标签以提高效率。最后，它迭代 a 标签并打印每个标签的 href 属性，从而有效地提取链接 URL。

有关各种解析场景的更多详细信息，请参阅 BeautifulSoup 文档：

[BeautifulSoup文档](https://www.crummy.com/software/BeautifulSoup/bs4/doc/)

以上是如何使用 Python 和 BeautifulSoup 从网页中提取超链接和 URL？的详细内容。更多信息请关注PHP中文网其他相关文章！