Python을 사용하여 HTML 파일에서 깨끗한 텍스트를 효율적으로 추출하려면 어떻게 해야 합니까?

Python을 사용하여 HTML 파일에서 텍스트 추출: 종합 안내서

소개

텍스트 추출 HTML 파일의 데이터는 다양한 데이터 처리 및 분석 작업에 필수적일 수 있습니다. 간단한 HTML 구조에서는 정규 표현식을 사용할 수 있지만 형식이 잘못된 코드에서는 어려움을 겪을 수 있습니다. 이 기사에서는 강력한 대안인 Beautiful Soup을 탐색하고 원치 않는 JavaScript를 효과적으로 제거하고 HTML 엔터티를 해석하는 실용적인 솔루션을 제공합니다.

Beautiful Soup 사용

다음을 사용하여 텍스트를 추출하려면 Beautiful Soup은 다음 단계를 따르세요.

1. BeautifulSoup 가져오기 library.
2. urlopen()을 사용하여 HTML 파일을 엽니다.
3. BeautifulSoup(html, feature="html.parser")를 사용하여 BeautifulSoup 객체를 생성합니다.
4. 원하지 않는 요소 제거( 예를 들어 스크립트 및 스타일) for script in 수프(["script", "style"]): script.extract().
5. soup.get_text()를 사용하여 텍스트를 추출합니다.
6. 텍스트를 줄로 나누고 줄을 사용하여 공백을 제거합니다. = (line.strip() 텍스트의 줄 .splitlines()).
7. 청크로 여러 헤드라인 분리 = (phrase.strip() for line in line for문구 in line.split(" ")).
8. text = 'n'.join(chunk for Chunk in Chunks if Chunk).

코드 예

전체 코드는 다음과 같습니다. 예:

from urllib.request import urlopen
from bs4 import BeautifulSoup

url = "http://news.bbc.co.uk/2/hi/health/2284783.stm"
html = urlopen(url).read()
soup = BeautifulSoup(html, features="html.parser")
for script in soup(["script", "style"]):
    script.extract()
text = soup.get_text()
lines = (line.strip() for line in text.splitlines())
chunks = (phrase.strip() for line in lines for phrase in line.split("  "))
text = '\n'.join(chunk for chunk in chunks if chunk)

print(text)

추가 옵션

• html2text: HTML 엔터티를 처리하고 JavaScript를 무시하는 대체 라이브러리입니다. 그러나 일반 텍스트 대신 Markdown을 생성합니다.
• lxml: 태그를 제거한 후 텍스트도 추출할 수 있는 강력한 XML 및 HTML 파서 라이브러리입니다.

결론

이 가이드는 다음을 사용하여 HTML 파일에서 텍스트를 추출하는 포괄적인 솔루션을 제공합니다. BeautifulSoup. 원치 않는 요소를 제거하고 HTML 엔터티를 해석함으로써 추가 처리 및 분석을 위한 일반 텍스트 출력을 효과적으로 생성합니다.

위 내용은 Python을 사용하여 HTML 파일에서 깨끗한 텍스트를 효율적으로 추출하려면 어떻게 해야 합니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!