웹 스크래핑 및 외국어 데이터 분석

최근에 저는 빠른 웹 스크래핑 및 데이터 분석 프로젝트를 수행하고 싶다고 결정했습니다. 내 두뇌는 많은 시간이 걸리는 큰 아이디어를 생각해내는 것을 좋아하기 때문에 나는 몇 시간 안에 실행 가능하게 수행할 수 있는 간단한 것을 생각해 내도록 도전하기로 결정했습니다.

제가 생각해낸 내용은 다음과 같습니다.

제 학부 학위가 원래 외국어(프랑스어와 스페인어) 전공이었기 때문에 웹에서 언어 관련 데이터를 스크랩해 보는 것도 재미있겠다는 생각이 들었습니다. 나는 정적 HTML을 구문 분석할 수 있지만 전체 데이터 세트를 표시하기 위해 onclick 이벤트가 필요한 동적 웹 페이지를 처리할 수 없는 BeautifulSoup 라이브러리를 사용하고 싶었습니다(예: 페이지가 페이지가 매겨져 있는 경우 데이터의 다음 페이지 클릭).

가장 일반적으로 사용되는 언어가 포함된 Wikipedia 페이지를 선택했습니다.

저는 다음을 하고 싶었습니다:

• 페이지의 HTML을 가져와 .txt 파일로 출력
• Beautiful Soup을 사용하여 HTML 파일을 구문 분석하고 테이블 데이터를 추출합니다
• 테이블을 .csv 파일에 쓰기
• 데이터 분석을 사용하여 이 데이터세트에 대해 답변하고 싶은 질문 10개를 생각해 보세요
• Pandas와 Jupyter Notebook을 사용하여 이러한 질문에 답하세요

관심을 분리하기 위해 프로젝트를 이러한 단계로 나누기로 결정했지만, 스크립트를 다시 실행하여 Wikipedia에서 HTML을 가져오기 위해 불필요한 여러 요청을 하는 것을 피하고 싶었습니다. html 파일을 저장한 다음 별도의 스크립트에서 작업하면 이미 데이터가 있으므로 데이터를 계속 다시 요청할 필요가 없습니다.

프로젝트 링크

이 프로젝트에 대한 내 github 저장소 링크는 다음과 같습니다: https://github.com/gabrielrowan/Foreign-Languages-Analytic

HTML 가져오기

먼저 html을 검색해서 출력했습니다. C#과 C로 작업한 후에는 Python 코드가 얼마나 짧고 간결한지 항상 새롭습니다.

url = 'https://en.wikipedia.org/wiki/List_of_languages_by_number_of_native_speakers'

response = requests.get(url)
html = response.text

with open("languages_html.txt", "w", encoding="utf-8") as file:
    file.write(html)

HTML 파싱

Beautiful Soup으로 HTML을 구문 분석하고 관심 있는 테이블을 선택하기 위해 다음을 수행했습니다.

with open("languages_html.txt", "r", encoding="utf-8") as file:
    soup = BeautifulSoup(file, 'html.parser')

# get table
top_languages_table = soup.select_one('.wikitable.sortable.static-row-numbers')

그런 다음 Pandas 데이터 프레임의 열 이름을 가져오기 위한 테이블 헤더 텍스트를 얻었습니다.

# get column names
columns = top_languages_table.find_all("th")
column_titles = [column.text.strip() for column in columns]

그런 다음 데이터 프레임을 만들고, 열 이름을 설정하고, 각 테이블 행을 검색하고, 각 행을 데이터 프레임에 썼습니다.

# get table rows
table_data = top_languages_table.find_all("tr")

# define dataframe
df = pd.DataFrame(columns=column_titles)

# get table data
for row in table_data[1:]:
    row_data = row.find_all('td')
    row_data_txt = [row.text.strip() for row in row_data]
    print(row_data_txt)
    df.loc[len(df)] = row_data_txt 

참고 - Strip()을 사용하지 않으면 텍스트에 필요하지 않은 n개의 문자가 있었습니다.

마지막으로 데이터 프레임을 .csv에 썼습니다.

데이터 분석

미리 데이터를 통해 답하고 싶은 질문을 생각해 냈습니다.

1. 데이터세트에 포함된 모든 언어의 총 원어민 수는 몇 명입니까?
2. 어족에는 몇 가지 유형이 있나요?
3. 언어족당 총 원어민 수는 몇 명인가요?
4. 가장 일반적인 언어군 상위 3개는 무엇입니까?
5. 가장 일반적인 상위 3개 언어군을 보여주는 원형 차트 만들기
6. 가장 일반적으로 발생하는 언어군 - 분기 쌍은 무엇입니까?
7. 표에 있는 중국-티베트어는 어떤 언어인가요?
8. 모든 로망스어 및 게르만어 원어민의 막대형 차트 표시
9. 전체 원어민 중 상위 5개 언어가 차지하는 비율은 얼마나 되나요?
10. 원어민이 가장 많은 부서와 가장 적은 부서는 어디입니까?

결과

이 모든 질문에 답하기 위해 코드를 다루지는 않지만 차트와 관련된 두 가지 질문에 대해 살펴보겠습니다.

모든 로망스어 및 게르만어 원어민의 막대 차트를 표시합니다.

먼저 분기 이름이 'Romance' 또는 'Germanic'인 행만 포함하는 데이터 프레임을 만들었습니다

url = 'https://en.wikipedia.org/wiki/List_of_languages_by_number_of_native_speakers'

response = requests.get(url)
html = response.text

with open("languages_html.txt", "w", encoding="utf-8") as file:
    file.write(html)

그런 다음 차트에 원하는 x축, y축 및 막대 색상을 지정했습니다.

with open("languages_html.txt", "r", encoding="utf-8") as file:
    soup = BeautifulSoup(file, 'html.parser')

# get table
top_languages_table = soup.select_one('.wikitable.sortable.static-row-numbers')

다음이 생성되었습니다:

가장 많이 사용되는 상위 3개 언어군을 표시하는 원형 차트 만들기

원형 차트를 만들기 위해 가장 일반적인 언어군 상위 3개를 검색하여 데이터 프레임에 넣었습니다.

이 코드 그룹은 언어군별 원어민의 총합을 구해 내림차순으로 정렬한 후 상위 3개 항목을 추출합니다.

# get column names
columns = top_languages_table.find_all("th")
column_titles = [column.text.strip() for column in columns]

그런 다음 '원어민'의 y축과 범례를 지정하여 데이터를 원형 차트에 넣습니다. 그러면 차트에 표시된 각 언어군에 대해 색상으로 구분된 레이블이 생성됩니다.

# get table rows
table_data = top_languages_table.find_all("tr")

# define dataframe
df = pd.DataFrame(columns=column_titles)

# get table data
for row in table_data[1:]:
    row_data = row.find_all('td')
    row_data_txt = [row.text.strip() for row in row_data]
    print(row_data_txt)
    df.loc[len(df)] = row_data_txt 

나머지 질문에 대한 코드와 응답은 여기에서 확인할 수 있습니다. 질문과 답변을 노트에 마크다운을 이용해 작성했습니다.

다음번:

다음번 웹 스크래핑 및 데이터 분석 프로젝트에서는 다음을 사용하여 상황을 더 복잡하게 만들고 싶습니다.

• 클릭/스크롤 시 더 많은 데이터가 표시되는 동적 페이지를 웹 스크래핑
• 훨씬 더 큰 데이터 세트 분석(분석 전에 약간의 데이터 정리 작업이 필요할 수 있음)

최종 생각

빠른 작업이었지만 이번 프로젝트를 하면서 즐거웠습니다. 실무 담당자를 확보하는 데 짧고 관리 가능한 프로젝트가 얼마나 유용할 수 있는지 상기시켜 주었습니다. 게다가 인터넷에서 데이터를 추출하고, 그로부터 차트를 만드는 것도 작은 데이터셋으로도 재미있죠?

위 내용은 웹 스크래핑 및 외국어 데이터 분석의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!