찾다
백엔드 개발파이썬 튜토리얼빅데이터 처리를 위해 Python 정규식을 사용하는 방법

빅데이터 처리를 위해 Python 정규식을 사용하는 방법

Jun 23, 2023 am 10:03 AM
python정규식빅데이터 처리

데이터 처리 과정에서 때로는 많은 양의 데이터를 필터링하고 정리해야 할 때가 있습니다. 이때 Python의 정규 표현식을 사용하면 데이터 처리 효율성을 크게 향상시킬 수 있습니다. 다음은 빅데이터 처리를 위해 Python 정규식을 사용하는 방법을 소개합니다.

  1. 데이터 준비

먼저 500,000개의 표준 중국어 텍스트가 포함된 데이터 세트와 같이 처리해야 할 데이터를 준비해야 합니다. 이 데이터 세트는 인터넷에서 얻거나 직접 만들 수 있습니다.

  1. re 모듈 가져오기

Python 정규식을 사용하기 전에 Python에 내장된 re 모듈을 가져와야 합니다. 이 모듈은 일반적으로 사용되는 많은 정규식 관련 함수 및 메서드를 제공합니다.

import re
  1. 정규식 구문 소개

정규식은 문자열을 일치시키는 데 사용되는 표현식이지만, 일반적으로 사용되는 구문을 익히면 데이터 처리 효율성이 크게 향상됩니다.

3.1. 표현식

정규 표현식의 기본 구문은 일련의 문자와 메타문자로 구성된 표현식입니다. 그 중 문자는 일치하는 문자열의 문자를 나타내고, 메타문자는 특정 유형의 문자를 나타냅니다.

3.2. 메타 문자

메타 문자는 단일 문자 메타 문자와 결합 문자 메타 문자로 구분됩니다.

단일 문자 메타 문자에는 다음이 포함됩니다.

  • .: 모든 문자와 일치합니다(개행 제외).
  • w: 문자, 숫자 또는 밑줄과 일치합니다.
  • d: 임의의 숫자와 일치합니다.
  • s: 모든 공백 문자(공백, 탭, 개행 등 포함)와 일치합니다.
  • W: 문자가 아닌 숫자, 밑줄 문자와 일치합니다.
  • D: 숫자가 아닌 문자와 일치합니다.
  • S: 공백이 아닌 문자와 일치합니다.

문자 메타 문자 결합에는 다음이 포함됩니다.

  • []: 대괄호 안의 모든 문자와 일치합니다.
  • -: 숫자 문자와 일치하도록 [0-9]와 같이 범위를 나타내는 데 사용되는 하이픈을 나타냅니다.
  • ^: 일치하지 않는 문자를 나타내는 데 사용되는 없음을 의미합니다. 예를 들어 1은 소문자가 아닌 알파벳 문자와 일치함을 의미합니다.
  • |: or를 의미하며 여러 정규식을 일치시키는 데 사용됩니다. 예를 들어 a|b는 문자 a 또는 문자 b와 일치함을 의미합니다.

3.3. 수량자는 일치하는 문자의 수를 표현하는 데 사용됩니다. 일반적으로 사용되는 수량자는 다음과 같습니다.

*: 0 이상과 일치하는 모든 문자를 나타냅니다.
  • +: 모든 문자를 나타내며 1개 이상과 일치합니다.
  • ?: 0 또는 1과 일치하는 모든 문자를 나타냅니다.
  • {}: 모든 문자를 나타내며 지정된 숫자와 일치합니다. 예를 들어 {3,5}는 3~5개의 문자와 일치함을 의미합니다.
데이터 처리에 정규식 사용
  1. 위의 정규식 구문을 소개한 후 정규식을 사용하여 데이터 처리를 시작할 수 있습니다. 다음은 데이터 처리에 정규식을 사용하는 방법을 보여주는 간단한 예입니다.

4.1. 데이터 읽기

먼저 데이터를 읽어야 합니다. 여기에서 Python에 내장된 개방형 함수를 사용하여 읽거나 타사 라이브러리 pandas를 사용하여 읽을 수 있습니다.

# 使用pandas读取数据
import pandas as pd

data = pd.read_csv('data.csv', encoding='utf-8')

4.2. 정규식을 사용하여 데이터 정리

이제 데이터에서 휴대폰 번호를 필터링하고 필터링된 데이터를 새 파일에 저장해야 한다고 가정해 보겠습니다. 이 예에서는 휴대폰 번호가 11자리라고 가정합니다.

위 정규식 구문에서 d는 임의의 숫자와 일치한다는 의미이고, {11}은 해당 숫자 11개가 일치해야 함을 의미합니다. 따라서 완전한 정규식은 다음과 같이 작성할 수 있습니다.

regexp = r'd{11}'

그런 다음 Python의 re 모듈을 사용하여 데이터를 필터링하고 정리할 수 있습니다. 먼저 데이터를 메모리로 읽은 다음 정규식을 사용하여 일치 및 추출합니다.

import re

with open('data.csv', encoding='utf-8') as f:
    lines = f.readlines()
# 使用正则表达式进行数据清洗
result = []
regexp = r'd{11}'
for line in lines:
    match_obj = re.search(regexp, line)
    # 如果匹配成功,则把匹配的内容加入到result
    if match_obj:
        result.append(match_obj.group(0))

# 把结果写入到文件中
with open('result.txt', 'w', encoding='utf-8') as f:
    f.write('
'.join(result))

위 코드를 사용하여 정규식을 사용하여 모든 휴대폰 번호를 일치시키고 결과.txt 파일에 저장했습니다.

요약
  1. 이 글에서는 빅데이터 처리를 위해 Python 정규식을 사용하는 방법을 소개했습니다. Python에 내장된 re 모듈은 일반적으로 사용되는 많은 정규식 함수와 메서드를 제공합니다. 정규식의 구문을 마스터함으로써 빅데이터 처리에서 데이터 필터링, 정리 및 기타 작업을 빠르고 효율적으로 수행할 수 있습니다.


a-z

위 내용은 빅데이터 처리를 위해 Python 정규식을 사용하는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.
파이썬 : 게임, Guis 등파이썬 : 게임, Guis 등Apr 13, 2025 am 12:14 AM

Python은 게임 및 GUI 개발에서 탁월합니다. 1) 게임 개발은 Pygame을 사용하여 드로잉, 오디오 및 기타 기능을 제공하며 2D 게임을 만드는 데 적합합니다. 2) GUI 개발은 Tkinter 또는 PYQT를 선택할 수 있습니다. Tkinter는 간단하고 사용하기 쉽고 PYQT는 풍부한 기능을 가지고 있으며 전문 개발에 적합합니다.

Python vs. C : 응용 및 사용 사례가 비교되었습니다Python vs. C : 응용 및 사용 사례가 비교되었습니다Apr 12, 2025 am 12:01 AM

Python은 데이터 과학, 웹 개발 및 자동화 작업에 적합한 반면 C는 시스템 프로그래밍, 게임 개발 및 임베디드 시스템에 적합합니다. Python은 단순성과 강력한 생태계로 유명하며 C는 고성능 및 기본 제어 기능으로 유명합니다.

2 시간의 파이썬 계획 : 현실적인 접근2 시간의 파이썬 계획 : 현실적인 접근Apr 11, 2025 am 12:04 AM

2 시간 이내에 Python의 기본 프로그래밍 개념과 기술을 배울 수 있습니다. 1. 변수 및 데이터 유형을 배우기, 2. 마스터 제어 흐름 (조건부 명세서 및 루프), 3. 기능의 정의 및 사용을 이해하십시오. 4. 간단한 예제 및 코드 스 니펫을 통해 Python 프로그래밍을 신속하게 시작하십시오.

파이썬 : 기본 응용 프로그램 탐색파이썬 : 기본 응용 프로그램 탐색Apr 10, 2025 am 09:41 AM

Python은 웹 개발, 데이터 과학, 기계 학습, 자동화 및 스크립팅 분야에서 널리 사용됩니다. 1) 웹 개발에서 Django 및 Flask 프레임 워크는 개발 프로세스를 단순화합니다. 2) 데이터 과학 및 기계 학습 분야에서 Numpy, Pandas, Scikit-Learn 및 Tensorflow 라이브러리는 강력한 지원을 제공합니다. 3) 자동화 및 스크립팅 측면에서 Python은 자동화 된 테스트 및 시스템 관리와 ​​같은 작업에 적합합니다.

2 시간 안에 얼마나 많은 파이썬을 배울 수 있습니까?2 시간 안에 얼마나 많은 파이썬을 배울 수 있습니까?Apr 09, 2025 pm 04:33 PM

2 시간 이내에 파이썬의 기본 사항을 배울 수 있습니다. 1. 변수 및 데이터 유형을 배우십시오. 이를 통해 간단한 파이썬 프로그램 작성을 시작하는 데 도움이됩니다.

10 시간 이내에 프로젝트 및 문제 중심 방법에서 컴퓨터 초보자 프로그래밍 기본 사항을 가르치는 방법?10 시간 이내에 프로젝트 및 문제 중심 방법에서 컴퓨터 초보자 프로그래밍 기본 사항을 가르치는 방법?Apr 02, 2025 am 07:18 AM

10 시간 이내에 컴퓨터 초보자 프로그래밍 기본 사항을 가르치는 방법은 무엇입니까? 컴퓨터 초보자에게 프로그래밍 지식을 가르치는 데 10 시간 밖에 걸리지 않는다면 무엇을 가르치기로 선택 하시겠습니까?

중간 독서를 위해 Fiddler를 사용할 때 브라우저에서 감지되는 것을 피하는 방법은 무엇입니까?중간 독서를 위해 Fiddler를 사용할 때 브라우저에서 감지되는 것을 피하는 방법은 무엇입니까?Apr 02, 2025 am 07:15 AM

Fiddlerevery Where를 사용할 때 Man-in-the-Middle Reading에 Fiddlereverywhere를 사용할 때 감지되는 방법 ...

Python 3.6에 피클 파일을로드 할 때 '__builtin__'모듈을 찾을 수없는 경우 어떻게해야합니까?Python 3.6에 피클 파일을로드 할 때 '__builtin__'모듈을 찾을 수없는 경우 어떻게해야합니까?Apr 02, 2025 am 07:12 AM

Python 3.6에 피클 파일로드 3.6 환경 보고서 오류 : modulenotfounderror : nomodulename ...

See all articles

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

인기 기사

R.E.P.O. 에너지 결정과 그들이하는 일 (노란색 크리스탈)
3 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 최고의 그래픽 설정
3 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 아무도들을 수없는 경우 오디오를 수정하는 방법
3 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
WWE 2K25 : Myrise에서 모든 것을 잠금 해제하는 방법
4 몇 주 전By尊渡假赌尊渡假赌尊渡假赌

뜨거운 도구

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

Dreamweaver Mac版

Dreamweaver Mac版

시각적 웹 개발 도구

WebStorm Mac 버전

WebStorm Mac 버전

유용한 JavaScript 개발 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

mPDF

mPDF

mPDF는 UTF-8로 인코딩된 HTML에서 PDF 파일을 생성할 수 있는 PHP 라이브러리입니다. 원저자인 Ian Back은 자신의 웹 사이트에서 "즉시" PDF 파일을 출력하고 다양한 언어를 처리하기 위해 mPDF를 작성했습니다. HTML2FPDF와 같은 원본 스크립트보다 유니코드 글꼴을 사용할 때 속도가 느리고 더 큰 파일을 생성하지만 CSS 스타일 등을 지원하고 많은 개선 사항이 있습니다. RTL(아랍어, 히브리어), CJK(중국어, 일본어, 한국어)를 포함한 거의 모든 언어를 지원합니다. 중첩된 블록 수준 요소(예: P, DIV)를 지원합니다.