데이터 처리 과정에서 때로는 많은 양의 데이터를 필터링하고 정리해야 할 때가 있습니다. 이때 Python의 정규 표현식을 사용하면 데이터 처리 효율성을 크게 향상시킬 수 있습니다. 다음은 빅데이터 처리를 위해 Python 정규식을 사용하는 방법을 소개합니다.
- 데이터 준비
먼저 500,000개의 표준 중국어 텍스트가 포함된 데이터 세트와 같이 처리해야 할 데이터를 준비해야 합니다. 이 데이터 세트는 인터넷에서 얻거나 직접 만들 수 있습니다.
- re 모듈 가져오기
Python 정규식을 사용하기 전에 Python에 내장된 re 모듈을 가져와야 합니다. 이 모듈은 일반적으로 사용되는 많은 정규식 관련 함수 및 메서드를 제공합니다.
import re
- 정규식 구문 소개
정규식은 문자열을 일치시키는 데 사용되는 표현식이지만, 일반적으로 사용되는 구문을 익히면 데이터 처리 효율성이 크게 향상됩니다.
3.1. 표현식
정규 표현식의 기본 구문은 일련의 문자와 메타문자로 구성된 표현식입니다. 그 중 문자는 일치하는 문자열의 문자를 나타내고, 메타문자는 특정 유형의 문자를 나타냅니다.
3.2. 메타 문자
메타 문자는 단일 문자 메타 문자와 결합 문자 메타 문자로 구분됩니다.
단일 문자 메타 문자에는 다음이 포함됩니다.
- .: 모든 문자와 일치합니다(개행 제외).
- w: 문자, 숫자 또는 밑줄과 일치합니다.
- d: 임의의 숫자와 일치합니다.
- s: 모든 공백 문자(공백, 탭, 개행 등 포함)와 일치합니다.
- W: 문자가 아닌 숫자, 밑줄 문자와 일치합니다.
- D: 숫자가 아닌 문자와 일치합니다.
- S: 공백이 아닌 문자와 일치합니다.
문자 메타 문자 결합에는 다음이 포함됩니다.
- []: 대괄호 안의 모든 문자와 일치합니다.
- -: 숫자 문자와 일치하도록 [0-9]와 같이 범위를 나타내는 데 사용되는 하이픈을 나타냅니다.
- ^: 일치하지 않는 문자를 나타내는 데 사용되는 없음을 의미합니다. 예를 들어 1은 소문자가 아닌 알파벳 문자와 일치함을 의미합니다.
- |: or를 의미하며 여러 정규식을 일치시키는 데 사용됩니다. 예를 들어 a|b는 문자 a 또는 문자 b와 일치함을 의미합니다.
3.3. 수량자는 일치하는 문자의 수를 표현하는 데 사용됩니다. 일반적으로 사용되는 수량자는 다음과 같습니다.
*: 0 이상과 일치하는 모든 문자를 나타냅니다.- +: 모든 문자를 나타내며 1개 이상과 일치합니다.
- ?: 0 또는 1과 일치하는 모든 문자를 나타냅니다.
- {}: 모든 문자를 나타내며 지정된 숫자와 일치합니다. 예를 들어 {3,5}는 3~5개의 문자와 일치함을 의미합니다.
- 위의 정규식 구문을 소개한 후 정규식을 사용하여 데이터 처리를 시작할 수 있습니다. 다음은 데이터 처리에 정규식을 사용하는 방법을 보여주는 간단한 예입니다.
4.1. 데이터 읽기
먼저 데이터를 읽어야 합니다. 여기에서 Python에 내장된 개방형 함수를 사용하여 읽거나 타사 라이브러리 pandas를 사용하여 읽을 수 있습니다.
# 使用pandas读取数据 import pandas as pd data = pd.read_csv('data.csv', encoding='utf-8')
4.2. 정규식을 사용하여 데이터 정리
이제 데이터에서 휴대폰 번호를 필터링하고 필터링된 데이터를 새 파일에 저장해야 한다고 가정해 보겠습니다. 이 예에서는 휴대폰 번호가 11자리라고 가정합니다.
위 정규식 구문에서 d는 임의의 숫자와 일치한다는 의미이고, {11}은 해당 숫자 11개가 일치해야 함을 의미합니다. 따라서 완전한 정규식은 다음과 같이 작성할 수 있습니다.
regexp = r'd{11}'
그런 다음 Python의 re 모듈을 사용하여 데이터를 필터링하고 정리할 수 있습니다. 먼저 데이터를 메모리로 읽은 다음 정규식을 사용하여 일치 및 추출합니다.
import re with open('data.csv', encoding='utf-8') as f: lines = f.readlines() # 使用正则表达式进行数据清洗 result = [] regexp = r'd{11}' for line in lines: match_obj = re.search(regexp, line) # 如果匹配成功,则把匹配的内容加入到result if match_obj: result.append(match_obj.group(0)) # 把结果写入到文件中 with open('result.txt', 'w', encoding='utf-8') as f: f.write(' '.join(result))
위 코드를 사용하여 정규식을 사용하여 모든 휴대폰 번호를 일치시키고 결과.txt 파일에 저장했습니다.
요약- 이 글에서는 빅데이터 처리를 위해 Python 정규식을 사용하는 방법을 소개했습니다. Python에 내장된 re 모듈은 일반적으로 사용되는 많은 정규식 함수와 메서드를 제공합니다. 정규식의 구문을 마스터함으로써 빅데이터 처리에서 데이터 필터링, 정리 및 기타 작업을 빠르고 효율적으로 수행할 수 있습니다.
a-z
위 내용은 빅데이터 처리를 위해 Python 정규식을 사용하는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

Python은 게임 및 GUI 개발에서 탁월합니다. 1) 게임 개발은 Pygame을 사용하여 드로잉, 오디오 및 기타 기능을 제공하며 2D 게임을 만드는 데 적합합니다. 2) GUI 개발은 Tkinter 또는 PYQT를 선택할 수 있습니다. Tkinter는 간단하고 사용하기 쉽고 PYQT는 풍부한 기능을 가지고 있으며 전문 개발에 적합합니다.

Python은 데이터 과학, 웹 개발 및 자동화 작업에 적합한 반면 C는 시스템 프로그래밍, 게임 개발 및 임베디드 시스템에 적합합니다. Python은 단순성과 강력한 생태계로 유명하며 C는 고성능 및 기본 제어 기능으로 유명합니다.

2 시간 이내에 Python의 기본 프로그래밍 개념과 기술을 배울 수 있습니다. 1. 변수 및 데이터 유형을 배우기, 2. 마스터 제어 흐름 (조건부 명세서 및 루프), 3. 기능의 정의 및 사용을 이해하십시오. 4. 간단한 예제 및 코드 스 니펫을 통해 Python 프로그래밍을 신속하게 시작하십시오.

Python은 웹 개발, 데이터 과학, 기계 학습, 자동화 및 스크립팅 분야에서 널리 사용됩니다. 1) 웹 개발에서 Django 및 Flask 프레임 워크는 개발 프로세스를 단순화합니다. 2) 데이터 과학 및 기계 학습 분야에서 Numpy, Pandas, Scikit-Learn 및 Tensorflow 라이브러리는 강력한 지원을 제공합니다. 3) 자동화 및 스크립팅 측면에서 Python은 자동화 된 테스트 및 시스템 관리와 같은 작업에 적합합니다.

2 시간 이내에 파이썬의 기본 사항을 배울 수 있습니다. 1. 변수 및 데이터 유형을 배우십시오. 이를 통해 간단한 파이썬 프로그램 작성을 시작하는 데 도움이됩니다.

10 시간 이내에 컴퓨터 초보자 프로그래밍 기본 사항을 가르치는 방법은 무엇입니까? 컴퓨터 초보자에게 프로그래밍 지식을 가르치는 데 10 시간 밖에 걸리지 않는다면 무엇을 가르치기로 선택 하시겠습니까?

Fiddlerevery Where를 사용할 때 Man-in-the-Middle Reading에 Fiddlereverywhere를 사용할 때 감지되는 방법 ...

Python 3.6에 피클 파일로드 3.6 환경 보고서 오류 : modulenotfounderror : nomodulename ...


핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경

Dreamweaver Mac版
시각적 웹 개발 도구

WebStorm Mac 버전
유용한 JavaScript 개발 도구

SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)

mPDF
mPDF는 UTF-8로 인코딩된 HTML에서 PDF 파일을 생성할 수 있는 PHP 라이브러리입니다. 원저자인 Ian Back은 자신의 웹 사이트에서 "즉시" PDF 파일을 출력하고 다양한 언어를 처리하기 위해 mPDF를 작성했습니다. HTML2FPDF와 같은 원본 스크립트보다 유니코드 글꼴을 사용할 때 속도가 느리고 더 큰 파일을 생성하지만 CSS 스타일 등을 지원하고 많은 개선 사항이 있습니다. RTL(아랍어, 히브리어), CJK(중국어, 일본어, 한국어)를 포함한 거의 모든 언어를 지원합니다. 중첩된 블록 수준 요소(예: P, DIV)를 지원합니다.
