정규식은 어떻게 시리즈의 여러 하위 문자열에 대한 Pandas 필터링을 최적화할 수 있습니까?

시리즈의 여러 하위 문자열에 대한 Pandas 필터링 최적화

배경

문자열의 여러 하위 문자열을 기반으로 대규모 Pandas 데이터 프레임 필터링 열은 계산 비용이 많이 드는 작업일 수 있습니다. 기존 접근 방식은 각 하위 문자열에 마스크를 적용한 다음 논리 연산을 사용하여 이를 줄이는 것입니다.

제안 접근 방식

효율성을 높이기 위해 정규식을 활용하는 것이 좋습니다(이스케이프된 특수 문자) 부분 문자열 일치를 위한 것입니다. 정규식 파이프(|)를 사용하여 이스케이프된 하위 문자열을 결합하면 일치하는 항목이 발견될 때까지 문자열에 대해 각 하위 문자열을 테스트할 수 있습니다.

구현

import re

# Escape special characters in substrings
esc_lst = [re.escape(s) for s in lst]

# Join escaped substrings using regex pipe
pattern = '|'.join(esc_lst)

# Filter based on concatenated pattern
df[col].str.contains(pattern, case=False)

성능 고려 사항

수를 줄이면 성능이 향상됩니다. 행당 필요한 테스트 수입니다. 이 방법은 일치하는 항목이 발견될 때까지 하위 문자열을 확인하여 불필요한 반복을 제거합니다.

벤치마킹

50,000개의 문자열과 100개의 하위 문자열이 있는 샘플 데이터 프레임을 사용하여 제안된 방법은 대략 둘째, 기존 접근 방식의 5초와 비교됩니다. 이러한 성능 이점은 데이터 세트가 클수록 증가합니다.

결론

이스케이프된 특수 문자가 포함된 정규식을 활용하면 Pandas 데이터 프레임에서 여러 하위 문자열을 효율적으로 필터링하여 계산 오버헤드.

위 내용은 정규식은 어떻게 시리즈의 여러 하위 문자열에 대한 Pandas 필터링을 최적화할 수 있습니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!