찾다
백엔드 개발파이썬 튜토리얼Python 경량 검색 도구 Whoosh 사용(요약 공유)

이 글에서는 Python에 대한 관련 지식을 제공합니다. Python의 경량 검색 도구인 Whoosh를 간략하게 소개하고 해당 사용 예제 코드를 함께 살펴보겠습니다.

Python 경량 검색 도구 Whoosh 사용(요약 공유)

【관련 추천: Python3 동영상 튜토리얼

이 글에서는 Python의 경량 검색 도구인 Whoosh를 간략하게 소개하고 해당 사용 예제 코드를 제공합니다.

Whoosh 소개

Whoosh는 Matt Chaput에 의해 만들어졌습니다. Houdini 3D 애니메이션 소프트웨어 패키지의 온라인 문서에 대한 간단하고 빠른 검색 서비스 도구로 시작된 이후 서서히 성숙한 검색 솔루션 도구가 되었으며 오픈 소스가 되었습니다. .

Whoosh는 순수하게 Python으로 작성되었으며 유연하고 편리하며 가벼운 검색 엔진 도구입니다. 이제 Python2와 3을 모두 지원합니다. 장점은 다음과 같습니다.

  • Whoosh는 순수하게 Python으로 작성되었지만 매우 빠릅니다. , Python 환경만 필요하며 컴파일러는 필요하지 않습니다.
  • Okapi BM25F 정렬 알고리즘은 기본적으로 사용되며 다른 정렬 알고리즘도 지원됩니다.
  • Whoosh는 더 작은 인덱스 파일을 생성합니다. 인코딩은 유니코드여야 합니다.
  • Whoosh는 모든 Python 개체를 저장할 수 있습니다.
  • Whoosh 공식 소개 사이트는 https://whoosh.readthedocs.io/en/latest/intro.html입니다. ElasticSearch 또는 Solr와 같은 성숙한 검색 엔진 도구에 비해 Whoosh는 더 가볍고 작동이 간단하며 소규모 검색 프로젝트에 사용하는 것을 고려할 수 있습니다.

Index & query

ES에 익숙한 분들이라면 검색의 두 가지 중요한 측면은 매핑과 쿼리, 즉 인덱스 구성과 쿼리이며, 그 뒤에는 복잡한 인덱스 저장, 쿼리 구문 분석 및 정렬 알고리즘이 있습니다. ES 경험이 있다면 Whoosh를 시작하는 것은 매우 쉽습니다.

저자의 이해와 Whoosh의 공식 문서에 따르면 Whoosh의 입문 용도는 주로 인덱스와 쿼리입니다. 검색 엔진의 강력한 기능 중 하나는 BM25와 같은 정렬 알고리즘과 필드 저장 방법에 따라 달라지는 전체 텍스트 검색을 제공할 수 있다는 것입니다. 따라서 index가 명사로 사용되는 경우에는 해당 필드의 인덱스를 의미하고, 동사로 사용되는 경우에는 해당 필드의 인덱스를 설정하는 것을 의미합니다. 쿼리는 정렬 알고리즘을 사용하여 쿼리해야 하는 명령문을 기반으로 합리적인 검색 결과를 제공합니다.

Whoosh 사용과 관련하여 공식 문서에 자세한 지침이 제공되어 있습니다. 여기에서는 Whoosh가 검색 경험을 쉽게 향상시킬 수 있는 방법을 설명하기 위해 간단한 예만 제공합니다.

예제 코드

Data

이 프로젝트의 예제 데이터는 poem.csv입니다. 다음 그림은 데이터 세트의 처음 10개 행입니다.

Fields

데이터 세트의 특성에 따라, 제목, 왕조, 시인, 내용의 네 가지 필드( 필드)를 만듭니다. 생성된 코드는 다음과 같습니다.

# -*- coding: utf-8 -*-
import os
from whoosh.index import create_in
from whoosh.fields import *
from jieba.analyse import ChineseAnalyzer
import json

# 创建schema, stored为True表示能够被检索
schema = Schema(title=TEXT(stored=True, analyzer=ChineseAnalyzer()),
                dynasty=ID(stored=True),
                poet=ID(stored=True),
                content=TEXT(stored=True, analyzer=ChineseAnalyzer())
                )

그 중 ID는 단위 값만 가능하며 여러 단어로 나눌 수 없습니다. 파일 경로, URL, 날짜 및 분류에 자주 사용됩니다. 텍스트의 색인을 설정하고 저장하며, 단어 검색을 지원합니다. 분석기는 말더듬이 있는 중국어 단어 분할기를 선택합니다.

인덱스 파일 만들기

다음으로 인덱스 파일을 만들어야 합니다. 프로그램을 사용하여 먼저 poem.csv 파일을 구문 분석하고 이를 인덱스로 변환한 후 indexdir 디렉터리에 씁니다. Python 코드는 다음과 같습니다.

# 解析poem.csv文件
with open('poem.csv', 'r', encoding='utf-8') as f:
    texts = [_.strip().split(',') for _ in f.readlines() if len(_.strip().split(',')) == 4]

# 存储schema信息至indexdir目录
indexdir = 'indexdir/'
if not os.path.exists(indexdir):
    os.mkdir(indexdir)
ix = create_in(indexdir, schema)

# 按照schema定义信息,增加需要建立索引的文档
writer = ix.writer()
for i in range(1, len(texts)):
    title, dynasty, poet, content = texts[i]
    writer.add_document(title=title, dynasty=dynasty, poet=poet, content=content)
writer.commit()

색인이 성공적으로 생성되면 위의 poem.csv 데이터의 각 필드에 대한 색인 파일이 포함된 indexdir 디렉터리가 생성됩니다.

Query

인덱스가 성공적으로 생성된 후 이를 쿼리에 사용합니다.

예를 들어 내용에

가 포함된 구절을 쿼리하려면 다음 코드를 입력하면 됩니다.

# 创建一个检索器
searcher = ix.searcher()

# 检索content中出现'明月'的文档
results = searcher.find("content", "明月")
print('一共发现%d份文档。' % len(results))
for i in range(min(10, len(results))):
    print(json.dumps(results[i].fields(), ensure_ascii=False))

출력 결과는 다음과 같습니다.

총 44개의 문서가 검색되었습니다.
처음 10개의 문서는 다음과 같습니다.
{"content": "침대 앞에는 밝은 달빛이 있고 땅에는 서리가 내린 것으로 의심됩니다. 밝은 달을 올려다보며 고향을 내려다봅니다. ", "dynasty": "당나라", "poet": "이백", "title": "고요한 밤 생각"}
{"content": "가장자리의 풀, 가장자리의 풀, 노병이 산의 남쪽과 북쪽에 눈이 맑고 수천 마일 동안 달이 빛나고 있습니다. ", "왕조": "당나라", "시인": "대. Shulun", "title": "Tiao Xiaoling·Biancao"}
{"content": "한적한 대나무에 홀로 앉아 피아노를 치며 깊은 숲 속에서 울부짖는다. 사람들은 밝은 달이 사람을 비추는 것을 모른다. . 수천 마일의 가을 바람이 손님의 옷을 가볍게 닦았지만 여전히 황제의 수도에서 먼지가 남아 있습니다. }
{"content": "진나라의 밝은 달과 한나라의 관, 사람들이 수천 마일을 행군했지만 돌아오지 못했습니다. 그러나 Dragon City의 날아다니는 장군들은 Hu Ma에게 음산을 건너는 법을 가르치지 않을 것입니다. , "title": "성밖의 두 시·하나"}
{"content": "Jingkou Guazhou의 물 사이에 Zhongshan은 여러 개의 산으로 만 분리되어 있습니다. 강 남쪽 기슭에는 봄바람이 녹색입니다. . 밝은 달은 언제 나를 비출 것인가? ", "dynasty": "송나라", "poet": "Wang Anshi", "title": "Boaring Guazhou"}
{"content": "둘러보세요. 산과 물, 난간에 기대어 연꽃 냄새를 맡으십시오. 바람과 밝은 달은 무인이며 남쪽 타워는 항상 차갑습니다. "푸른 산은 희미하고 물은 멀다. 가을이 지나도 장강 남쪽의 풀은 시들지 않았습니다. 24교의 달밤에 미인이 어디에서 피리 연주하는 법을 가르쳐 줄 수 있습니까?", "왕조": "당나라", " 시인": "두무", "제목" : "양주의 한추오 판사에게 보내다"}
{"내용": "이슬 공기는 차갑고 빛은 모이고 태양은 추추 유인원 아래에서 빛난다. 동정나무에서 노래하고, 사람들은 목련배를 타고 있다. 광택에는 밝은 달이 있고, 창산에는 거센 조류가 있다. 운중군이 당신을 보지 못하니, 밤에는 가을이 슬프다. 왕조", "시인": "마대", "제목": "추장의 세 가지 향수 중 하나"}
{"내용": " 밝은 달이 바다 위에 떠오르고, 세상은 지금 연인입니다. 먼 밤에는 서로 미워하지만 저녁에는 서로를 그리워하며 그들의 손에 이슬이 느껴집니다. ", "왕조": "당나라", "시인": "장 Jiuling", "title": "달을 바라보며 회원 / 달을 바라보며 향수"}

[관련 권장 사항:
Python3 비디오 튜토리얼

]

위 내용은 Python 경량 검색 도구 Whoosh 사용(요약 공유)의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명
이 기사는 脚本之家에서 복제됩니다. 침해가 있는 경우 admin@php.cn으로 문의하시기 바랍니다. 삭제
Python vs. C : 학습 곡선 및 사용 편의성Python vs. C : 학습 곡선 및 사용 편의성Apr 19, 2025 am 12:20 AM

Python은 배우고 사용하기 쉽고 C는 더 강력하지만 복잡합니다. 1. Python Syntax는 간결하며 초보자에게 적합합니다. 동적 타이핑 및 자동 메모리 관리를 사용하면 사용하기 쉽지만 런타임 오류가 발생할 수 있습니다. 2.C는 고성능 응용 프로그램에 적합한 저수준 제어 및 고급 기능을 제공하지만 학습 임계 값이 높고 수동 메모리 및 유형 안전 관리가 필요합니다.

Python vs. C : 메모리 관리 및 제어Python vs. C : 메모리 관리 및 제어Apr 19, 2025 am 12:17 AM

Python과 C는 메모리 관리 및 제어에 상당한 차이가 있습니다. 1. Python은 참조 계산 및 쓰레기 수집을 기반으로 자동 메모리 관리를 사용하여 프로그래머의 작업을 단순화합니다. 2.C는 메모리 수동 관리가 필요하므로 더 많은 제어를 제공하지만 복잡성과 오류 위험을 증가시킵니다. 선택할 언어는 프로젝트 요구 사항 및 팀 기술 스택을 기반으로해야합니다.

과학 컴퓨팅을위한 파이썬 : 상세한 모양과학 컴퓨팅을위한 파이썬 : 상세한 모양Apr 19, 2025 am 12:15 AM

과학 컴퓨팅에서 Python의 응용 프로그램에는 데이터 분석, 머신 러닝, 수치 시뮬레이션 및 시각화가 포함됩니다. 1.numpy는 효율적인 다차원 배열 및 수학적 함수를 제공합니다. 2. Scipy는 Numpy 기능을 확장하고 최적화 및 선형 대수 도구를 제공합니다. 3. 팬더는 데이터 처리 및 분석에 사용됩니다. 4. matplotlib는 다양한 그래프와 시각적 결과를 생성하는 데 사용됩니다.

파이썬 및 C : 올바른 도구 찾기파이썬 및 C : 올바른 도구 찾기Apr 19, 2025 am 12:04 AM

Python 또는 C를 선택할 것인지 프로젝트 요구 사항에 따라 다릅니다. 1) Python은 간결한 구문 및 풍부한 라이브러리로 인해 빠른 개발, 데이터 과학 및 스크립팅에 적합합니다. 2) C는 컴파일 및 수동 메모리 관리로 인해 시스템 프로그래밍 및 게임 개발과 같은 고성능 및 기본 제어가 필요한 시나리오에 적합합니다.

데이터 과학 및 기계 학습을위한 파이썬데이터 과학 및 기계 학습을위한 파이썬Apr 19, 2025 am 12:02 AM

Python은 데이터 과학 및 기계 학습에 널리 사용되며 주로 단순성과 강력한 라이브러리 생태계에 의존합니다. 1) 팬더는 데이터 처리 및 분석에 사용되며, 2) Numpy는 효율적인 수치 계산을 제공하며 3) Scikit-Learn은 기계 학습 모델 구성 및 최적화에 사용되며 이러한 라이브러리는 Python을 데이터 과학 및 기계 학습에 이상적인 도구로 만듭니다.

Python 학습 : 2 시간의 일일 연구가 충분합니까?Python 학습 : 2 시간의 일일 연구가 충분합니까?Apr 18, 2025 am 12:22 AM

하루에 2 시간 동안 파이썬을 배우는 것으로 충분합니까? 목표와 학습 방법에 따라 다릅니다. 1) 명확한 학습 계획을 개발, 2) 적절한 학습 자원 및 방법을 선택하고 3) 실습 연습 및 검토 및 통합 연습 및 검토 및 통합,이 기간 동안 Python의 기본 지식과 고급 기능을 점차적으로 마스터 할 수 있습니다.

웹 개발을위한 파이썬 : 주요 응용 프로그램웹 개발을위한 파이썬 : 주요 응용 프로그램Apr 18, 2025 am 12:20 AM

웹 개발에서 Python의 주요 응용 프로그램에는 Django 및 Flask 프레임 워크 사용, API 개발, 데이터 분석 및 시각화, 머신 러닝 및 AI 및 성능 최적화가 포함됩니다. 1. Django 및 Flask 프레임 워크 : Django는 복잡한 응용 분야의 빠른 개발에 적합하며 플라스크는 소형 또는 고도로 맞춤형 프로젝트에 적합합니다. 2. API 개발 : Flask 또는 DjangorestFramework를 사용하여 RESTFULAPI를 구축하십시오. 3. 데이터 분석 및 시각화 : Python을 사용하여 데이터를 처리하고 웹 인터페이스를 통해 표시합니다. 4. 머신 러닝 및 AI : 파이썬은 지능형 웹 애플리케이션을 구축하는 데 사용됩니다. 5. 성능 최적화 : 비동기 프로그래밍, 캐싱 및 코드를 통해 최적화

Python vs. C : 성능과 효율성 탐색Python vs. C : 성능과 효율성 탐색Apr 18, 2025 am 12:20 AM

Python은 개발 효율에서 C보다 낫지 만 C는 실행 성능이 높습니다. 1. Python의 간결한 구문 및 풍부한 라이브러리는 개발 효율성을 향상시킵니다. 2.C의 컴파일 유형 특성 및 하드웨어 제어는 실행 성능을 향상시킵니다. 선택할 때는 프로젝트 요구에 따라 개발 속도 및 실행 효율성을 평가해야합니다.

See all articles

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

뜨거운 도구

MinGW - Windows용 미니멀리스트 GNU

MinGW - Windows용 미니멀리스트 GNU

이 프로젝트는 osdn.net/projects/mingw로 마이그레이션되는 중입니다. 계속해서 그곳에서 우리를 팔로우할 수 있습니다. MinGW: GCC(GNU Compiler Collection)의 기본 Windows 포트로, 기본 Windows 애플리케이션을 구축하기 위한 무료 배포 가능 가져오기 라이브러리 및 헤더 파일로 C99 기능을 지원하는 MSVC 런타임에 대한 확장이 포함되어 있습니다. 모든 MinGW 소프트웨어는 64비트 Windows 플랫폼에서 실행될 수 있습니다.

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

에디트플러스 중국어 크랙 버전

에디트플러스 중국어 크랙 버전

작은 크기, 구문 강조, 코드 프롬프트 기능을 지원하지 않음

Atom Editor Mac 버전 다운로드

Atom Editor Mac 버전 다운로드

가장 인기 있는 오픈 소스 편집기

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경