시로 헝겊 평가자 파이썬 패키지를 만드는 방법

소개

개발자와 데이터 분석가가 모델을 평가하는 방식을 완전히 변화시킬 수있는 파이썬 패키지를 생산하려고한다고 상상해보십시오. 여행은 다양한 지표와 에지 환경을 관리 할 수있는 유연한 헝겊 평가 도구 인 간단한 개념으로 시작합니다. 시를 사용하여 패키지 초기화에서 견고한 평가자 클래스를 만들고이 게시물에 뛰어 들면서 코드를 테스트 할 수 있습니다. 패키지를 만들고 Bleu 및 Rouge 점수를 계산하고 온라인으로 게시하는 방법에 대한 지식을 얻게됩니다. 결국, 당신은 일반 대중이 사용할 준비가 된 작업 도구를 갖는 것 외에도 Python 포장 및 오픈 소스 기부금에 대한 통찰력을 얻게 될 것입니다.

학습 결과

• 시를 사용하여 파이썬 패키지를 초기화하고 구조화하는 법을 배우십시오.
• 여러 지표에 대한 평가자 클래스를 개발하고 구현합니다.
• Bleu 및 Rouge 점수와 같은 메트릭을 계산하고 평가합니다.
• 코드 기능과 견고성을 보장하기 위해 테스트를 작성하고 실행하십시오.
• 배포 및 라이센스 처리를 포함하여 Python 패키지를 PYPI에 구축하고 게시하십시오.

이 기사는 Data Science Blogathon 의 일부로 출판되었습니다 .

목차

• 시로 패키지를 초기화합니다
• 핵심 평가자 클래스 설계
• 평가자 클래스 정의
• 평가 메트릭 구현
• Bleu 점수를 계산합니다
• 루즈 점수 측정
• 패키지 테스트
• 바퀴를 만드십시오
• 소스 및 이진 분포 생성
• 패키지를 게시하십시오
• 자주 묻는 질문

시로 패키지를 초기화합니다

이제 우리는시를 사용하여 새로운 파이썬 패키지를 초기화함으로써 시작할 수있는 요구 사항을 얻었습니다. 시를 선택하는 이유는 다음과 같습니다.

• 여러 가상 환경을 관리 할 필요가 없습니다.
• 기본 패키지 및 레거시 패키지의 모든 유형의 Python 패키지 형식을 지원합니다.
• `poetry.lock` 파일을 통해 의존성에 대해서도 올바른 버전을 보장합니다.
• PYPI는 단일 명령으로 준비했습니다.

거의 모든 OS에 대한 명령을 사용하여시를 설치하십시오.

 curl -ssl https://install.python-poetry.org | python3-

그런 다음 다음 명령을 사용하여 보일러 플레이트로 새 저장소를 만들 수 있습니다.

 시 새 package_name

Enter를 누르고 기본값으로 남겨 둘 수있는 일반적인 질문은 거의 없습니다. 그런 다음 이와 비슷한 폴더 구조에 착륙합니다.

 시 데모

pyproject.toml

├ ── readme.md

poetry_demo

│ │ │─퀴 __init__.py

Tests 테스트

└ ── __init__.py

구조는 괜찮지 만 공식 Python 문서에서 논의 된대로 'Flat'레이아웃과 비교하여 'SRC'레이아웃을 사용할 수 있습니다. 우리는 블로그의 나머지 부분에서 'SRC'레이아웃을 따를 것입니다.

핵심 평가자 클래스 설계

패키지의 핵심에는 Python Evaluator 패키지에 전원을 공급하기위한 모든 소스 코드가 포함되어 있습니다. 여기에는 우리가 원하는 모든 메트릭에 의해 상속 될 기본 클래스가 포함되어 있습니다. 따라서이 수업은 가장 강력하고 건설 중에 최대한주의를 기울여야합니다. 이 클래스는 기본 초기화에 필요한 논리, 메트릭에서 결과를 얻는 방법 및 사용자 입력을 쉽게 소비 할 수 있도록 처리하는 다른 방법을 갖습니다.

이 모든 방법에는 자체 범위와 적절한 데이터 유형이 정의되어 있어야합니다. 데이터 유형에 더 집중 해야하는 이유는 파이썬이 동적으로 입력되기 때문입니다. 따라서 런타임에만 오류가 발생하므로 변수를 올바르게 사용해야합니다. 따라서 전용 유형 확인 컴파일러를 사용하지 않고이 분 오류를 잡으려면 테스트 스위트가 있어야합니다. 파이썬에서 적절한 타이핑을 사용하면 좋습니다.

평가자 클래스 정의

이제 우리는 모든 평가자 클래스에 포함되어야하는 내용과 왜 우리가 가장 중요한지를 보았습니다. 이 수업을 구축하기 위해 우리는 Python이 제공하는 ABC - Abstract Base 클래스를 상속합니다. 이 클래스를 선택한 이유는 평가자 기본 클래스를 구축 할 수있는 모든 구체적인 기능이 포함되어 있기 때문입니다. 이제 평가자 클래스의 입력 및 출력을 정의해 봅시다.

• 입력 : 후보 [문자열 목록], 참조 [문자열 목록]
• 방법 :`패딩 '(후보자와 참조의 길이가 동일하도록하기 위해),`get_score` (평가 메트릭의 최종 결과를 계산하는 메소드)

 # src/evaluator_blog/evaluator.py

경고 수입
수입 조합 입력에서 목록
ABC 가져 오기 ABC, AbstractMethod


클래스 베이시 볼 루터 (ABC) :
    def __init __ (자체, 후보자 : 목록, 참조 : 목록) -> 없음 :
        self.candidates = 후보자
        self.references = 참조

    @StaticMethod
    DEF 패딩 (
        후보자 : 목록 [str], 참조 : 목록 [str]
    ) -> Union [list [str], list [str]] :
        """_요약_

        Args :
            후보자 (목록 [str]) : LLM에서 생성 된 응답
            참조 (목록 [str]) : 측정 할 응답

        보고:
            Union [list [str], list [str]] : 동일한 길이의 '후보'및`참조 '를 보장합니다
        "" "
        _msg = str (
            "" "
            참고 문헌과 후보자 (가설)는 동일하지 않습니다.
            "" "
        ))
        경고 .warn (_msg)
        max_length = max (Len (후보), Len (참조))
        후보자 .extend ([ ""] * (max_length -len (후보)))))
        참조 .extend ([ ""] * (max_length -len (참조)))))
        반환 후보자, 참조

    @StaticMethod
    def list_to_string (l : list) -> str :
        주장하다 (
            렌 (L)> = 1
        ), "메시지의 길이가 1보다 크거나 동일하도록하십시오"

        return str (l [0])

    @abstractmethod
    def get_score (self) -> float :
        "" "
        메소드 점수 함수의 최종 결과를 계산하는 방법.

        보고:
            선택한 평가 메트릭의 부동 소수점 값.
        "" "

여기서 우리는`__init () __`메소드에 모든 평가자 메트릭 IE 후보자 및 참조에 대한 기본 요구 사항 인 필요한 매개 변수가 포함되어 있음을 알 수 있습니다.

그런 다음`후보자 '와`참조'모두를 보장하는 데 필요한 패딩은 우리가 호출 할 때마다 초기화 할 필요가 없기 때문에 정적 메소드와 정의 된 동일한 길이를 포함합니다. 따라서 정적 메드 데코레이터에는 필요한 논리가 포함되어 있습니다.

마지막으로,`get_score ()`의 경우 기본 평가자 클래스를 상속하는 모든 클래스를 의미하는 AbstractMethod 데코레이터를 사용합니다.

평가 메트릭 구현

이제 라이브러리 구현의 핵심, 메트릭의 평가가 온다. 현재 계산을 위해 작업을 수행하고 메트릭 점수를 표시하는 각 라이브러리를 사용합니다. 우리는 주로`후보자 ', 즉 LLM 생성 응답과'참조 ', 즉 근거 진실을 사용하고 각각 값을 계산합니다. 단순화를 위해 Bleu 및 Rouge 점수를 계산합니다. 이 논리는 시장에서 이용할 수있는 모든 메트릭에 대해 확장 가능합니다.

Bleu 점수를 계산합니다

이중 언어 평가 학대로 약어는 빠르고 저렴하며 언어 독립적 인 기계 번역 (후보)의 일반적인 평가 지표 중 하나입니다. 수동 평가와 비교하여 한계 오류가 있습니다. 기계 번역의 친밀감을 전문 인간 응답 (참조)과 비교하고 평가를 0-1 범위의 메트릭 점수로 반환하며 1 개는 1 개를 가까운 일치라고합니다. 그들은 후보자들의 문장으로 n-gram (s) (n 단어의 덩어리)을 고려합니다. 예를 들어. 유니그램 (1 그램)은 후보자 및 참조의 모든 단어를 고려하고 정밀 점수라고하는 정규화 된 점수를 반환합니다.

그러나 같은 단어가 여러 번 나타나면 일반적으로 잘못된 각 모양의 최종 점수를 설명하는 것이 항상 잘 작동하지는 않습니다. 따라서 Bleu는 수정 된 정밀 점수를 사용하여 단어 일치 수를 클립하고 후보자의 단어 수로 정규화합니다. 여기서 또 다른 캐치는 단어를 고려하지 않는다는 것입니다. 따라서 BLEU 점수는 여러 N- 그램을 고려하고 다른 매개 변수와 함께 1-4 그램의 정밀 점수를 표시합니다.

장점

• 더 빠른 계산과 간단한 계산이 포함되었습니다.
• 널리 사용되고 벤치 마크 결과가 쉽습니다.

단점

• 번역의 의미를 고려하지 않습니다.
• 문장 형식을 고려하지 않습니다.
• 이중 언어이지만 영어가 아닌 언어로 어려움을 겪고 있습니다.
• 인간 번역이 이미 토큰 화 될 때 점수를 계산하기 어렵습니다.

 # src/evaluator_blog/metrics/bleu.py

입력 가져 오기 목록, 호출 가능, 선택 사항
src.evaluator_blog.evaluator import baveluator에서

nltk.translate.bleu_score import corpus_bleu, smoothingfunction에서

"" "
NLTK에서 BLEU 구현
"" "
클래스 BleusCore (Bainevaluator) :
    def __init __ (
        본인,
        후보자 : 목록 [str],
        참조 : List [str],
        가중치 : 선택 사항 [list [float]] = 없음,
        Smoothing_Function : 선택 사항 [Callable] = 없음,
        auto_reweigh : 선택 사항 [bool] = false,
    ) -> 없음 :
        "" "
        BLEU 점수 (이중 언어 평가 교육)를 계산합니다
        Papineni, Kishore, Salim Roukos, Todd Ward 및 Wei-jing Zhu. 2002.
        "Bleu : 기계 번역의 자동 평가 방법."
        ACL 절차에서. https://aclanthology.org/p02-1040.pdf

            Args :
                가중치 (선택적 [list [float]], 선택 사항) : 각 bleu_score에 적용 해야하는 가중치. 기본값은 없습니다.
                Smoothing_Function (선택 사항 [Callable], 선택 사항) : 단어의 확률 질량 분포를 추가하거나 조정하여 훈련 데이터의 희소성 문제를 극복하는 호출 기능. 기본값은 없습니다.
                auto_reweigh (옵션 [bool], 선택 사항) : 최대 N- 그램  float :
        "" "
        주어진 후보자 및 참조의 BLEU 점수를 계산하십시오.

        Args :
            후보자 (list [str]) : 후보 문장 목록
            참조 (목록 [str]) : 참조 문장 목록
            가중치 (선택 사항 [list [float]], 선택 사항) : Bleu 점수 계산을위한 가중치. 기본값으로 (1.0, 0, 0, 0)
            Smoothing_Function (선택 사항 [기능]) : 세그먼트 레벨 BLEU 점수에 대한 스무딩 기술

        보고:
            플로트 : 계산 된 BLEU 점수.
        "" "
        # 후보자와 참조의 길이가 동일했는지 확인하십시오.
        LEN (self.candidates)! = Len (self.references) :
            self.candidates, self.references = self.padding (
                self.candidates, 자기
            ))

        # Bleu 점수를 계산합니다
        return corpus_bleu (
            list_of_references = self.references,
            가설 = self.candidates,
            weights = self.weights,
            smoothing_function = self.smoothing_function,
            auto_reweigh = self.auto_reweigh,
        ))

루즈 점수 측정

박지 평가를위한 리콜 지향 학부로서 약어는 모델 생성 요약과 여러 인간 요약을 비교하기위한 일반적인 평가 지표 중 하나입니다. 순진한 방식으로 기계와 인간 생성 요약의 N- 그램을 비교합니다. 이것을 Rouge-N 리콜 점수라고합니다. 기계 요약에 대한 기계 생성 요약에서 더 많은 관련성을 보장하기 위해 정밀 점수를 계산할 수 있습니다. 정밀도와 리콜 점수가 모두 있으므로 F1- 점수를 계산할 수 있습니다. 일반적으로`n`의 여러 값을 고려하는 것이 좋습니다. Rouge의 작은 변형은 단어 시퀀스를 고려하고 LCS (가장 긴 공통 후속)를 계산하는 Rouge-L 점수입니다. 같은 방식으로, 우리는 정밀도와 리콜 점수를 얻을 수 있습니다. 여기서 약간의 장점은 문장의 분자를 고려하고 관련 결과를 생성한다는 것입니다.

장점

• N- 그램과 가장 긴 공통 후속을 비교하여 자동 텍스트 요약의 품질을 평가하는 데 매우 효과적입니다.
• Rouge는 모든 언어에 적용될 수 있으므로 다국어 텍스트 분석 및 평가를 위해 다재다능합니다.

단점

• Rouge는 표면 수준의 텍스트 매칭 (N- 그램)에 중점을 두어 의미 론적 의미와 일관성을 더 깊이 포착하지 못할 수 있습니다.
• Rouge의 정확도는 참조 요약의 품질과 대표성에 크게 달려 있습니다.

 # src/evaluator_blog/metrics/rouge.py

경고 수입
입력 수입 목록, Union, Dict, Callable, Tuple, 선택 사항을 입력합니다
evaluator import Baveluator에서
rouge_score import rouge_scorer에서


클래스 루그 스코어 (Baseevaluator) :
    def __init __ (
        본인,
        후보자 : 목록,
        참조 : 목록,
        rouge_types : 선택 사항 [Union [str, 튜플 [str]]] = [
            "rouge1",
            "rouge2",
            "루겔",
            "rougelsum",
        ],,
        use_stemmer : 선택 사항 [bool] = false,
        split_summaries : 선택 사항 [bool] = false,
        Tokenizer : 선택 사항 [Callable] = none,
    ) -> 없음 :
        super () .__ init __ (후보자, 참조)

        # default`rouge_types`는 모두 사용자가 지정된 것입니다
        iSinstance (rouge_types, str) :
            self.rouge_types = [rouge_types]
        또 다른:
            self.rouge_types = rouge_types

        # 'use_stemmer'활성화 단어 접미사를 제거하여 일치 기능을 향상시킵니다.
        self.use_stemmer = use_stemmer

        # 활성화 된 경우 'rougelsum'에 대한 문장 사이에 최신 라인을 추가할지 확인합니다.
        self.split_summaries = split_summaries

        # 사용자가 정의한 경우 'Tokenizer'를 활성화하거나`rouge_scorer` 기본값을 사용하는 경우
        # https://github.com/google-research/google-research/blob/master/rouge/rouge_scorer.py#l83
        Tokenizer :
            self.tokenizer = Tokenizer
        또 다른:
            self.tokenizer = 없음
            _msg = str (
                "" "
                기본 토 케이저 사용
                "" "
            ))
            경고 .warn (_msg)

    def get_score (self) -> dict :
        "" "
        보고:
            DICT : 해당 메트릭에 대한 평가의 JSON 값
        "" "
        scorer = rouge_scorer.rougescorer (
            rouge_types = self.rouge_types,
            use_stemmer = self.use_stemmer,
            Tokenizer = self.tokenizer,
            split_summaries = self.split_summaries,
        ))

        return scorer.score (self.list_to_string (self.candidates), self.list_to_string (self.references))

패키지 테스트

실제 사용법 전에 소스 파일을 준비 했으므로 코드의 작동을 확인해야합니다. 그것이 테스트 단계가 그림에 들어오는 곳입니다. Python Library 형식/컨벤션/모범 사례에서`tests/`라는 폴더 아래에 모든 테스트를 작성합니다. 이 이름 지정 컨벤션을 통해 개발자는이 폴더가 중요하다는 것을 쉽게 이해할 수 있습니다. 여러 개발 도구가 있지만 유형 확인, 오류 처리 등을 사용하여 라이브러리를 제한 할 수 있습니다. 이것은 첫 번째 점검 및 테스트 라운드를 제공합니다. 그러나 에지 케이스 및 예외를 보장하기 위해 UnitTest를 사용할 수 있으며, 프레임 워크를 사용할 수 있습니다. 그렇게 말하면서 우리는 'Unittest` 라이브러리를 사용하여 기본 테스트를 설정하는 데 간다.

효과적인 단위 테스트 작성

`UnitTest`와 관련하여 알아야 할 주요 용어는 테스트 케이스 및 테스트 스위트입니다.

• 테스트 사례 : 출력 세트에 대한 입력을 평가하는 가장 작은 테스트 단위.
• 테스트 스위트 : 테스트 사례, 스위트 룸 또는 둘 다. 함께 일하기 위해 테스트를 집계하는 데 사용됩니다.
• 이름 지정 컨벤션 :`tests_`와 함께 파일 이름과 함수 이름으로 접두사를 접두사해야합니다. 그 이유는 파서가 그것들을 감지하여 테스트 스위트에 추가하기 때문입니다.

바퀴를 만드십시오

휠은 기본적으로 Python 패키지 IE입니다.`PIP 설치 `명령을 실행할 때 설치됩니다. 휠의 내용은 '.whl'파일에 저장됩니다. 휠 파일은`dist/`에 저장됩니다. 구축 된 분포`.whl`과 소스 배포`.gz`가 있습니다. 시를 사용하고 있기 때문에 빌드 명령을 사용하여 배포를 구축 할 수 있습니다.

 시 빌드

폴더 루트의`dist/`폴더 내부에 휠 및 지퍼 파일이 생성됩니다.

 dis/ dist/
package_name-0.1-py3-none-any.whl
package_name-0.0.1.tar.gz

Aliter, 동등한 Python 명령은 '빌드'패키지를 설치 한 다음 폴더의 루트에서 빌드 명령을 실행하고 있습니다.

 Python3 -M PIP 설치 -업그레이드 빌드
Python3 -m 빌드

소스 및 이진 분포 생성

이제 소스 및 이진 분포를 생성하는 것을 살펴 보겠습니다.

소스 배포 (SDIST)

`sdist`는 PIP 또는시와 같은 외부 도구에서 구축하기 위해 소스 코드와 메타 데이터를 포함하는 패키지의 소스 배포입니다. `sdist`는`bdist '전에 건축해야합니다. `PIP`가 빌드 분포를 찾지 못하면 소스 분포는 폴백 역할을합니다. 그런 다음 바퀴를 만들고 패키지 요구 사항을 설치합니다.

이진 분포 (BDIST)

`bdist '에는 대상 장치의 올바른 위치로 이동 해야하는 필요한 파일이 포함되어 있습니다. 가장지지하는 형식 중 하나는`.whl '입니다. 포인트는 Python 파일을 컴파일하지 않았다는 점에 유의하십시오.

특허

패키지를 외부 세계로 오픈 소싱하는 동안 코드를 재사용 할 수있는 정도를 보여주는 라이센스가 항상 권장됩니다. GitHub에서 저장소를 작성하는 동안 라이센스를 선택할 수있는 옵션이 있습니다. 사용 옵션이있는 '라이센스'파일을 만듭니다. 어떤 라이센스를 선택할 수 있는지 확실하지 않은 경우이 외부 자원은 구조의 완벽한 것입니다.

패키지를 게시하십시오

이제 우리는 패키지를 외부 세계에 게시하는 데 필요한 모든 요구 사항을 갖추 었습니다. 그래서 우리는 단일 명령으로 모든 단계를 추상화하는 게시 명령을 사용하고 있습니다.

test.pypi.org

패키지의 성능 또는 테스트 목적으로 패키지의 성능이 확실하지 않은 경우 공식 저장소에 직접 업로드하지 않고 Test.pypi.org에 게시하는 것이 좋습니다. 이를 통해 패키지를 모든 사람과 공유하기 전에 패키지를 테스트 할 수있는 유연성을 제공합니다.

pypi.org

공식 Python 패키지에는 Python 커뮤니티에서 게시 한 모든 개인 및 공개 소프트웨어가 포함되어 있습니다. 저자와 조직이 공식 중앙 저장소를 통해 패키지를 공유하는 것이 유용합니다. 패키지를 세계에 게시하는 데 필요한 것은이 단일 명령입니다.

 시 출판 -빌드 --username $ pypi_username --password $ pypi_password

결론

이 기사가 끝날 무렵, 수백만 명이 사용할 준비가 된 파이썬 패키지를 성공적으로 게시했습니다. 우리는시를 사용하여 새 패키지를 초기화하고, 유스 케이스에서 작업했으며, 테스트를 작성하고, 패키지를 만들어 PYPI 저장소에 게시했습니다. 이렇게하면 자신에게 더 많은 가치가 추가되고 다양한 오픈 소스 파이썬 패키지 저장소가 구조화되는 방식에 대한 다양한 오픈 소스 파이썬 패키지 저장소를 이해하는 데 도움이됩니다. 마지막으로, 이것은 시작일 뿐이며 가능한 한 확장 가능하게 만들 수 있습니다. Open-Source Python 패키지 및 배포판을 참조하고 동일하게 영감을 얻을 수 있습니다.

주요 테이크 아웃

• 시를 통한 마스터 파이썬 패키지 제작 및 관리.
• 다양한 사용 사례에 대한 평가 지표를 구현하고 사용자 정의합니다.
• 단위 테스트 프레임 워크로 강력한 파이썬 패키지를 구축하고 테스트합니다.
• 패키지를 PYPI에 게시하고 배포 형식을 이해하십시오.
• 오픈 소스 패키지 개발 및 라이센스 관행에 대한 통찰력을 얻으십시오.

자주 묻는 질문

Q1. 이 기사의 목적은 무엇입니까?

A.이 기사는 다양한 평가 메트릭에 대해 커뮤니티에서 사용할 수있는 Rag Evaluator 도구에 중점을 둔 Python 패키지를 만들고 게시하는 데 도움이됩니다.

Q2. 파이썬 패키지를 관리하기 위해시를 사용해야하는 이유는 무엇입니까?

A.시는 버전 제어, 가상 환경 및 작업을 단일 도구에 통합하여 개발 및 배포를보다 쉽게 ​​통합하여 의존성 관리 및 포장을 단순화합니다.

Q3. 이 기사에서 어떤 평가 지표가 다루 든다.

A.이 기사는 참조 텍스트와 비교하여 기관에서 생성 된 텍스트의 품질을 평가하는 데 일반적으로 사용되는 메트릭 인 BLEU 및 ROUGE 점수를 계산하는 방법에 대해 자세히 설명합니다.

Q4. 파이썬 패키지의 기능을 어떻게 테스트 할 수 있습니까?

A. UnitTest 또는 Pytest와 같은 프레임 워크를 사용하여 패키지를 테스트하여 코드가 예상대로 작동하고 Edge Case를 처리하여 게시하기 전에 자신감을 제공 할 수 있습니다.

Q5. 파이썬 패키지를 게시하기위한 단계는 무엇입니까?

A.시를 사용하여 패키지를 작성하고 Test.pypi.org에서 테스트 한 다음 Poetry Publish 명령을 사용하여 공식 pypi.org 저장소에 게시하여 공개적으로 공개 할 수 있도록합니다.

이 기사에 표시된 미디어는 분석 Vidhya가 소유하지 않으며 저자의 재량에 따라 사용됩니다.

위 내용은 시로 헝겊 평가자 파이썬 패키지를 만드는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!