Microsoft MarkItDown에 대해 자세히 알아보기

MarkItDown이란 무엇입니까?

MarkItDown은 Microsoft에서 개발한 Python 패키지로, 다양한 파일 형식을 Markdown으로 변환하도록 설계되었습니다.

이 라이브러리는 데뷔 이후 단 2주 만에 25,000개 이상의 GitHub 스타를 획득하는 등 인기가 급상승했습니다! ?

MarkItDown이 인기를 끄는 이유는 무엇입니까?

MarkItDown은 다음과 같은 다양한 파일 형식에 대한 강력한 지원을 제공합니다.

• Office 형식: Word, PowerPoint, Excel
• 미디어 파일: 이미지(EXIF 데이터 및 설명 포함), 오디오(텍스트 변환 지원)
• 웹 및 데이터 형식: HTML, JSON, XML, CSV
• 아카이브: ZIP 파일

Word와 같은 표준 형식뿐만 아니라 다중 모드 데이터도 처리할 수 있는 능력이 돋보입니다. 예를 들어 OCR 및 음성 인식을 사용하여 이미지 및 오디오 파일에서 콘텐츠를 추출합니다.

모든 것을 Markdown으로 변환하는 기능 덕분에 MarkItDown은 LLM 교육을 위한 강력한 도구가 되었습니다. 도메인별 문서를 처리함으로써 LLM 기반 애플리케이션에서 보다 정확하고 관련성이 높은 응답을 생성하기 위한 풍부한 컨텍스트를 제공합니다.

MarkItDown 시작하기

MarkItDown을 사용하는 것은 매우 간단합니다. 단 4줄의 코드만 필요합니다.

from markitdown import MarkItDown

md = MarkItDown()
result = md.convert("test.xlsx")
print(result.text_content)

다음은 MarkItDown의 일부 사용 사례입니다.

Word 문서를 변환하면 깨끗하고 정확한 마크다운이 생성됩니다.

다중 탭 Excel 스프레드시트도 쉽게 처리됩니다.

ZIP 아카이브? 괜찮아요! 라이브러리는 내부의 모든 파일을 재귀적으로 구문 분석합니다.

처음에는 이미지 추출로 결과가 나오지 않을 수 있습니다.

MarkItDown은 LLM을 사용하여 이미지 설명을 생성하기 때문입니다. LLM 클라이언트를 통합하면 다음 기능을 활성화할 수 있습니다.

from openai import OpenAI

client = OpenAI(api_key="i-am-not-an-api-key")

md = MarkItDown(llm_client=client, llm_model="gpt-4o")

구성이 완료되면 이미지 파일을 성공적으로 처리할 수 있습니다.

참고: LLM은 이미지 기반 PDF를 처리하지 않습니다. PDF에서 콘텐츠를 추출하려면 OCR 전처리가 필요합니다.

그러나 PDF는 추출 시 서식이 손실되므로 제목과 일반 텍스트가 구분되지 않습니다.

제한사항

MarkItDown에는 한계가 없습니다.

• OCR이 없는 PDF 파일은 처리할 수 없습니다.
• PDF 파일에서 추출하는 경우 서식을 지정할 수 없습니다.

그럼에도 불구하고 오픈 소스 프로젝트이므로 사용자 정의가 가능합니다. 깔끔한 코드베이스 덕분에 개발자는 쉽게 기능을 확장할 수 있습니다.

MarkItDown 작동 방식

MarkItDown의 아키텍처는 간단하고 모듈식입니다.

일반 변환() 메서드를 정의하는 DocumentConverter 클래스가 있습니다.

from markitdown import MarkItDown

md = MarkItDown()
result = md.convert("test.xlsx")
print(result.text_content)

개별 변환기는 이 기본 클래스에서 상속되며 동적으로 등록됩니다.

from openai import OpenAI

client = OpenAI(api_key="i-am-not-an-api-key")

md = MarkItDown(llm_client=client, llm_model="gpt-4o")

이 모듈식 접근 방식을 사용하면 새로운 파일 형식에 대한 지원을 쉽게 추가할 수 있습니다.

파일 변환 작업 흐름

사무실 문서

Office 파일은 mammoth, pandas 또는 pptx와 같은 라이브러리를 사용하여 HTML로 변환된 다음 BeautifulSoup을 사용하여 Markdown으로 변환됩니다.

오디오 파일

오디오는 Google API를 활용하는 speech_recognition 라이브러리로 텍스트로 변환됩니다.

(Microsoft, Azure는 왜 안되나요?)

이미지

이미지 처리에는 LLM 프롬프트를 통한 캡션 생성이 포함됩니다.
"이 이미지에 대한 자세한 설명을 작성하세요."

PDF

PDF는 pdfminer 라이브러리에서 처리되지만 내장 OCR이 없습니다. 텍스트 추출을 위해서는 PDF를 전처리해야 합니다.

MarkItDown을 API로 배포

MarkItDown은 로컬에서 실행할 수 있지만 API로 호스팅하면 추가적인 유연성이 제공되므로 Zapier 및 n8n과 같은 워크플로에 쉽게 통합할 수 있습니다.

다음은 FastAPI를 사용하는 MarkItDown API의 간단한 예입니다.

class DocumentConverter:
    """Base class for all document converters."""

    def convert(
        self, local_path: str, **kwargs: Any
    ) -> Union[None, DocumentConverterResult]:
        raise NotImplementedError()

API 호출 방법:

self.register_page_converter(PlainTextConverter())
self.register_page_converter(HtmlConverter())
self.register_page_converter(DocxConverter())
self.register_page_converter(XlsxConverter())
self.register_page_converter(Mp3Converter())
self.register_page_converter(ImageConverter())
# ...

무료로 API 호스팅

Python API 호스팅은 까다로울 수 있습니다. AWS EC2 또는 DigitalOcean과 같은 기존 서비스는 전체 서버를 임대해야 하며 이는 항상 비용이 많이 듭니다.

하지만 이제는 Leapcell을 사용할 수 있습니다.

서버리스 방식으로 Python 코드베이스를 호스팅할 수 있는 플랫폼입니다. API 호출당 요금만 부과되며 무료 등급 사용량도 넉넉합니다.

GitHub 저장소를 연결하고 빌드 및 시작 명령을 정의하기만 하면 모든 준비가 완료됩니다.

이제 클라우드에서 호스팅되는 MarkItDown API가 있어 워크플로에 통합할 수 있으며 가장 중요한 것은 실제로 호출될 때만 요금이 청구된다는 것입니다.

---

지금 Leapcell에서 나만의 MarkItDown API 구축을 시작해 보세요! ?

위 내용은 Microsoft MarkItDown에 대해 자세히 알아보기의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!