Python에서 대용량 파일의 MD5 해시를 효율적으로 계산하는 방법

Python에서 대용량 파일의 MD5 해시를 효율적으로 계산

특정 시나리오에서는 사용 가능한 RAM을 초과하는 대용량 파일의 MD5 해시를 계산해야 합니다. 기본 Python 함수 hashlib.md5()는 전체 파일을 메모리에 로드해야 하기 때문에 이러한 시나리오에는 적합하지 않습니다.

이러한 제한을 극복하기 위한 실용적인 접근 방식은 파일을 관리 가능한 청크로 읽고 해시를 반복적으로 업데이트합니다. 이를 통해 메모리 제한을 초과하지 않고 효율적인 해시 계산이 가능합니다.

코드 구현

<code class="python">import hashlib

def md5_for_file(f, block_size=2**20):
    md5 = hashlib.md5()
    while True:
        data = f.read(block_size)
        if not data:
            break
        md5.update(data)
    return md5.digest()</code>

사용 예

파일의 MD5 해시를 계산하려면 다음 구문을 사용하세요.

<code class="python">with open(filename, 'rb') as f:
    md5_hash = md5_for_file(f)</code>

md5_hash 변수에는 계산된 MD5 해시가 바이트형 객체로 포함됩니다.

추가 고려 사항

파일을 바이너리 모드('rb)로 열어야 합니다. ') 잘못된 결과를 방지합니다. 포괄적인 파일 처리를 위해 다음 함수를 고려하십시오.

<code class="python">import os
import hashlib

def generate_file_md5(rootdir, filename, blocksize=2**20):
    m = hashlib.md5()
    with open(os.path.join(rootdir, filename), 'rb') as f:
        while True:
            buf = f.read(blocksize)
            if not buf:
                break
            m.update(buf)
    return m.hexdigest()</code>

이 함수는 파일 경로를 사용하고 MD5 해시를 16진수 문자열로 반환합니다.

이러한 기술을 활용하면 효율적으로 계산할 수 있습니다. 메모리 제한 없이 대용량 파일을 위한 MD5 해시.

위 내용은 Python에서 대용량 파일의 MD5 해시를 효율적으로 계산하는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!