집 > 기사 > Java > Java를 사용하여 수정된 파일의 MD5 값을 계산하는 방법

Java를 사용하여 수정된 파일의 MD5 값을 계산하는 방법

WBOY앞으로: 2023-05-29 08:16:451893검색

MD5란 무엇인가요?

널리 사용되는 암호화 해시 함수인 MD5(Message Digest Algorithm)는 128비트(16바이트)의 해시 값(해시 값)을 생성하여 정보 전송의 무결성을 일관되게 보장할 수 있습니다. 뒤의 숫자 5는 MD4를 대체하기 위해 발명되었기 때문입니다. 간단히 이해하면 그 기능은 파일에 고유 식별자를 제공하는 것입니다. 파일 확장자를 수정하면 파일이 열리지 않을 수 있지만, MD5의 경우에는 변화가 없습니다. 따라서 파일의 경우 md5 확인에는 이름을 바꾸는 것이 쓸모가 없습니다.

MD5의 애플리케이션

다음은 제가 자주 본 애플리케이션 중 일부입니다.

다운로드 파일 확인

네트워크가 완벽하지 않기 때문에 대용량 파일을 다운로드할 때 오류가 발생할 수 있습니다. (작은 파일도 그럴 수 있지만 일반적으로 파일이 클수록 확률이 높아집니다.) 이는 정상적인 현상입니다. 정상. 따라서 일부 소프트웨어 jar 또는 개발 도구는 일반적으로 사용자가 파일이 잘못 다운로드되었는지 확인할 수 있도록 다운로드할 파일의 추가 md5 값을 제공합니다(이 파일은 매우 작고 일반적으로 오류가 없는 것으로 간주되기 때문). 하지만 이제 네트워크는 점점 좋아지고 있으며 기본적으로 오류는 없습니다. 따라서 사용자의 네트워크 상태가 좋지 않은 경우 반드시 다운로드 후 확인을 하여 오류를 방지하시기 바랍니다. )

파일 업로드

이에 비해 md5 값을 가진 파일을 업로드하는 경우 적용 범위가 더 넓습니다. 여기서 주요 목적은 파일 중복 제거 및 파일 필터링입니다.

파일 중복 제거

우리는 사용자가 업로드한 파일에는 일반적으로 최근 인기 있는 영화, TV 시리즈, 게임 또는 기타 인기 리소스와 같이 중복된 파일이 많다는 것을 알고 있습니다. 실제로 사용자가 업로드하는 파일의 상당 부분을 차지하므로 동일한 리소스에 대해 복사본 하나만 저장하면 됩니다. 10,000명의 사용자(10,000명 미만)가 동일한 4GB 영화를 업로드한다고 가정하면 필요한 총 디스크 용량은 4*10000GB입니다. 복사본 하나만 업로드하는 경우 다른 사용자가 업로드하는 경우 해당 파일의 md5 값이 로컬에서 계산됩니다. 동일하면 동일한 파일로 간주되며 4GB만 있으면 공간이 충분합니다(물론, 여기서는 정보를 기록하는 공간 크기가 무시됩니다. 그러나 파일 자체의 크기에 비해 이 정보는 여전히 매우 작습니다. 이 공간 절약이 얼마나 큰지 생각해 볼 수 있습니다.
누구나 일상생활에서 자주 사용해야 합니다. 몇 GB에 달하는 대용량 파일을 업로드하는 것은 몇 초 안에 완료될 수 있습니다. 그러나 인터넷에 대한 지식이 조금 있는 사람이라면 누구나 네트워크의 업로드 속도가 다운로드 속도보다 낮다는 것을 알고 있습니다. (최종 사용자에게만 해당) 다운로드 속도도 도달하지 못하고, 업로드도 불가능합니다. 따라서 파일의 md5 값에 대한 계산 과정만 수행하면 되며, 계산 결과에 따라 해당 파일이 있으면 업로드되지 않습니다. 그렇지 않은 경우에는 솔직하게 업로드하세요. 물론 이 과정은 일반적으로 매우 느립니다.

파일 필터링

일부 파일은 저작권 및 정책과 관련되어 있어 사용자가 업로드할 수 없습니다. 따라서 사용자가 업로드한 파일도 검증된 후 백그라운드에서 블랙리스트와 일치합니다(이 경우여야 합니다). 일치에 성공하면 파일을 업로드할 수 없거나 업로드된 파일이 처리되었습니다. 이 방법은 매우 효율적이며 일반적으로 사용자가 수행하는 소위 임의 이름 변경 작업은 전혀 쓸모가 없습니다.

따라서 사용자는 관련 플랫폼의 정책과 규정을 준수해야 합니다.

파일의 MD5 값 수정

일반적으로 파일의 바이너리 내용이 변경되는 한 파일의 md5 값은 확실히 변경됩니다. 일반적으로 압축된 파일을 이용하여 여러 파일을 압축하여 업로드하는 방법이 있습니다. 이렇게 하면 압축된 파일의 md5 값도 변경됩니다. 그러나 일부 플랫폼에서는 파일의 압축을 풀 수도 있으므로 이것이 만병통치약은 아닙니다. 그러나 프로그램을 통해 파일의 바이너리 데이터를 수정하고 복원하는 것은 상대적으로 쉽습니다. Java의 스트림을 사용하여 파일에 대한 거의 모든 작업을 수행할 수 있습니다(예: 파일의 각 바이트를 암호화하므로 복원이 어렵습니다). 또는 그냥 구간을 암호화하거나 파일을 먼저 생성하고 파일에 고정된 숫자를 쓴 뒤 관련 파일의 데이터를 쓰는 것도 좋은 방법이다. 파일의 경우 일련의 연속적인 이진 스트림(논리적으로)으로 생각할 수 있습니다. 파일을 병합(증가)하거나 자르는(감소)은

파일 및 IO와 관련된 간단한 프로세스입니다. .

md5를 계산하는 간단한 프로그램

이 프로그램은 위의

Java 네트워크 프로그래밍에 있는 프로그램입니다. 여기서 스레드를 제거하고 작업을 단순화했습니다. 어쨌든 md5 값을 계산하는 데만 사용되며 다른 작업은 필요하지 않습니다. 사용자의 작업.

import java.io.BufferedInputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.security.DigestInputStream;
import java.security.MessageDigest;
import java.security.NoSuchAlgorithmException;

import javax.xml.bind.DatatypeConverter;

public class TestMD5 {
	public static void main(String[] args){
		for (String filepath : args) {
			String md5 = computeMD5(new File(filepath));
			System.out.println(md5);
		}
	}
	
	
	private static String computeMD5(File file) {
		DigestInputStream din = null;
		try {
			MessageDigest md5 = MessageDigest.getInstance("MD5");
			//第一个参数是一个输入流
			din = new DigestInputStream(new BufferedInputStream(new FileInputStream(file)), md5);
			
			byte[] b = new byte[1024];
			while (din.read(b) != -1);
		
			byte[] digest = md5.digest();
			
			StringBuilder result = new StringBuilder(file.getName());
			result.append(": ");
			result.append(DatatypeConverter.printHexBinary(digest));
			return result.toString();
		} catch (NoSuchAlgorithmException e) {
			e.printStackTrace();
		} catch (IOException e) {
			e.printStackTrace();
		} finally {
			try {
				if (din != null) {
					din.close();
				}
			} catch (IOException e) {
				e.printStackTrace();
			}
		}
		return null;
	}
}

실행 결과

Java를 사용하여 수정된 파일의 MD5 값을 계산하는 방법