최선의 방법: Java 8을 사용하여 MySQL에서 수백만 개의 레코드를 검색, 암호화 및 업데이트합니다.

Question

우리는 MySQL 데이터베이스에서 약 1천만 개의 레코드를 읽고, 레코드를 암호화하고, 암호화된 값을 다시 필드로 업데이트해야 하는 요구 사항이 있습니다. 가장 효율적인 방법으로 이 요구 사항을 달성하는 방법. 1: AES_ENCRYPT를 사용하여 MySQL 데이터베이스에서 필드 수준 암호화: 내가 이해하는 한 AES_ENCRYPT는 varbinary에서 효율적으로 작동하지만 필드는 varchar 유형뿐입니다. 따라서 이 옵션은 제외됩니다. 2: Java의 Exec은 이전에 우리 애플리케이션 중 하나에서 사용되었습니다.

P粉903052556 · Answer

10M 행의 데이터에 대한 작업은 시간이 오래 걸리고 시간 초과가 발생할 수 있습니다.
MySQL에 저장하는 경우에만 VARBINARY或BLOB를 사용할 수 있습니다.
선언된 데이터 유형이 소스 데이터보다 약간 더 큰지 확인하세요. (SELECT MAX(LENGTH(col)) FROM tbl) 최대 길이를 줄 수 있습니다.
새 테이블을 만들고 데이터를 복사할 때 데이터를 새 테이블의 다른 열로 변환하는 것을 고려하세요. 그런 다음 테스트해 보세요.
반복당 1000행의 데이터를 처리하는 것을 고려하세요. PRIMARY KEY来跟踪“上次停下来的位置”，如果可行的话。（不要使用OFFSET)를 사용하세요. 청킹에 대한 추가 정보: http://mysql.rjweb.org/doc.php/deletebig#deleting_in_chunks
예, 일종의 대량 삽입을 사용하세요. 그러나 배치의 전체 크기를 약 1MB로 제한하십시오. (16MB는 통과하기 어렵습니다.) 이로 인해 데이터 크기가 위에서 언급한 1K 미만이 될 수 있습니다.
전체 테이블을 작업하는 데 필요한 시간은 한 번에 1K 행을 처리하는 일회성 작업에 비해 큰 차이가 없습니다.
데이터를 암호화할 때 압축해 보는 것도 좋습니다. 이로 인해 디스크 공간이 3배 더 작아질 수 있습니다.

최선의 방법: Java 8을 사용하여 MySQL에서 수백만 개의 레코드를 검색, 암호화 및 업데이트합니다.

모든 응답(1)나는 대답할 것이다