대규모 트랜잭션 실행 시 메모리 소비 감소

PHP 편집자 Youzi는 오늘 중요한 기술, 즉 대규모 트랜잭션을 실행할 때 메모리 소비를 줄이는 방법을 소개합니다. 많은 양의 데이터를 처리하거나 복잡한 작업을 수행할 때 메모리 소비는 심각한 문제가 될 수 있습니다. 이 문제를 해결하려면 코드의 효율성과 성능을 향상시키기 위한 몇 가지 최적화 조치를 취해야 합니다. 이 기사에서는 메모리 소비를 줄이고 대규모 트랜잭션을 처리할 때 메모리 리소스를 보다 효율적으로 사용하는 데 도움이 되는 몇 가지 방법과 기술을 자세히 소개합니다.

질문 내용

인터넷의 예제를 따르고 다음 sqlite 매개변수를 사용하여 삽입 쿼리 속도를 향상시켰습니다.

으아악

내 코드는 다음과 같습니다.

으아악

이제 쿼리는 빠르게 실행되지만 RAM을 너무 많이 소모합니다. 데이터는 RAM에 저장되기 때문에 실행이 끝나면 데이터베이스 파일에만 저장됩니다.

데이터를 주기적으로 데이터베이스 파일에 저장하면 실행 시간이 조금 늘어나지만 메모리 소모는 줄어들 수 있다고 생각합니다. "i"가 변경될 때마다 트랜잭션이 시작되고 모든 "j"가 완료되면 트랜잭션이 종료됩니다.

으아악

이제 데이터는 청크 단위로 파일에 기록되어야 하고 램에는 데이터 청크가 하나만 있어야 한다고 생각합니다.

하지만 실행 중에는 데이터가 파일에 저장되지 않고 램이 계속 채워집니다. 즉, 첫 번째 코드 옵션과 두 번째 코드 옵션의 실행에는 차이가 없습니다.

트랜잭션의 "커밋"이 호출되면 데이터를 파일에 저장하고 램을 지워야 한다고 생각합니다. 내가 뭘 잘못하고 있는지 말해주세요.

Solution

PRAGMAcache_size매개변수는 페이지 수입니다(일반적으로 페이지당 4k바이트).

PRAGMA cache_size = 1000000;페이지 캐시에는 최대 4GB의 RAM이 할당됩니다. 페이지 캐시는 필요할 때 최대 크기까지 할당되지만 연결이 닫힐 때까지 해제되지 않습니다.

많은 수의 행을 삽입하므로 결국 다른 페이지에 있게 되므로 캐시가 채워질 때까지 디스크에 기록된 모든 페이지를 캐시에 보관하게 됩니다.

메모리 소비를 줄이려면 값을 1000(4MB에 해당)으로 줄이거나 간단히 삭제하세요. 기본 캐시는 2MB이며 행만 삽입하는 경우에는 충분합니다.

또한 COMMIT를 호출할 때(또는 캐시가 충분하지 않은 경우 커밋하기 전에) 데이터가 디스크에 기록된다는 점에 유의하세요. 그러나 Sqlite는 나중에 디스크에서 다시 읽는 것을 방지하기 위해 필요할 경우를 대비하여 캐시에 복사본을 보관합니다.

위 내용은 대규모 트랜잭션 실행 시 메모리 소비 감소의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!