SQLAlchemy의 `yield_per()`는 실제로 대규모 MySQL 쿼리에 대해 메모리 효율적인 반복을 제공합니까?

SQLAlchemy의 내장 생성기는 메모리 효율적인 반복을 제공합니까?

SQLAlchemy를 활용하면 MySQL 테이블에서 과도한 메모리 소비가 발생할 수 있습니다. 이 문제는 내장 생성기가 바이트 크기의 청크로 데이터를 가져올 것이라는 가정에도 불구하고 지속됩니다. 이를 완화하기 위해 사용자는 사용자 지정 반복기를 만드는 방법을 사용했습니다.

그러나 SQLAlchemy의 동작을 면밀히 조사하면 대부분의 DBAPI 구현은 검색 시 행을 버퍼링하여 SQLAlchemy ORM이 결과를 처리하기 전에도 메모리를 소비한다는 사실이 드러납니다. . 또한 쿼리의 기본 작업은 사용자에게 개체를 반환하기 전에 결과 집합을 완전히 로드하는 것입니다.

복잡한 쿼리의 경우 결과의 무결성을 보장하면 이러한 동작이 정당화됩니다. 그러나 간단한 SELECT 문의 경우 Query는 이 기능을 수정할 수 있는 Yield_per() 옵션을 제공하여 일괄적으로 행을 생성할 수 있습니다. Yield_per()를 사용할 때는 애플리케이션에 대한 고급 이해가 필요하고 기본 DBAPI가 행을 사전 버퍼링하는 경우 효율성이 떨어지므로 주의하는 것이 중요합니다.

더 효율적인 접근 방식에는 창 기능을 활용하는 것이 있습니다. 데이터 청크를 나타내는 "창" 값 세트를 미리 가져옴으로써 사용자는 특정 창을 대상으로 하는 개별 SELECT 문을 생성할 수 있습니다. 이 방법은 OFFSET 값이 증가함에 따라 성능이 저하되는 OFFSET 및 LIMIT의 제한을 피합니다.

최대 효율성을 위해서는 PostgreSQL, Oracle 또는 SQL Server를 사용하는 것이 좋습니다. 이러한 데이터베이스는 윈도우 기능을 지원합니다.

위 내용은 SQLAlchemy의 `yield_per()`는 실제로 대규모 MySQL 쿼리에 대해 메모리 효율적인 반복을 제공합니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!