기본 키 없이 대규모 SQLite 테이블에서 중복 행을 효율적으로 삭제하는 방법은 무엇입니까?

SQLite 데이터베이스에서 중복 행 삭제 최적화

질문:
SQLite3에서 3,600만 개 이상의 행이 있는 대규모 테이블을 만나면, 두 개의 열(해시 및 d)을 기반으로 중복 레코드를 제거하는 문제. 그러나 문제가 있습니다. 테이블에 기본 키 열이 없다는 것입니다. 효율적인 솔루션을 찾기 위해 이 작업을 처리하는 가장 효과적인 접근 방식에 대해 문의합니다.

답변:
기본 키가 없는 경우 중복 행을 효과적으로 제거하려면 각 레코드에 고유 식별자가 필요합니다.

해결책:
SQLite3의 특수 rowid 열을 고유 식별자로 활용합니다. rowid 열은 테이블에 새 행이 추가될 때마다 자동으로 증가하는 정수입니다. rowid를 사용하면 각 (해시, d) 조합에 대해 가장 낮은 rowid 값을 가진 레코드를 유지할 수 있습니다.

SQL 쿼리:
목표를 달성하려면 다음 SQL 쿼리를 구현하세요.

DELETE FROM YourTable
WHERE rowid NOT IN (
    SELECT MIN(rowid)
    FROM YourTable
    GROUP BY hash, d
)

이 쿼리는 중복된 (해시, d) 조합이 있는 모든 행을 식별하고 제거하여 각 조합의 인스턴스 하나만 남도록 합니다. 테이블. MIN(rowid) 하위 쿼리는 중복 레코드의 경우 rowid 값이 가장 낮은 레코드가 유지되도록 보장합니다.

위 내용은 기본 키 없이 대규모 SQLite 테이블에서 중복 행을 효율적으로 삭제하는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!