Hive에서 증분 데이터 업데이트를 효율적으로 수행하는 방법은 무엇입니까?

Hive의 효율적인 증분 데이터 업데이트

Hive는 기본 테이블 내에서 데이터를 증분적으로 업데이트하는 다양한 접근 방식을 제공합니다. 가장 효과적인 방법을 살펴보겠습니다.

Full Outer Join

ACID 모드에서 병합 작업을 사용할 수 없는 경우 완전 외부 조인을 활용하여 병합할 항목을 찾을 수 있습니다. 업데이트됨:

insert overwrite target_data [partition() if applicable]
SELECT
  case when i.PK is not null then i.PK   else t.PK   end as PK,
  case when i.PK is not null then i.COL1 else t.COL1 end as COL1,
  ...
  case when i.PK is not null then i.COL_n else t.COL_n end as COL_n
FROM
    target_data t --restrict partitions if applicable
    FULL JOIN increment_data i on (t.PK=i.PK);

행과 모두 합치기 Number

또는 UNION ALL을 row_number()와 함께 사용하여 전체 조인을 방지할 수 있습니다.

INSERT INTO target_data (pk, col1, col2, ...)
SELECT pk, col1, col2, ...
FROM increment_data
WHERE pk NOT IN (SELECT pk FROM target_data)
UNION ALL
SELECT pk, col1, col2, ...
FROM target_data;

이 솔루션은 모든 열을 다음과 같이 업데이트하려는 경우 특히 효율적입니다. 새로운 데이터.

파티션 최적화

성능 향상을 위해 WHERE partition_col IN(increment_data에서 고유한 partition_col 선택) 절을 사용하여 덮어쓰게 될 target_data 테이블의 파티션을 제한할 수 있습니다. 또한 WHERE 절에 파티션 목록을 매개변수로 전달하면 작업 속도가 더욱 빨라질 수 있습니다.

위 내용은 Hive에서 증분 데이터 업데이트를 효율적으로 수행하는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!