Amazon Athena와 함께 AWS Glue Crawler를 사용하는 방법-SQL-php.cn

집

데이터 베이스

SQL

Amazon Athena와 함께 AWS Glue Crawler를 사용하는 방법

William Shakespeare

Apr 09, 2025 pm 03:09 PM

pythonsql

데이터 전문가는 다양한 소스에서 많은 양의 데이터를 처리해야합니다. 이것은 데이터 관리 및 분석에 어려움을 겪을 수 있습니다. 다행히도 AWS Glue와 Amazon Athena의 두 가지 AWS 서비스가 도움이 될 수 있습니다.

이러한 서비스를 통합하면 AWS 생태계에서 데이터 검색, 카탈로그 작성 및 쿼리를 공개합니다. 데이터 분석 워크 플로우를 단순화 할 수있는 방법을 이해해 보겠습니다.

Amazon Athena와 함께 AWS Glue Crawler를 사용하는 방법

AWS 접착제는 무엇입니까?

AWS Glue는 여러 소스의 데이터를 발견, 준비, 이동 및 통합 할 수있는 서버리스 호스팅 서비스입니다. 데이터 통합 서비스로서 AWS Glue를 사용하면 인프라를 관리하지 않고도 데이터 위치를 중앙에서 관리 할 수 있습니다.

AWS 접착제 크롤러는 무엇입니까?

Glue Crawler는 데이터를 자동으로 분류하고 그룹화하고 카탈로그하는 자동 데이터 검색 도구입니다. 그런 다음 새 테이블을 생성하거나 AWS 접착제 데이터에 기존 테이블 디렉토리를 업데이트합니다.

접착제 데이터 디렉토리 란 무엇입니까?

AWS Glue Data Directory는 데이터 위치의 인덱스, 스키마 및 런타임 메트릭입니다. ETL (Extract), 변환 및로드 (ETL) 작업을 생성하고 모니터링하려면이 정보가 필요합니다.

아마존 아테나와 AWS 접착제를 사용하는 이유는 무엇입니까?

이제 우리는 아마존 아테나, AWS 접착제 및 AWS 접착제 크롤러의 기본 사항을 다루었으므로 더 깊은 방식으로 논의 해 봅시다.

4 주요 Amazon Athena 사용 사례

Amazon Athena는 데이터의 페타 바이트를 분석하는 단순하고 유연한 방법을 제공합니다. 예를 들어, Athena는 Amazon Simple Storage Service (S3)의 데이터를 분석하거나 애플리케이션 데이터 호수 및 온 프레미스 데이터 소스 또는 SQL 또는 Python을 사용한 기타 클라우드 시스템을 포함한 30 개의 데이터 소스를 구축 할 수 있습니다.

Amazon Athena에는 4 가지 주요 사용 사례가 있습니다.

S3, 온 프레미스 데이터 센터 또는 기타 구름에서 쿼리 실행
기계 학습 모델에 대한 데이터를 준비합니다
SQL 쿼리 또는 Python의 기계 학습 모델을 사용한 이상 탐지, 고객 그룹 분석 및 판매 예측과 같은 복잡한 작업을 단순화합니다.
멀티 클라우드 분석 (Azure에서 데이터 쿼리 등) 시냅스 분석을 수행하고 Amazon Quicksight로 결과를 시각화)

3 주요 AWS 접착제 사용 사례

이제 Amazon Athena를 소개 했으므로 AWS 접착제에 대해 이야기합시다. AWS 접착제를 사용하여 몇 가지 다른 작업을 수행 할 수 있습니다.

먼저 AWS Glue Data Integration Engine을 사용하여 여러 다른 소스에서 데이터를 얻을 수 있습니다. 여기에는 Amazon S3, Amazon DynamoDB 및 Amazon RDS뿐만 아니라 Amazon에서 실행되는 데이터베이스 EC2 (AWS Glue Studios와 통합) 및 Ray, Python Shell 및 Apache Spark 용 AWS Glue가 포함됩니다.

데이터가 연결되고 필터링되면 데이터가로드 또는 생성되는 위치와 연결할 수 있으며이 목록은 Amazon Redshift, Data Lakes 및 데이터웨어 하우스와 같은 장소로 확장됩니다.

AWS 접착제를 사용하여 ETL 작업을 실행할 수도 있습니다. 이러한 작업을 통해 고객 데이터를 격리하고 고객 데이터를 전송 및 현장에서 보호하며 고객 요구에 응답 할 때만 고객 데이터 요청에 액세스 할 수 있습니다. ETL 작업을 구성 할 때는 가상 비공개에 입력 데이터 소스 및 출력 데이터 대상 클라우드를 제공하기 만하면됩니다.

AWS 접착제를 사용하는 마지막 방법은 데이터 카탈로그를 통해 데이터 카탈로그를 통해 여러 AWS 데이터 세트를 빠르게 검색하고 검색하는 것입니다. 데이터 카탈로그 후에는 Amazon Athena, Amazon EMR 및 Amazon Redshift를 사용하여 즉시 스펙트럼을 검색하고 쿼리하는 데 사용될 수 있습니다.

AWS 접착제 시작 : AWS 접착제에서 Amazon Athena로 데이터를 얻는 방법

그렇다면 AWS Glue에서 Amazon Athena로 데이터를 얻으려면 어떻게해야합니까? 다음 단계를 따르십시오.

먼저 데이터를 데이터 소스에 업로드하십시오. 가장 인기있는 옵션은 S3 버킷이지만 DynamoDB 테이블과 Amazon Redshift도 옵션입니다.
데이터 소스를 선택하고 필요한 경우 분류기를 만듭니다. 분류기는 데이터를 읽고 형식을 식별하기 위해 패턴 (만족 한 경우)을 생성합니다. 다른 데이터 유형을 볼 수있는 사용자 정의 분류기를 만들 수 있습니다.
크롤러를 만듭니다.
크롤러의 이름을 설정 한 다음 데이터 소스를 선택하고 사용자 정의 분류기를 추가하여 AWS Glue가 데이터를 올바르게 인식하는지 확인하십시오.
Crawler가 프로세스를 올바르게 실행할 수 있도록 IM (Identity and Access Management) 역할을 설정하십시오.
데이터 세트를 저장하는 데이터베이스를 만듭니다. 크롤러의 런타임과 빈도를 설정하여 데이터를 최신 상태로 유지하십시오.
크롤러를 실행하십시오. 이 프로세스는 데이터 세트가 얼마나 큰지에 따라 시간이 걸릴 수 있습니다. 크롤러가 성공적으로 실행되면 데이터베이스의 테이블 변경 사항을 볼 수 있습니다.

이 프로세스를 마쳤으므로 Amazon Athena로 점프하여 데이터를 필터링하고 원하는 결과를 얻는 데 필요한 쿼리를 실행할 수 있습니다.

위 내용은 Amazon Athena와 함께 AWS Glue Crawler를 사용하는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명

본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

관련 기사

데이터 분석을위한 SQL : 비즈니스 인텔리전스를위한 고급 기술Apr 14, 2025 am 12:02 AM

SQL의 고급 쿼리 기술에는 하위 쿼리, 창 함수, CTE 및 복잡한 조인이 포함되어 복잡한 데이터 분석 요구 사항을 처리 할 수 있습니다. 1) 하위 쿼리는 각 부서에서 급여가 가장 높은 직원을 찾는 데 사용됩니다. 2) 창 함수와 CTE는 직원 급여 성장 동향을 분석하는 데 사용됩니다. 3) 성능 최적화 전략에는 인덱스 최적화, 쿼리 재 작성 및 파티션 테이블 사용이 포함됩니다.

MySQL : SQL의 특정 구현Apr 13, 2025 am 12:02 AM

MySQL은 표준 SQL 기능 및 확장을 제공하는 오픈 소스 관계형 데이터베이스 관리 시스템입니다. 1) MySQL은 한계 조항을 작성, 삽입, 업데이트, 삭제 및 확장과 같은 표준 SQL 작업을 지원합니다. 2) Innodb 및 Myisam과 같은 스토리지 엔진을 사용하여 다양한 시나리오에 적합합니다. 3) 사용자는 테이블 작성, 데이터 삽입 및 저장 프로 시저를 사용하는 것과 같은 고급 기능을 통해 MySQL을 효율적으로 사용할 수 있습니다.

SQL : 모든 사람이 데이터 관리에 액세스 할 수 있도록합니다Apr 12, 2025 am 12:14 AM

sqlmakesdatamanagementaCcessibletoallbyprovingasimpleyetpooltooltoolforqueryinganddatabases.1) itworkswithrelationalDatabases.2) sql'sstrengthliesinfiltering, andjoiningdata, andjoiningdata, andjoiningdata

SQL 인덱싱 전략 : 쿼리 성능 향상 순서Apr 11, 2025 am 12:04 AM

SQL 인덱스는 영리한 설계를 통해 쿼리 성능을 크게 향상시킬 수 있습니다. 1. B- 트리, 해시 또는 전문 지수와 같은 적절한 인덱스 유형을 선택하십시오. 2. 복합 인덱스를 사용하여 멀티 필드 쿼리를 최적화하십시오. 3. 데이터 유지 보수 오버 헤드를 줄이려면 과도한 인덱스를 피하십시오. 4. 불필요한 인덱스 재건 및 제거를 포함하여 정기적으로 인덱스를 유지합니다.

SQL에서 제약 조건을 삭제하는 방법Apr 10, 2025 pm 12:21 PM

SQL에서 제약 조건을 삭제하려면 다음 단계를 수행하십시오. 삭제할 제약 조건을 식별하십시오. Alter Table 문을 사용하십시오. Alter Table Tame 이름 드롭 제약 조건 제한 이름; 삭제를 확인하십시오.

SQL 트리거를 설정하는 방법Apr 10, 2025 pm 12:18 PM

SQL 트리거는 지정된 테이블에서 특정 이벤트가 실행될 때 특정 작업을 자동으로 수행하는 데이터베이스 개체입니다. SQL 트리거를 설정하려면 트리거 이름, 테이블 이름, 이벤트 유형 및 트리거 코드가 포함 된 Trigger 문을 사용할 수 있습니다. 트리거 코드는 AS 키워드를 사용하여 정의되며 SQL 또는 PL/SQL 문 또는 블록을 포함합니다. 트리거 조건을 지정하면 where 절을 사용하여 트리거의 실행 범위를 제한 할 수 있습니다. 트리거 작업은 삽입, 업데이트 또는 삭제 명령문을 사용하여 트리거 코드에서 수행 할 수 있습니다. 신규 및 기존 키워드를 사용하여 영향을받는 키워드를 트리거 코드에서 참조 할 수 있습니다.

SQL 쿼리에 인덱스를 추가하는 방법Apr 10, 2025 pm 12:15 PM

인덱싱은 데이터 열을 정렬하여 데이터 검색을 가속화하는 데이터 구조입니다. SQL 쿼리에 인덱스를 추가하는 단계는 다음과 같습니다. 인덱싱 해야하는 열을 결정하십시오. 적절한 인덱스 유형 (b-tree, hash 또는 bitmap)을 선택하십시오. Create Index 명령을 사용하여 인덱스를 작성하십시오. 효율성을 유지하기 위해 지수를 정기적으로 재구성하거나 재구성합니다. 인덱스 추가의 이점에는 개선 된 쿼리 성능, I/O 작동 감소, 최적화 된 정렬 및 필터링 및 개선 된 동시성이 포함됩니다. 쿼리가 종종 특정 열을 사용하는 경우 정렬 또는 그룹화 해야하는 다량의 데이터를 반환하고, 큰 테이블 또는 큰 데이터베이스 테이블이 포함되므로 인덱스 추가를 고려해야합니다.

SQL 문에 ifelse를 사용하는 방법Apr 10, 2025 pm 12:12 PM

IFELSE 문은 조건부 평가 결과에 따라 다른 값을 반환하는 조건부 명세서입니다. 구문 구조는 다음과 같습니다. if (조건) 그런 다음 return_value_if_condition_is_true else return_value_if_condition_is_false end if;.

See all articles