Go에서 AWS Glue 사용: 전체 안내서

AWS Glue는 데이터 통합 ​​및 ETL(Extract-Transform-Load) 파이프라인을 쉽게 관리할 수 있는 완전 관리형 클라우드 데이터 통합 ​​서비스입니다. 확장 가능하고 탄력적이며 가용성이 뛰어나며 로컬 데이터는 물론 다른 AWS 서비스와도 작동합니다. 이 문서에서는 Go 언어에서 AWS Glue를 사용하는 방법을 소개합니다.

1. 환경 설정

AWS Glue 사용을 시작하기 전에 먼저 몇 가지 환경을 설정해야 합니다. 먼저 AWS CLI를 설치해야 합니다. 공식 웹사이트에서 AWS CLI를 다운로드하여 설치하거나 다음 명령을 사용하여 명령줄에서 설치할 수 있습니다.

pip install awscli

다음으로 AWS 계정을 생성하고 액세스 키와 보안 액세스 키를 받아야 합니다. 이 정보는 AWS와 통신하는 데 사용됩니다. 다음 단계를 통해 AWS 계정을 생성할 수 있습니다.

• AWS 공식 웹사이트를 방문하여 "AWS 계정 생성" 버튼을 클릭하고 메시지에 따라 관련 정보를 입력합니다.
• 나에게 맞는 요금제를 선택하고 결제를 완료하세요.
• IAM(ID 및 액세스 관리) 콘솔에서 새 사용자를 생성하고 Glue에 액세스할 수 있는 권한을 부여합니다. 키 ID와 액세스 키를 꼭 적어두세요.

마지막으로 Go 언어 개발 환경을 설정해야 합니다. 공식 웹사이트에서 Go 언어를 다운로드하여 설치하거나 다음 명령을 사용하여 명령줄에서 설치할 수 있습니다.

brew install go

2. 데이터 리포지토리 및 테이블 생성

AWS Glue를 사용하기 전에 데이터 리포지토리와 테이블을 생성해야 합니다. 데이터 시트. 다음 단계에 따라 이를 수행할 수 있습니다.

• AWS Management Console에 로그인하고 AWS Glue 콘솔로 이동합니다.
• "데이터 저장소" 탭을 클릭한 다음 "새 데이터 저장소" 버튼을 클릭하세요.
• 데이터 저장소의 이름과 설명을 입력하고 "만들기" 버튼을 클릭하세요.
• "테이블" 탭을 클릭한 다음 "새 테이블" 버튼을 클릭하세요.
• 이름, 설명, 데이터 소스, 스키마를 포함한 테이블 세부정보를 입력하세요.
• "다음"을 클릭하고 입력/출력 데이터 형식을 필요한 형식으로 설정하세요.
• "다음"을 클릭하고 ETL 스크립트 및 기타 고급 설정을 설정하세요.
• "완료" 버튼을 클릭하여 테이블을 생성하세요.

참고: AWS Glue Crawler를 사용하면 스키마와 구조를 추론하고 데이터 간의 관계를 발견하는 데 도움이 될 수 있습니다. 이를 통해 AWS Glue 사용을 더 빠르게 시작할 수 있습니다.

3. AWS Glue API 클라이언트 구성

Go 언어를 사용하여 AWS Glue와 통신하기 전에 AWS Glue API 클라이언트를 사용해야 합니다. 다음 명령을 사용하여 Go용 AWS SDK를 프로젝트에 설치할 수 있습니다.

go get github.com/aws/aws-sdk-go/aws
go get github.com/aws/aws-sdk-go/aws/session
go get github.com/aws/aws-sdk-go/service/glue

다음으로 AWS 세션을 생성해야 합니다. 다음 코드를 사용하여 세션을 생성할 수 있습니다.

sess := session.Must(session.NewSessionWithOptions(session.Options{
    SharedConfigState: session.SharedConfigEnable,
}))

그런 다음 AWS Glue 서비스 클라이언트를 생성해야 합니다. 다음 코드를 사용하여 서비스 클라이언트를 생성할 수 있습니다.

svc := glue.New(sess)

이제 AWS Glue 서비스를 사용할 준비가 되었습니다.

4. AWS Glue API 사용

AWS Glue API를 사용하면 ETL 작업 실행 등의 데이터 테이블 생성, 업데이트, 삭제 등 다양한 작업을 수행할 수 있습니다. 다음은 일반적인 작업의 몇 가지 예입니다.

• 데이터 저장소 나열

다음 코드를 사용하여 모든 데이터 저장소를 나열할 수 있습니다.

params := &glue.GetDatabasesInput{}
resp, err := svc.GetDatabases(params)
if err != nil {
    fmt.Println(err.Error())
} else {
    fmt.Println(resp)
}

• 테이블 데이터 구조 가져오기

다음 코드를 사용하여 하나의 데이터를 가져올 수 있습니다. 테이블의 데이터 구조:

params := &glue.GetTableInput{
    DatabaseName: aws.String("my_database"),
    Name:         aws.String("my_table"),
}
resp, err := svc.GetTable(params)
if err != nil {
    fmt.Println(err.Error())
} else {
    fmt.Println(resp)
}

• ETL 작업 실행

다음 코드를 사용하여 ETL 작업을 실행할 수 있습니다.

params := &glue.StartJobRunInput{
    JobName: aws.String("my_job"),
}
resp, err := svc.StartJobRun(params)
if err != nil {
    fmt.Println(err.Error())
} else {
    fmt.Println(resp)
}

• 데이터 테이블 삭제

다음 코드를 사용하여 데이터 테이블을 삭제할 수 있습니다. :

params := &glue.DeleteTableInput{
    DatabaseName: aws.String("my_database"),
    Name:         aws.String("my_table"),
}
_, err := svc.DeleteTable(params)
if err != nil {
    fmt.Println(err.Error())
} else {
    fmt.Println("Table deleted")
}

5. Summary

AWS Glue는 데이터 통합 ​​및 ETL 파이프라인을 쉽게 관리할 수 있는 강력한 클라우드 데이터 통합 ​​서비스입니다. Go 언어를 사용하면 AWS Glue API를 사용하여 다양한 작업을 쉽게 구현할 수 있습니다. 이 가이드의 단계를 통해 AWS Glue API를 사용하여 데이터 리포지토리와 테이블을 생성하고 다양한 작업을 수행할 수 있습니다.

위 내용은 Go에서 AWS Glue 사용: 전체 안내서의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!