파일 전송을 위한 Golang이 포함된 AWS Transfer 제품군

현대 기술의 세계에서 안전하고 효율적인 파일 전송은 많은 조직에서 매우 중요한 요소입니다. Amazon Web Services에서 제공하는 관리형 보안 파일 전송 솔루션인 AWS Transfer Family를 사용하면 SFTP, FTPS, FTP 및 AS2와 같은 표준 프로토콜을 사용하여 파일을 전송할 수 있습니다. 효율성과 사용 용이성으로 유명한 프로그래밍 언어인 Golang과 결합하면 파일 전송을 효과적으로 관리하고 자동화할 수 있는 강력한 조합이 만들어집니다.

이 기사에서는 AWS Transfer Family를 Golang과 통합하여 파일 전송 프로세스를 최적화하는 방법을 살펴보겠습니다. AWS Transfer Family 구성부터 Golang을 사용한 SFTP 클라이언트 구현까지 이러한 기술을 최대한 활용할 수 있도록 단계별로 안내해 드리겠습니다.

AWS Transfer Family란 무엇입니까?

AWS Transfer Family는 SFTP, AS2, FTPS 및 FTP와 같은 프로토콜을 사용하여 Amazon S3 및 Amazon EFS와 같은 AWS 스토리지 서비스 안팎으로 파일을 전송할 수 있는 안전한 완전 관리형 서비스입니다.

주요 특징

• 지원되는 프로토콜: SFTP, FTPS, FTP, AS2
• AWS 스토리지 통합: Amazon S3, Amazon EFS
• 사용 사례: 데이터 레이크, 내부 전송, 데이터 배포, 규정 준수 워크플로, 공급망 물류, B2B 거래

이익

• 실시간 확장성.
• 인프라 관리가 필요 없습니다.
• 데이터 처리 및 분석을 위해 기본 AWS 서비스를 활용합니다.
• 완전 관리형 서버리스 워크플로 서비스
• 종량제 가격.

전제 조건

• AWS 계정: 활성 Amazon Web Services 계정입니다. 아직 가입하지 않으셨다면 AWS 웹사이트에서 가입하실 수 있습니다.
• Golang: Go(Golang) 프로그래밍 언어에 대한 지식
• AWS의 관리 권한.
• AWS Transfer Family: AWS Transfer Family를 구성하고 관리하기 위한 관리 읽기 및 쓰기 권한입니다. 여기에는 전송 서버를 생성하고 관리하는 기능이 포함됩니다. 이 서비스에는 관련 비용이 있습니다.
• Amazon S3: Amazon S3 버킷을 읽고 쓸 수 있는 관리 권한
• AWS IAM: 전송 통합 및 보안에 필요한 IAM 역할 및 정책을 관리하는 권한

건축 디자인

AWS Transfer Family와 Golang을 통합하기 위해 제안된 아키텍처 설계는 아래 다이어그램에 표시된 대로 다음 구성 요소로 구성됩니다.

이 기사에서 제안하는 API는 기본 기능을 보여주는 기본 예제 역할을 합니다. 실제 시나리오에서는 API가 더 복잡하고 추가 기능을 포함할 수 있습니다. 주요 기능은 백업 목적이든 다른 시스템과의 통합이든 파일을 AWS Transfer Family SFTP 서버에 업로드하고 S3 버킷에 저장하는 것입니다. 사용 사례는 각 조직의 요구 사항에 따라 다양합니다. 다음은 몇 가지 추가 사용 사례 예입니다. AWS Transfer Family 고객.

또한 이 기사에서 제안한 API는 AWS Elastic Beanstalk 또는 AWS Fargate와 같은 서비스를 사용하여 AWS 클라우드에 배포하여 각 조직의 특정 요구 사항에 따라 더 높은 확장성과 가용성을 얻을 수 있습니다.

시작해 보세요!

구현

공개 및 개인 키 생성

AWS Transfer Family SFTP 서버에 연결하기 위한 공개 및 개인 키 쌍을 생성합니다. 이 작업은 다음 명령을 사용하여 우리 컴퓨터에서 로컬로 수행할 수 있습니다.

$ ssh-keygen -t rsa -b 4096 -f /aws_example_ssh_key

• aws_example_ssh_key: 키 이름
• PATH: 키가 저장될 디렉터리
• rsa: 암호화 알고리즘
• 4096: 키 크기
• f: 출력 파일 이름

ssh-keygen -t rsa -b 4096 -f <path>/aws_example_ssh_key
Generating public/private rsa key pair.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in <path>/aws_example_ssh_key
Your public key has been saved in <path>/aws_example_ssh_key.pub
The key fingerprint is:
SHA256:P80TXbp10tjdzJLc3KAhtWP9YWQe+A181WvqUQyaTFc rodrigoquispe@0WJMD6M
The key's randomart image is:
+---[RSA 4096]----+
|            ..oE+|
|           o ** +|
|          + O **+|
|           * *.^*|
|        S   o % #|
|         . o + =.|
|          o = o  |
|           . o   |
|                 |
+----[SHA256]-----+
</path></path></path>

• 암호 입력(암호가 없는 경우 비어 있음): 키의 비밀번호입니다.
• 동일한 암호를 다시 입력하세요: 키의 암호를 확인하세요.
• 귀하의 ID는 /aws_example_ssh_key에 저장되었습니다. 개인 키는 지정된 경로의 aws_example_ssh_key 파일에 저장됩니다.
• 공개 키가 /aws_example_ssh_key.pub에 저장되었습니다. 공개 키는 지정된 경로의 aws_example_ssh_key.pub 파일에 저장됩니다.

전학 가족 서비스 만들기

AWS Management Console에 로그인하여 AWS Transfer Family 서비스를 선택하고 서버를 생성하세요.

보안 파일 전송을 위해 SFTP(SSH 파일 전송 프로토콜)를 선택하고 다음을 클릭하세요.

ID 공급자를 선택하고 "서비스 관리"를 선택하세요.

엔드포인트 구성에서 "공개적으로 액세스 가능"을 선택하고 다음을 클릭하세요.

저장 옵션으로 "Amazon S3"를 선택하고 다음을 클릭합니다.

'추가 세부정보 구성' 섹션에서 설정을 기본값으로 둡니다.

검토 후 다음을 클릭하고 생성하세요.
생성이 완료되면 이와 비슷한 것이 생성됩니다. 아직 사용자가 없으며 공용 엔드포인트를 통해 S3를 스토리지로 사용하여 곧 시작될 것임을 알 수 있습니다.

역할 만들기

AWS Transfer Family에서 s3 서비스로의 새 역할을 생성합니다. 이렇게 하려면 IAM 서비스로 이동하여 AWS 서비스 유형의 새 역할을 생성하고 사용 사례에서 전송 및 다음을 선택합니다.

권한 정책, AmazonS3FullAccess는 S3 버킷에 대한 전체 액세스 권한을 갖습니다. 그러나 이 정책은 매우 허용 가능하므로 프로덕션 환경에서는 사용하지 않는 것이 좋습니다. 그리고 다음은.

계속해서 "role-example-transfer-to-s3" 역할 이름을 할당하고 검토한 후 "Create role"을 클릭합니다.

S3 버킷 생성

계속해서 s3 버킷 생성을 진행합니다. 이를 위해 s3 서비스로 이동하여 새 버킷을 생성합니다.

기본 구성을 그대로 두고 버킷 이름을 설정하고 버킷을 생성합니다.

버킷 이름: "bucket-example-transfer".

창조가 끝나면 다음과 같은 결과가 나옵니다.

S3를 사용하여 Transfer Family를 위한 SFTP 사용자 구성

AWS Transfer Family 서비스로 이동하여 앞서 생성한 서버를 선택하세요.

• '사용자' 탭을 선택하고 '사용자 추가'를 클릭하세요.
• 사용자 이름을 입력하세요.
• 이전에 생성한 IAM 역할을 할당합니다.
• '정책' 설정 없음
• "홈 디렉터리" 필드에 이전에 생성한 S3 버킷의 이름인 bucket-example-transfer를 입력합니다.
• '사용자 추가'를 클릭하세요.

이 문서를 따르려면 aws_example_ssh_key.pub 시작 시 생성된 공개 키를 제공해야 합니다.

공개 키의 내용을 보려면 다음 명령을 사용하세요.

$ cat aws_example_ssh_key.pub

공개 키는 다음과 같습니다.

ssh-keygen -t rsa -b 4096 -f <path>/aws_example_ssh_key
Generating public/private rsa key pair.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in <path>/aws_example_ssh_key
Your public key has been saved in <path>/aws_example_ssh_key.pub
The key fingerprint is:
SHA256:P80TXbp10tjdzJLc3KAhtWP9YWQe+A181WvqUQyaTFc rodrigoquispe@0WJMD6M
The key's randomart image is:
+---[RSA 4096]----+
|            ..oE+|
|           o ** +|
|          + O **+|
|           * *.^*|
|        S   o % #|
|         . o + =.|
|          o = o  |
|           . o   |
|                 |
+----[SHA256]-----+
</path></path></path>

이것이 "SSH 공개 키" 필드에 포함해야 하는 키입니다. 서버에 안전하게 액세스하려면 전체 키를 이 필드에 정확하게 복사하여 붙여넣어야 합니다.

사용자를 생성한 후 아래와 비슷한 확인 화면이 표시됩니다. 이는 사용자가 성공적으로 설정되었으며 SFTP 서비스를 사용할 준비가 되었음을 나타냅니다.

프로젝트 구조

아래에서는 Golang 프로젝트 구조에 대한 자세한 개요를 제공하고 참조용 GitHub 저장소 링크를 포함합니다. 이 개요는 프로젝트의 구성과 다양한 구성 요소의 구조 및 상호 연결 방식을 이해하는 데 도움이 됩니다.

ssh-rsa AAAAB3NzaC1yc2EBBAADAQABAAACAQC/qNMJaCz8+I3G71bTFf8Cpe+AAAA0BBBBBBBA6C+/a8fyl9Dw4wjj0huc4ItlX2auKG3skxTYP1ZgO5/7M7xmp2Hf+AAAA0BBBBBBBA6CynWwfwkS5XEIfNtoNWCSeB6ra4anljFdLJH4ZReOM18xxBZCyz2gGA7ePprM0nfpgoQKjp8eDoz6HFcvH4Qynea06W72D+tUWjCRH6bgPBsw/cCfj+VrcqsQXif/X8nViS679+V+AAAA0BBBBBBBA6C+t/5dD3uFPyc8yJn2fNEHB4kfIB9JR5fPIo4dVqPebloPg9vKT2M+AAAA0BBBBBBBA6C/AAAA0BBBBBBBA6C+XLTJSAljgq9JQ4l3vnT4RSsKuK+DX2um5DsN/Zwk9Qwf8JRJey/AAAA0BBBBBBBA6C+/AAAA0BBBBBBBA6CNkVaeDOYSIeGkMBUmmMaeVNeaR967SBLoHNzBfodKKaIpsmW2yHvIitg/YKu2YXKe/DnYU3G8om13uL8qIOB85CugVQ== rodrigoquispe@AAAA0BBBBBBBA6C

우리가 사용할 종속성은 Gin과 SFTP입니다.

├── cmd
│   └── main.go
├── go.mod
├── go.sum
└── internal
    ├── app
    │   └── service.go
    ├── domain
    │   └── models.go
    ├── handler
    │   └── sftp_handler.go
    └── infra
        ├── config.go
        └── sftp_client.go

SFTP 서버에 연결하려면 개인 키와 Transfer Family 사용자 자격 증명이 있는 config.go 파일에 다음 자격 증명을 설정하세요.

$ go get -u github.com/gin-gonic/gin
$ go get -u github.com/pkg/sftp

• 호스트: 앞서 얻은 연결 끝점입니다.
• 포트: 22
• 사용자: 앞서 생성한 사용자 이름입니다.
• PrivateKeyPath: 앞서 생성한 개인 키의 경로입니다.

또한 SFTP 서버에 업로드된 파일이 저장될 경로를 설정하는 것도 고려해 보세요. 제 경우에는 /bucket-example-transfer/rodrigo 입니다.

// config.go

func LoadConfig() *Config {
    return &Config{
        Host:           "<host>.server.transfer.us-east-1.amazonaws.com",
    Port:           "<port>",
    User:           "<user>",
    PrivateKeyPath: "<path>/aws_example_ssh_key",
    }
}
</path></user></port></host>

주어진 구성으로 새 SFTP 클라이언트를 생성하는 기능:

// service.go

func (u *Service) Upload(file *domain.File) error {
    return u.sftpClient.UploadFile(file, "/bucket-example-transfer/rodrigo/")
}

SFTP 서버에 파일을 업로드하는 방법

ssh-keygen -t rsa -b 4096 -f <path>/aws_example_ssh_key
Generating public/private rsa key pair.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in <path>/aws_example_ssh_key
Your public key has been saved in <path>/aws_example_ssh_key.pub
The key fingerprint is:
SHA256:P80TXbp10tjdzJLc3KAhtWP9YWQe+A181WvqUQyaTFc rodrigoquispe@0WJMD6M
The key's randomart image is:
+---[RSA 4096]----+
|            ..oE+|
|           o ** +|
|          + O **+|
|           * *.^*|
|        S   o % #|
|         . o + =.|
|          o = o  |
|           . o   |
|                 |
+----[SHA256]-----+
</path></path></path>

다음 명령을 사용하여 프로젝트를 실행하세요.

$ cmd/main.go를 실행하세요

이제 Postman을 사용하여 SFTP 서버에 파일을 업로드합니다. 그런 다음 S3로 이동하여 파일이 올바르게 업로드되었는지 확인합니다.

문제 없이 파일이 성공적으로 업로드되었습니다.

읽어주셔서 감사합니다.

위 내용은 파일 전송을 위한 Golang이 포함된 AWS Transfer 제품군의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!