AWS Transfer 系列与 Golang 用于文件传输

在现代技术世界中，安全高效的文件传输对于许多组织来说至关重要。 AWS Transfer Family 是 Amazon Web Services 提供的托管安全文件传输解决方案，允许使用 SFTP、FTPS、FTP 和 AS2 等标准协议进行文件传输。当与 Golang 这种以其高效和易用性而闻名的编程语言结合使用时，可以创建一个强大的组合来有效地管理和自动化文件传输。

在本文中，我们将探讨如何将 AWS Transfer Family 与 Golang 集成以优化您的文件传输流程。从配置 AWS Transfer Family 到使用 Golang 实施 SFTP 客户端，我将逐步指导您，以便您可以充分利用这些技术。

什么是 AWS Transfer 系列？

AWS Transfer Family 是一项安全、完全托管的服务，允许使用 SFTP、AS2、FTPS 和 FTP 等协议将文件传入和传出 AWS 存储服务（例如 Amazon S3 和 Amazon EFS）。

主要特点

• 支持的协议：SFTP、FTPS、FTP、AS2
• AWS 存储集成：Amazon S3、Amazon EFS
• 用例：数据湖、内部传输、数据分发、合规工作流程、供应链物流、B2B 交易。

好处

• 实时可扩展性。
• 无需基础设施管理。
• 利用原生 AWS 服务进行数据处理和分析。
• 完全托管的无服务器工作流程服务。
• 即用即付定价。

先决条件

• AWS 账户：活跃的 Amazon Web Services 账户。如果您还没有，您可以在 AWS 网站上注册。
• Golang：Go (Golang) 编程语言知识。
• AWS 中的管理权限。
• AWS Transfer Family：配置和管理 AWS Transfer Family 的管理读写权限。这包括创建和管理传输服务器的能力。请注意，此服务需要支付相关费用。
• Amazon S3：读取和写入 Amazon S3 存储桶的管理权限。
• AWS IAM：管理传输集成和安全所需的 IAM 角色和策略的权限。

建筑设计

将 AWS Transfer Family 与 Golang 集成的拟议架构设计由以下组件组成，如下图所示：

本文提出的 API 作为基本示例来演示其基本功能。在现实场景中，API 可能更复杂并包含其他功能。其主要功能是将文件上传到 AWS Transfer Family SFTP 服务器并将其存储在 S3 存储桶中，无论是出于备份目的还是与其他系统集成。用例各不相同，取决​​于每个组织的需求。以下是一些其他用例示例：AWS Transfer Family Customers。

此外，本文提出的 API 可以使用 AWS Elastic Beanstalk 或 AWS Fargate 等服务部署到 AWS 云，以实现更高的可扩展性和可用性，具体取决于每个组织的具体要求。

让我们开始吧！

执行

生成公钥和私钥

生成用于连接到 AWS Transfer Family SFTP 服务器的公钥和私钥对。这可以使用以下命令在我们的计算机上本地完成。

$ ssh-keygen -t rsa -b 4096 -f /aws_example_ssh_key

• aws_example_ssh_key：密钥名称
• PATH：保存密钥的目录
• rsa：加密算法
• 4096：密钥大小
• f：输出文件名

ssh-keygen -t rsa -b 4096 -f <path>/aws_example_ssh_key
Generating public/private rsa key pair.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in <path>/aws_example_ssh_key
Your public key has been saved in <path>/aws_example_ssh_key.pub
The key fingerprint is:
SHA256:P80TXbp10tjdzJLc3KAhtWP9YWQe+A181WvqUQyaTFc rodrigoquispe@0WJMD6M
The key's randomart image is:
+---[RSA 4096]----+
|            ..oE+|
|           o ** +|
|          + O **+|
|           * *.^*|
|        S   o % #|
|         . o + =.|
|          o = o  |
|           . o   |
|                 |
+----[SHA256]-----+
</path></path></path>

• 输入密码（无密码则为空）：密钥的密码。
• 再次输入相同的密码：确认密钥的密码。
• 您的标识已保存在 /aws_example_ssh_key 中：私钥将保存在指定路径下的 aws_example_ssh_key 文件中。
• 您的公钥已保存在 /aws_example_ssh_key.pub 中：公钥将保存在指定路径下的 aws_example_ssh_key.pub 文件中。

创建转移家庭服务

登录AWS管理控制台并选择AWS Transfer Family服务并创建服务器。

选择SFTP（SSH文件传输协议）进行安全文件传输，然后单击“下一步”。

选择身份提供商并选择“服务托管”。

在端点配置中，选择“公开访问”，然后单击“下一步”。

我们选择“Amazon S3”作为存储选项，然后单击“下一步”。

在“配置其他详细信息”部分中，将设置保留为默认值。

审核，单击“下一步”并创建。
创建完成后，我们将会得到类似这样的东西。我们可以看到我们还没有任何用户，它将很快通过公共端点启动并使用 S3 作为存储。

创建角色

为 AWS 传输系列到 s3 服务创建一个新角色。为此，请转到 IAM 服务并创建 AWS 服务类型的新角色，然后在用例中选择“传输”和“下一步”。

权限策略，AmazonS3FullAccess 拥有对 S3 存储桶的完全访问权限。但这个策略是非常允许的，不建议在生产中使用。接下来。

我们继续分配角色的名称“role-example-transfer-to-s3”，我们检查并单击“创建角色”。

创建S3存储桶

我们继续创建 s3 存储桶，为此，我们转到 s3 服务并创建一个新存储桶。

我们设置存储桶的名称，保留默认配置并创建存储桶。

存储桶名称：“bucket-example-transfer”。

在创建结束时，我们将得到如下内容：

使用 S3 为 Transfer Family 配置 SFTP 用户

转到 AWS Transfer Family 服务并选择您之前创建的服务器。

• 选择“用户”选项卡，然后单击“添加用户”。
• 输入用户名。
• 分配您之前创建的 IAM 角色。
• 将“政策”设置为无
• 在“主目录”字段中，输入bucket-example-transfer，这是您之前创建的 S3 存储桶的名称。
• 点击“添加用户”。

要阅读本文，您需要提供在启动 aws_example_ssh_key.pub 时生成的公钥。

要查看公钥的内容，请使用以下命令：

$ cat aws_example_ssh_key.pub

公钥如下所示：

ssh-keygen -t rsa -b 4096 -f <path>/aws_example_ssh_key
Generating public/private rsa key pair.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in <path>/aws_example_ssh_key
Your public key has been saved in <path>/aws_example_ssh_key.pub
The key fingerprint is:
SHA256:P80TXbp10tjdzJLc3KAhtWP9YWQe+A181WvqUQyaTFc rodrigoquispe@0WJMD6M
The key's randomart image is:
+---[RSA 4096]----+
|            ..oE+|
|           o ** +|
|          + O **+|
|           * *.^*|
|        S   o % #|
|         . o + =.|
|          o = o  |
|           . o   |
|                 |
+----[SHA256]-----+
</path></path></path>

这是我们需要包含在“SSH 公钥”字段中的密钥。确保将整个密钥准确复制并粘贴到此字段中，以实现对服务器的安全访问。

创建用户后，您应该会看到类似于下图的确认屏幕。这表明用户已成功设置并可以使用SFTP服务。

项目结构

下面，我们提供了 Golang 项目结构的详细概述，并包含 GitHub 存储库的链接以供参考。此概述将帮助您了解项目的组织以及各个组件的结构和互连方式。

ssh-rsa AAAAB3NzaC1yc2EBBAADAQABAAACAQC/qNMJaCz8+I3G71bTFf8Cpe+AAAA0BBBBBBBA6C+/a8fyl9Dw4wjj0huc4ItlX2auKG3skxTYP1ZgO5/7M7xmp2Hf+AAAA0BBBBBBBA6CynWwfwkS5XEIfNtoNWCSeB6ra4anljFdLJH4ZReOM18xxBZCyz2gGA7ePprM0nfpgoQKjp8eDoz6HFcvH4Qynea06W72D+tUWjCRH6bgPBsw/cCfj+VrcqsQXif/X8nViS679+V+AAAA0BBBBBBBA6C+t/5dD3uFPyc8yJn2fNEHB4kfIB9JR5fPIo4dVqPebloPg9vKT2M+AAAA0BBBBBBBA6C/AAAA0BBBBBBBA6C+XLTJSAljgq9JQ4l3vnT4RSsKuK+DX2um5DsN/Zwk9Qwf8JRJey/AAAA0BBBBBBBA6C+/AAAA0BBBBBBBA6CNkVaeDOYSIeGkMBUmmMaeVNeaR967SBLoHNzBfodKKaIpsmW2yHvIitg/YKu2YXKe/DnYU3G8om13uL8qIOB85CugVQ== rodrigoquispe@AAAA0BBBBBBBA6C

我们将使用的依赖项是 Gin 和 SFTP。

├── cmd
│   └── main.go
├── go.mod
├── go.sum
└── internal
    ├── app
    │   └── service.go
    ├── domain
    │   └── models.go
    ├── handler
    │   └── sftp_handler.go
    └── infra
        ├── config.go
        └── sftp_client.go

在私钥和 Transfer Family 用户凭据所在的 config.go 文件中设置以下凭据，以连接到 SFTP 服务器。

$ go get -u github.com/gin-gonic/gin
$ go get -u github.com/pkg/sftp

• Host：我们之前获得的连接端点。
• 端口：22
• 用户：我们之前创建的用户名。
• PrivateKeyPath：我们之前创建的私钥的路径。

此外，请考虑设置上传到 SFTP 服务器的文件的保存路径。就我而言，它是 /bucket-example-transfer/rodrigo。

// config.go

func LoadConfig() *Config {
    return &Config{
        Host:           "<host>.server.transfer.us-east-1.amazonaws.com",
    Port:           "<port>",
    User:           "<user>",
    PrivateKeyPath: "<path>/aws_example_ssh_key",
    }
}
</path></user></port></host>

使用给定配置创建新的 SFTP 客户端的函数：

// service.go

func (u *Service) Upload(file *domain.File) error {
    return u.sftpClient.UploadFile(file, "/bucket-example-transfer/rodrigo/")
}

上传文件到SFTP服务器的方法。

ssh-keygen -t rsa -b 4096 -f <path>/aws_example_ssh_key
Generating public/private rsa key pair.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in <path>/aws_example_ssh_key
Your public key has been saved in <path>/aws_example_ssh_key.pub
The key fingerprint is:
SHA256:P80TXbp10tjdzJLc3KAhtWP9YWQe+A181WvqUQyaTFc rodrigoquispe@0WJMD6M
The key's randomart image is:
+---[RSA 4096]----+
|            ..oE+|
|           o ** +|
|          + O **+|
|           * *.^*|
|        S   o % #|
|         . o + =.|
|          o = o  |
|           . o   |
|                 |
+----[SHA256]-----+
</path></path></path>

使用以下命令运行项目：

$ go run cmd/main.go

现在，我们使用 Postman 将文件上传到 SFTP 服务器。然后，我们导航到 S3 以验证文件是否已正确上传。

文件已成功上传，没有任何问题。

感谢您的阅读。

以上是AWS Transfer 系列与 Golang 用于文件传输的详细内容。更多信息请关注PHP中文网其他相关文章！