Keluarga Pemindahan AWS dengan Golang untuk Pemindahan Fail

Dalam dunia teknologi moden, pemindahan fail yang selamat dan cekap adalah keperluan kritikal bagi banyak organisasi. AWS Transfer Family, penyelesaian pemindahan fail selamat terurus yang ditawarkan oleh Amazon Web Services, membenarkan pemindahan fail menggunakan protokol standard seperti SFTP, FTPS, FTP dan AS2. Apabila digabungkan dengan Golang, bahasa pengaturcaraan yang terkenal dengan kecekapan dan kemudahan penggunaannya, gabungan yang berkuasa dicipta untuk mengurus dan mengautomasikan pemindahan fail dengan berkesan.

Dalam artikel ini, kami akan meneroka cara mengintegrasikan AWS Transfer Family dengan Golang untuk mengoptimumkan proses pemindahan fail anda. Daripada mengkonfigurasi AWS Transfer Family kepada melaksanakan klien SFTP dengan Golang, saya akan membimbing anda langkah demi langkah supaya anda boleh memanfaatkan sepenuhnya teknologi ini.

Apakah AWS Transfer Family?

AWS Transfer Family ialah perkhidmatan yang selamat dan terurus sepenuhnya yang membenarkan pemindahan fail masuk dan keluar daripada perkhidmatan storan AWS seperti Amazon S3 dan Amazon EFS menggunakan protokol seperti SFTP, AS2, FTPS dan FTP.

Ciri-ciri Utama

• Protokol Disokong: SFTP, FTPS, FTP, AS2
• Integrasi Storan AWS: Amazon S3, Amazon EFS
• Kes Penggunaan: Tasik data, pemindahan dalaman, pengedaran data, aliran kerja pematuhan, logistik rantaian bekalan, transaksi B2B.

Faedah

• Skala masa nyata.
• Tidak perlu pengurusan infrastruktur.
• Manfaatkan perkhidmatan AWS asli untuk pemprosesan data dan analitis.
• Perkhidmatan aliran kerja tanpa pelayan yang diurus sepenuhnya.
• Harga bayar semasa anda pergi.

Prasyarat

• Akaun AWS: Akaun Perkhidmatan Web Amazon yang aktif. Jika anda belum mempunyai satu lagi, anda boleh mendaftar di tapak web AWS.
• Golang: Pengetahuan tentang bahasa pengaturcaraan Go (Golang).
• Keistimewaan Pentadbiran dalam AWS.
• Keluarga Pemindahan AWS: Keizinan baca dan tulis pentadbiran untuk mengkonfigurasi dan mengurus Keluarga Pemindahan AWS. Ini termasuk keupayaan untuk mencipta dan mengurus pelayan pemindahan. Ambil perhatian bahawa perkhidmatan ini mempunyai kos yang berkaitan.
• Amazon S3: Kebenaran pentadbiran untuk membaca dan menulis ke baldi Amazon S3.
• AWS IAM: Kebenaran untuk mengurus peranan dan dasar IAM yang diperlukan untuk penyepaduan dan keselamatan pemindahan.

Reka Bentuk Seni Bina

Reka bentuk seni bina yang dicadangkan untuk menyepadukan Keluarga Pemindahan AWS dengan Golang terdiri daripada komponen berikut, seperti yang digambarkan dalam rajah di bawah:

API yang dicadangkan dalam artikel ini berfungsi sebagai contoh asas untuk menunjukkan kefungsian asasnya. Dalam senario dunia sebenar, API boleh menjadi lebih kompleks dan termasuk ciri tambahan. Fungsi utamanya ialah untuk memuat naik fail ke pelayan AWS Transfer Family SFTP dan menyimpannya dalam baldi S3, sama ada untuk tujuan sandaran atau penyepaduan dengan sistem lain. Kes penggunaan berbeza-beza dan bergantung pada keperluan setiap organisasi. Berikut ialah beberapa contoh kes penggunaan tambahan: AWS Transfer Family Customers.

Selain itu, API yang dicadangkan dalam artikel ini boleh digunakan ke awan AWS menggunakan perkhidmatan seperti AWS Elastic Beanstalk atau AWS Fargate untuk mencapai kebolehskalaan dan ketersediaan yang lebih besar, bergantung pada keperluan khusus setiap organisasi.

Jom mulakan!

Perlaksanaan

Hasilkan kunci awam dan peribadi

Jana pasangan kunci awam dan peribadi untuk menyambung ke pelayan AWS Transfer Family SFTP. Ini boleh dilakukan secara tempatan pada mesin kami menggunakan arahan berikut.

$ ssh-keygen -t rsa -b 4096 -f /aws_example_ssh_key

• aws_example_ssh_key: Nama kunci
• LALUAN: Direktori tempat kunci akan disimpan
• rsa: Algoritma penyulitan
• 4096: Saiz kunci
• f: Nama fail keluaran

ssh-keygen -t rsa -b 4096 -f <path>/aws_example_ssh_key
Generating public/private rsa key pair.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in <path>/aws_example_ssh_key
Your public key has been saved in <path>/aws_example_ssh_key.pub
The key fingerprint is:
SHA256:P80TXbp10tjdzJLc3KAhtWP9YWQe+A181WvqUQyaTFc rodrigoquispe@0WJMD6M
The key's randomart image is:
+---[RSA 4096]----+
|            ..oE+|
|           o ** +|
|          + O **+|
|           * *.^*|
|        S   o % #|
|         . o + =.|
|          o = o  |
|           . o   |
|                 |
+----[SHA256]-----+
</path></path></path>

• Masukkan frasa laluan (kosong untuk tiada frasa laluan): Kata laluan untuk kunci.
• Masukkan frasa laluan yang sama sekali lagi: Sahkan kata laluan untuk kunci.
• Pengenalan anda telah disimpan dalam /aws_example_ssh_key: Kunci peribadi akan disimpan dalam fail aws_example_ssh_key dalam laluan yang ditentukan.
• Kunci awam anda telah disimpan dalam /aws_example_ssh_key.pub: Kunci awam akan disimpan dalam fail aws_example_ssh_key.pub dalam laluan yang ditentukan.

Buat Perkhidmatan Keluarga Pemindahan

Log masuk ke AWS Management Console dan pilih perkhidmatan AWS Transfer Family dan buat pelayan.

Pilih SFTP (SSH File Transfer Protocol) untuk pemindahan fail selamat dan klik Seterusnya.

Pilih pembekal identiti dan pilih "Perkhidmatan diurus."

Dalam konfigurasi titik akhir, pilih "Boleh diakses secara umum" dan klik Seterusnya.

Kami memilih "Amazon S3" sebagai pilihan storan dan klik Seterusnya.

Dalam bahagian "Konfigurasikan butiran tambahan", biarkan tetapan pada nilai lalainya.

Semak, klik Seterusnya dan buat.
Setelah penciptaan selesai, kita akan mempunyai sesuatu yang serupa dengan ini. Kami dapat melihat bahawa kami belum mempunyai mana-mana pengguna lagi dan ia akan bermula tidak lama lagi melalui titik akhir awam dan menggunakan S3 sebagai storan.

Buat peranan

Buat peranan baharu untuk keluarga pemindahan AWS ke perkhidmatan s3. Untuk melakukan ini, pergi ke perkhidmatan IAM dan cipta peranan baharu jenis perkhidmatan AWS dan dalam kes penggunaan pilih pemindahan dan seterusnya.

Dasar kebenaran, AmazonS3FullAccess untuk mempunyai akses penuh kepada baldi S3. Tetapi dasar ini sangat dibenarkan dan tidak disyorkan untuk menggunakannya dalam pengeluaran. Dan seterusnya.

Kami meneruskan untuk memberikan nama peranan "peranan-contoh-pindah-ke-s3", kami menyemak dan mengklik "Buat peranan".

Buat baldi S3

Kami meneruskan untuk mencipta baldi s3, untuk melakukan ini kami pergi ke perkhidmatan s3 dan mencipta baldi baharu.

Kami menetapkan nama baldi, meninggalkan konfigurasi lalai dan mencipta baldi.

Nama baldi: "pemindahan-contoh baldi".

Pada akhir penciptaan kita akan mempunyai sesuatu seperti ini:

Konfigurasikan pengguna SFTP untuk Keluarga Pemindahan dengan S3

Pergi ke perkhidmatan AWS Transfer Family dan pilih pelayan yang anda buat sebelum ini.

• Pilih tab "Pengguna" dan klik pada "Tambah pengguna".
• Masukkan nama pengguna.
• Tugaskan peranan IAM yang anda buat sebelum ini.
• Tetapkan "Dasar" tiada
• Dalam medan "Direktori rumah", masukkan bucket-example-transfer, iaitu nama baldi S3 yang anda buat sebelum ini.
• Klik pada "Tambah pengguna".

Untuk mengikuti artikel ini, anda perlu memberikan kunci awam yang dijana pada permulaan aws_example_ssh_key.pub.

Untuk melihat kandungan kunci awam, gunakan arahan berikut:

$ cat aws_example_ssh_key.pub

Kunci awam kelihatan seperti ini:

ssh-keygen -t rsa -b 4096 -f <path>/aws_example_ssh_key
Generating public/private rsa key pair.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in <path>/aws_example_ssh_key
Your public key has been saved in <path>/aws_example_ssh_key.pub
The key fingerprint is:
SHA256:P80TXbp10tjdzJLc3KAhtWP9YWQe+A181WvqUQyaTFc rodrigoquispe@0WJMD6M
The key's randomart image is:
+---[RSA 4096]----+
|            ..oE+|
|           o ** +|
|          + O **+|
|           * *.^*|
|        S   o % #|
|         . o + =.|
|          o = o  |
|           . o   |
|                 |
+----[SHA256]-----+
</path></path></path>

Ini adalah kunci yang perlu kami sertakan dalam medan "Kunci Awam SSH". Pastikan anda menyalin dan menampal keseluruhan kunci dengan tepat ke dalam medan ini untuk membolehkan akses selamat kepada pelayan.

Selepas membuat pengguna, anda seharusnya melihat skrin pengesahan yang serupa dengan skrin di bawah. Ini menunjukkan bahawa pengguna telah berjaya disediakan dan bersedia untuk menggunakan perkhidmatan SFTP.

Struktur projek

Di bawah, kami menyediakan gambaran keseluruhan terperinci tentang struktur projek Golang dan menyertakan pautan ke repositori GitHub untuk rujukan. Gambaran keseluruhan ini akan membantu anda memahami organisasi projek dan cara pelbagai komponen distruktur dan saling berkaitan.

ssh-rsa AAAAB3NzaC1yc2EBBAADAQABAAACAQC/qNMJaCz8+I3G71bTFf8Cpe+AAAA0BBBBBBBA6C+/a8fyl9Dw4wjj0huc4ItlX2auKG3skxTYP1ZgO5/7M7xmp2Hf+AAAA0BBBBBBBA6CynWwfwkS5XEIfNtoNWCSeB6ra4anljFdLJH4ZReOM18xxBZCyz2gGA7ePprM0nfpgoQKjp8eDoz6HFcvH4Qynea06W72D+tUWjCRH6bgPBsw/cCfj+VrcqsQXif/X8nViS679+V+AAAA0BBBBBBBA6C+t/5dD3uFPyc8yJn2fNEHB4kfIB9JR5fPIo4dVqPebloPg9vKT2M+AAAA0BBBBBBBA6C/AAAA0BBBBBBBA6C+XLTJSAljgq9JQ4l3vnT4RSsKuK+DX2um5DsN/Zwk9Qwf8JRJey/AAAA0BBBBBBBA6C+/AAAA0BBBBBBBA6CNkVaeDOYSIeGkMBUmmMaeVNeaR967SBLoHNzBfodKKaIpsmW2yHvIitg/YKu2YXKe/DnYU3G8om13uL8qIOB85CugVQ== rodrigoquispe@AAAA0BBBBBBBA6C

Kebergantungan yang akan kami gunakan ialah Gin dan SFTP.

├── cmd
│   └── main.go
├── go.mod
├── go.sum
└── internal
    ├── app
    │   └── service.go
    ├── domain
    │   └── models.go
    ├── handler
    │   └── sftp_handler.go
    └── infra
        ├── config.go
        └── sftp_client.go

Tetapkan bukti kelayakan berikut dalam fail config.go, di mana kunci peribadi dan bukti kelayakan pengguna Transfer Family berada, untuk menyambung ke pelayan SFTP.

$ go get -u github.com/gin-gonic/gin
$ go get -u github.com/pkg/sftp

• Hos: Titik akhir sambungan yang kami perolehi sebelum ini.
• Port: 22
• Pengguna: Nama pengguna yang kami buat sebelum ini.
• PrivateKeyPath: Laluan ke kunci peribadi yang kami buat sebelum ini.

Selain itu, pertimbangkan untuk menetapkan laluan di mana fail yang dimuat naik ke pelayan SFTP akan disimpan. Dalam kes saya, ia adalah /bucket-example-transfer/rodrigo.

// config.go

func LoadConfig() *Config {
    return &Config{
        Host:           "<host>.server.transfer.us-east-1.amazonaws.com",
    Port:           "<port>",
    User:           "<user>",
    PrivateKeyPath: "<path>/aws_example_ssh_key",
    }
}
</path></user></port></host>

Fungsi untuk mencipta klien SFTP baharu dengan konfigurasi yang diberikan:

// service.go

func (u *Service) Upload(file *domain.File) error {
    return u.sftpClient.UploadFile(file, "/bucket-example-transfer/rodrigo/")
}

Kaedah untuk memuat naik fail ke pelayan SFTP.

ssh-keygen -t rsa -b 4096 -f <path>/aws_example_ssh_key
Generating public/private rsa key pair.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in <path>/aws_example_ssh_key
Your public key has been saved in <path>/aws_example_ssh_key.pub
The key fingerprint is:
SHA256:P80TXbp10tjdzJLc3KAhtWP9YWQe+A181WvqUQyaTFc rodrigoquispe@0WJMD6M
The key's randomart image is:
+---[RSA 4096]----+
|            ..oE+|
|           o ** +|
|          + O **+|
|           * *.^*|
|        S   o % #|
|         . o + =.|
|          o = o  |
|           . o   |
|                 |
+----[SHA256]-----+
</path></path></path>

Jalankan projek menggunakan arahan berikut:

$ pergi jalankan cmd/main.go

Sekarang, kami memuat naik fail ke pelayan SFTP menggunakan Posman. Kemudian, kami menavigasi ke S3 untuk mengesahkan bahawa fail telah dimuat naik dengan betul.

Fail telah berjaya dimuat naik tanpa sebarang masalah.

Terima kasih kerana membaca.

Atas ialah kandungan terperinci Keluarga Pemindahan AWS dengan Golang untuk Pemindahan Fail. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!