Konsep Talian Paip

Takrifan yang paling mudah difahami daripada pengarang ialah beberapa proses yang berjalan serentak, yang setiap satunya adalah sebahagian daripada siri peringkat proses yang berkaitan antara satu sama lain.

Analoginya seperti ini: bayangkan aliran proses untuk autosandar pangkalan data rutin, di mana terdapat banyak pangkalan data untuk disandarkan. Untuk sandaran itu sendiri, kami menggunakan program go, bukan skrip shell. Mungkin dalam menggariskan beberapa siri peringkat proses yang akan dijalankan adalah seperti berikut.

1. Kami memerlukan senarai data semua pangkalan data yang mesti disandarkan, bersama dengan alamat akses dan bukti kelayakannya.
2. Kami menjalankan proses sandaran, sama ada secara berurutan (selepas db1, selesai, teruskan db2, teruskan db3, dsb.), atau selari (db1, db2, db3, dsb. proses sandaran dan lain-lain dijalankan serentak).
3. Dalam setiap proses sandaran pangkalan data, beberapa proses dijalankan

A. Lakukan operasi pembuangan pada pangkalan data, outputnya adalah dalam bentuk banyak fail yang disimpan ke folder.
B. Fail dump kemudiannya diarkibkan dalam format .zip atau .tar .gz (contohnya)
C. Fail arkib dihantar ke pelayan sandaran contohnya AWS S3.

Jika anda memberi perhatian kepada kes di atas, mungkin lebih baik dari segi prestasi jika proses sandaran untuk banyak pangkalan data dilakukan secara selari. dan dengan ini penulis bersetuju.

Dan adalah lebih baik jika proses untuk setiap proses sandaran pangkalan data, A, B dan C, dijalankan secara serentak, dengan menjadikan tiga proses (A, B, C) sebagai proses serentak, maka I/O akan menjadi lebih cekap. Kemudian, antara proses A, B dan C, pelaksanaan akan kekal berurutan (kerana ia mesti berjalan secara berurutan. Ia tidak dibenarkan jika, sebagai contoh, B dilaksanakan dahulu dan kemudian A); Walau bagaimanapun, goroutine yang akan bertanggungjawab untuk pelaksanaan proses A telah selesai. kita boleh meneruskan dengan pelaksanaan B (iaitu peringkat seterusnya proses A) ditambah pelaksanaan proses lain (pangkalan data lain); selari. Jadi goroutine yang mengendalikan A tidak menjadi terbiar.

Sila beri perhatian kepada visualisasi berikut. Lajur ialah perwakilan goroutine yang berjalan serentak. Tetapi kerana ketiga-tiga goroutine adalah satu siri proses, prosesnya sentiasa berurutan, manakala baris mewakili urutan.

Dalam Go, secara amnya proses dalam bentuk goroutine yang dijalankan adalah serentak, tetapi dalam aliran ia mesti berurutan, ia dipanggil saluran paip, jadi buat masa ini mari kita anggap bahawa saluran paip A adalah goroutine untuk proses A, saluran paip B ialah goroutine B dan seterusnya.

Untuk memudahkan pemahaman jadual, sila ikuti penjelasan berurutan:

1. Jujukan 1: Saluran Paip A akan melakukan proses pembuangan dari db1. pada masa yang sama, saluran paip B dan C adalah Terbiar. 2.Sequence2: proses db1 dumy telah selesai, kemudian diteruskan ke peringkat seterusnya iaitu proses achive db1 data dump yang dijalankan oleh pipeline B. dan pada masa yang sama pipeline A menjalankan proses dump db2. Saluran paip C masih melahu.
2. Jujukan 3: saluran paip A sedang menjalankan proses pembuangan db3. Pada masa yang sama, saluran paip B masih belum menjalankan proses pencapaian db2 yang telah dibuang kerana pengarkiban db1 masih belum selesai. Saluran paip masih melahu.
3. Jujukan 4: proses pengarkiban db1 selesai, kemudian teruskan ke peringkat seterusnya, iaitu menghantar arkib ke pelayan sandaran, yang prosesnya dikendalikan oleh saluran paip C. Pada masa yang sama, saluran paip B mula menjalankan db2 pengarkiban dump data dan saluran paip A lambakan
4. ... dan seterusnya.

Dalam contoh ini kita mengandaikan bahawa saluran paip A hanya mempunyai satu goroutine, saluran paip B juga mempunyai satu goroutine, dan begitu juga saluran paip C. Tetapi sebenarnya dalam pelaksanaan dunia sebenar boleh terdapat banyak goroutine untuk setiap saluran paip (banyak goroutine untuk saluran paip A, banyak gorouti untuk saluran paip B , banyak goroutine untuk saluran paip C).

Saya harap tulisan saya dapat menjelaskan. Walaupun tidak jelas, internet dibuka dengan sumber LAN.

Atas ialah kandungan terperinci Konsep Talian Paip. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!