Dalam era model AI yang besar, pangkalan penyimpanan data baharu menggalakkan peralihan kecerdasan digital pendidikan, penyelidikan saintifik

Generative AI (AIGC) telah membuka era baharu kecerdasan buatan umum Persaingan di sekitar model besar adalah hebat Infrastruktur pengkomputeran adalah tumpuan utama persaingan, dan kebangkitan kuasa semakin menjadi konsensus industri.

Dalam era baharu, model besar beralih daripada modaliti tunggal kepada pelbagai mod, saiz parameter dan set data latihan berkembang dengan pesat, dan data tidak berstruktur yang besar memerlukan sokongan keupayaan beban campuran berprestasi tinggi pada masa yang sama, paradigma intensif data menjadi popular, dan senario aplikasi seperti pengkomputeran super dan pengkomputeran berprestasi tinggi (HPC) bergerak secara mendalam Pangkalan storan data sedia ada tidak lagi dapat memenuhi keperluan peningkatan berterusan.

Jika kuasa pengkomputeran, algoritma dan data adalah "troika" yang memacu pembangunan kecerdasan buatan, maka dalam konteks perubahan besar dalam persekitaran luaran, ketiga-tiganya perlu segera mendapatkan semula keseimbangan dinamik. Penambahbaikan "kuasa lembut" yang disebabkan oleh penambahbaikan model algoritma dan peningkatan "kuasa keras" yang disebabkan oleh pengoptimuman bekalan kuasa pengkomputeran memerlukan sokongan lanjut - "kapasiti" penghantaran data dan "kapasiti storan" data storan perlu dipertingkatkan sebagai sumber kuasa, pangkalan storan data baharu akan muncul daripada kepompong dan menjadi rama-rama dalam proses menghadapi pelbagai cabaran.

Senario aplikasi dengan keperluan yang kompleks dan terus berkembang adalah batu ujian terbaik untuk pangkalan storan data baharu. Dalam pengertian ini, industri pengajaran dan penyelidikan saintifik ialah wakil biasa: kuasa pengkomputeran dan data ialah elemen utama transformasi digital dalam bidang ini, dan pengkomputeran penyelidikan saintifik dengan integrasi disiplin adalah sama pentingnya dengan sokongan keputusan berasaskan data. Beralih daripada HPC kepada HPDA (Analisis Data Berprestasi Tinggi) merupakan langkah besar untuk meningkatkan kecekapan pengajaran dan penyelidikan saintifik, dan pemerkasaan AI boleh membantu menyelesaikan masalah yang mustahil, tidak tepat dan tidak praktikal untuk dikira pada masa lalu.

Pada Persidangan Kecerdasan Buatan Dunia 2023 yang diadakan baru-baru ini, storan pengedaran OceanStor Pacific Huawei membantu Universiti Jiao Tong Shanghai membina pangkalan storan HPC+AI yang dilancarkan secara rasmi Pangkalan data bersatu "Turn it over" akan diperluaskan sebanyak 25PB lagi tahun ini . Ia dijangka menjadi penanda aras baharu bagi transformasi pengajaran dan penyelidikan saintifik secara digital dan pintar, dan juga menetapkan satu pencapaian untuk perjalanan meneroka pangkalan baharu untuk penyimpanan data.

Evolusi perhubungan antara data dan kuasa pengkomputeran serta cabaran yang terhasil

Dengan transformasi digital beribu-ribu industri memasuki perairan dalam, dan ledakan terkoordinasi teknologi baru muncul seperti kecerdasan buatan dan data besar, hubungan antara data dan kuasa pengkomputeran sedang mengalami perubahan yang halus.

Bidang pendidikan dan penyelidikan saintifik berada di barisan hadapan ekonomi digital dan agak sensitif terhadap perubahan ini. Pada masa lalu, data perlu mengikut kuasa pengkomputeran. Untuk menangani penyelesaian berangka yang pantas bagi masalah saintifik dan kejuruteraan yang kompleks, komuniti pendidikan dan penyelidikan saintifik telah memberi lebih perhatian kepada cara membina kuasa pengkomputeran yang paling berkuasa untuk masa yang lama, manakala data hanya dianggap sebagai kemudahan sokongan untuk kuasa pengkomputeran.

Kini, "kuasa pengkomputeran berputar di sekitar data" secara beransur-ansur menjadi trend baharu. Kemunculan aplikasi baru muncul, pengembangan volum data, dan penonjolan isu keselamatan data telah memberikan penekanan yang lebih besar pada nilai data itu sendiri. Berdasarkan penemuan dalam AI, data besar dan teknologi lain, pengkomputeran besar tradisional berkembang menjadi pengkomputeran intensif data, dan pelbagai kuasa pengkomputeran heterogen perlu dibina di sekitar pangkalan storan data yang sama.

Lin Xinhua, timbalan pengarah Pusat Maklumat Rangkaian Universiti Jiao Tong Shanghai, percaya bahawa pembalikan penguasaan dalam data dan kuasa pengkomputeran bukan sahaja memberi peluang untuk membina platform superkomputer intensif data, tetapi juga membawa banyak cabaran baharu kepada pembinaan pangkalan storan data yang bersatu .

Pertama sekali, pertumbuhan data yang pesat telah meningkatkan permintaan untuk kapasiti storan dengan ketara. Menurut statistik, skala data platform "Jiaowosuan" telah berkembang pada kadar tahunan 7PB Jumlah data senario aplikasi seperti meteorologi dan oseanografi, penerokaan tenaga, penderiaan jauh satelit, penjujukan gen, mikroskop cryo-elektron, AI. pemanduan autonomi, pembuatan CAE, dan rendering animasi semuanya telah mencapai tahap Petabyte, bukan mudah untuk menggunakan infrastruktur data untuk menampung jumlah data yang begitu besar.

Kedua, perniagaan baharu sentiasa muncul dan memerlukan prestasi storan yang lebih tinggi. Percepatan proses generalisasi AI, terutamanya keluaran kelompok model besar dan pelbagai mod, menimbulkan cabaran teruk kepada prestasi IO. Dengan beratus-ratus terabait set data menjadi kebiasaan, pemprosesan bahasa semula jadi dan aplikasi berbilang modal telah mempercepatkan pertumbuhan volum data, dan akses cekap kepada set data latihan fail kecil memerlukan prestasi storan untuk mencapai tahap yang baharu.

Ketiga, storan berbilang kelompok dikongsi di seluruh kampus, dan aliran data antara kelompok heterogen boleh menyebabkan masalah seperti kehilangan data dan operasi yang perlahan. Platform "Jiaowosuan" menyediakan pelbagai kuasa pengkomputeran heterogen, termasuk kelompok ARM, kelompok X86 dan kelompok AI. Di antara banyak kluster, hanya dengan mencapai aliran data penuh dan integrasi data boleh nilai maksimum kuasa pengkomputeran dan data dikeluarkan.

Akhir sekali, dengan latihan cakera tempatan AI tradisional, bersama dengan analisis data serentak yang tinggi, adalah penting untuk memecahkan dinding IO. Kesesakan IO dalam proses pemindahan data berbilang sangat ketara - proses membaca dan menulis tradisional adalah panjang, memuatkan data melibatkan tiga migrasi data, dan pusat pemeriksaan juga melibatkan dua pemindahan data Kehilangan kecekapan yang disebabkan semasa proses ini tidak boleh diabaikan.

Laluan terobosan pangkalan data bersepadu bersatu storan teragih

Untuk menghadapi cabaran di atas, Shanghai Jiao Tong University dan Huawei Storage telah melancarkan kerjasama yang mendalam sejak 2019 untuk bersama-sama membina platform superkomputer intensif data "serahkan kepada saya". Bergantung pada pengumpulan mendalamnya dalam teknologi dan inovasi aplikasi, produk storan yang diedarkan OceanStor Pacific Huawei membantu "Pengiraan Tuowo" membina pangkalan data bersatu untuk menyokong pelbagai platform kuasa pengkomputeran heterogen di seluruh sekolah.

Membina pangkalan data bersepadu bersepadu yang diedarkan ialah satu-satunya cara untuk "Leave It To Me" untuk menerima aplikasi data yang baru muncul. Berdasarkan seni bina storan teragih berskala mendatar, kapasiti storan dan lebar jalur platform "Jiaowosuan" boleh dikembangkan atas permintaan. Yang pertama ialah pertumbuhan linear dalam kapasiti prestasi, dengan satu kelompok mencapai kapasiti tahap EB yang kedua ialah penggunaan perkakasan berketumpatan tinggi dan berkapasiti besar untuk menjimatkan ruang kabinet; penggunaan cakera dengan pemampatan berasaskan senario.

Difahamkan bahawa platform "Jiaowosuan" akan meningkat daripada kapasiti awal 2PB dan lebar jalur 6GB/s kepada kapasiti 20PB dan lebar jalur 60GB/s pada tahun 2020, dan akan diperluaskan kepada kapasiti 40PB dan lebar jalur 120GB/s pada tahun 2022. Ia adalah dijangka dilancarkan pada 2023 Kapasiti akan diperluaskan lagi sebanyak 25PB. Pada masa yang sama, storan pengedaran OceanStor Pacific Huawei mempunyai reka bentuk ketumpatan ultra tinggi 5U dan 120 slot cakera Digabungkan dengan algoritma perlindungan redundansi data EC berskala besar, ia boleh meningkatkan penggunaan ruang cakera keras kepada 91.6% semasa memenuhi. kebolehpercayaan yang tinggi.

Sokongan perkakasan semua denyar yang diedarkan ialah asas "serahkan kepada saya" untuk menyelesaikan masalah prestasi storan. Dengan bantuan Huawei OceanStor Pacific, platform "Turn it over" menggunakan pecutan perkakasan semua denyar untuk meningkatkan lebar jalur dan prestasi IOPS dengan ketara Setiap nod mempunyai 800,000 IOPS dan lebar jalur 20GB/S, yang boleh memenuhi keperluan prestasi tinggi di bawah. keadaan beban bercampur.

Pengurusan bersatu storan teragih global merentas kampus ialah cara yang baik untuk menyelesaikan masalah perkongsian storan berbilang kelompok. Dengan menggunakan sistem fail global untuk mengurus berbilang set storan merentas domain, platform "Jiaowosuan" membina pangkalan data bersatu merentas kampus Dengan sokongan produk storan teragih Huawei OceanStor Pacific, ia mencapai paparan fail global, pengurusan data dan Penjadualan. aliran data global, metadata penstriman bersatu dan pelbagai matlamat lain.

Pecutan analisis data, kebolehoperasian tanpa kehilangan akses berbilang protokol, dan kecekapan tinggi tanpa penempatan semula adalah alat berkuasa untuk "serahkan kepada saya" untuk memecahkan dinding IO. Berdasarkan penyelesaian storan berorientasikan AI Huawei dan keupayaan storan OceanStor Pacific Huawei yang diedarkan bagi "satu data, diakses oleh pelbagai protokol", platform "Turn it over" merealisasikan storan luaran untuk mengurangkan pemindahan data, meningkatkan kecekapan analisis dan menjimatkan storan. angkasa lepas.

Gambar masa depan HPDA+AI dalam era model besar

Melalui platform "Jiaowosuan" dan trajektori evolusi bekerja dengan Huawei Storage untuk mencipta pangkalan data bersepadu bersepadu teragih baharu, tidak sukar untuk melihat bahawa senario intensif data sedang mempercepatkan evolusi.

Dari HPC awal hingga HPDA kemudian, dan kemudian kepada simbiosis HPDA+AI, senario aplikasi dalam industri pengajaran dan penyelidikan saintifik terus diperkaya, dan permintaan untuk produk penyimpanan dan pangkalan data juga terus melonjak. Malah, pengajaran dan penyelidikan saintifik hanyalah puncak gunung ais dalam proses pendigitalan beribu-ribu industri Era penyimpanan data telah tiba.

Kedatangan era model besar akan membentuk semula infrastruktur IT, termasuk produk storan dengan gen AI baharu dijangka menjadi kegemaran baharu dalam peningkatan digital industri. Pada 14 Julai, persidangan pelancaran produk baharu penyimpanan AI Huawei dalam era model besar, dengan tema "Paradigma Data Baharu Melancarkan Momentum Baharu AI," akan diadakan dalam talian. Sama ada anda menggunakan AI dalam perusahaan anda atau membangunkan aplikasi dengan keupayaan AI, penyelesaian yang dikeluarkan kali ini akan menyediakan seni bina teknikal dan produk yang lebih baik untuk membantu anda mengikuti perkembangan zaman.

Pengertiran kecerdasan buatan telah bermula Pemimpin dalam industri storan telah mendahului dalam membunyikan panggilan yang jelas untuk dicaj.

Atas ialah kandungan terperinci Dalam era model AI yang besar, pangkalan penyimpanan data baharu menggalakkan peralihan kecerdasan digital pendidikan, penyelidikan saintifik. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!