TPU lwn. GPU: Perbezaan perbandingan dalam prestasi dan kelajuan dalam senario sebenar
- 王林ke hadapan
- 2023-04-25 16:34:085898semak imbas
Dalam artikel ini, kami akan melakukan perbandingan TPU vs GPU. Tetapi sebelum kita menyelam, inilah yang anda perlu tahu.
Pembelajaran mesin dan teknologi kecerdasan buatan mempercepatkan pembangunan aplikasi pintar. Untuk tujuan ini, syarikat semikonduktor terus mencipta pemecut dan pemproses, termasuk TPU dan CPU, untuk mengendalikan aplikasi yang lebih kompleks.
Sesetengah pengguna menghadapi masalah memahami apabila TPU disyorkan dan apabila GPU digunakan untuk menyelesaikan tugas komputer mereka.
GPU, juga dikenali sebagai Unit Pemprosesan Grafik, ialah kad video PC anda yang memberikan anda pengalaman PC visual dan mengasyikkan. Contohnya, jika PC anda tidak mengesan GPU, anda boleh mengikuti langkah mudah.
Untuk lebih memahami situasi ini, kami juga perlu menjelaskan apa itu TPU dan cara ia dibandingkan dengan GPU.
Apakah itu TPU?
TPU atau Unit Pemprosesan Tensor ialah Litar Bersepadu Khusus Aplikasi (IC), juga dikenali sebagai ASIC (Litar Bersepadu Khusus Aplikasi), yang digunakan untuk aplikasi tertentu. Google mencipta TPU dari awal, mula menggunakannya pada tahun 2015, dan menyediakannya kepada orang ramai pada tahun 2018.
TPU tersedia sebagai versi cip kecil atau awan. Untuk mempercepat pembelajaran mesin rangkaian saraf menggunakan perisian TensorFlow, TPU awan menyelesaikan operasi matriks dan vektor yang kompleks pada kelajuan yang sangat tinggi.
Dengan TensorFlow, pasukan Google Brain telah membangunkan platform pembelajaran mesin sumber terbuka yang membolehkan penyelidik, pembangun dan perusahaan membina dan mengendalikan model AI menggunakan perkakasan Cloud TPU.
TPU mengurangkan masa kepada nilai yang tepat apabila melatih model rangkaian saraf yang kompleks dan teguh. Ini bermakna melatih model pembelajaran mendalam yang mungkin mengambil masa berminggu-minggu mengambil sebahagian kecil daripada masa itu menggunakan GPU.
Adakah TPU dan GPU adalah sama?
Ia sangat berbeza dari segi seni bina. Unit pemprosesan grafik adalah pemproses dengan haknya sendiri, walaupun ia disalurkan ke dalam pengaturcaraan berangka vektor. GPU sebenarnya ialah superkomputer Cray generasi seterusnya.
TPU ialah coprocessor yang tidak melaksanakan arahan itu sendiri;
Bilakah saya harus menggunakan TPU?
TPU dalam awan disesuaikan untuk aplikasi tertentu. Dalam sesetengah kes, anda mungkin lebih suka menggunakan GPU atau CPU untuk melaksanakan tugas pembelajaran mesin. Secara umum, prinsip berikut boleh membantu anda menilai sama ada TPU ialah pilihan terbaik untuk beban kerja anda:
- Pengiraan matriks mendominasi model
- Dalam gelung latihan utama model, terdapat tiada operasi TensorFlow tersuai
- Ia adalah model yang dilatih selama beberapa minggu atau bulan
- Ia adalah model besar dengan saiz kelompok yang luas dan berkesan.
Sekarang mari kita terus ke perbandingan TPU vs GPU.
Apakah perbezaan antara GPU dan TPU?
TPU lwn GPU Architecture
TPU bukanlah perkakasan yang sangat kompleks dan terasa seperti enjin pemprosesan isyarat untuk aplikasi radar dan bukannya seni bina terbitan X86 tradisional.
Walaupun terdapat banyak pendaraban dan pembahagian matriks, ia lebih seperti coprocessor daripada GPU; ia hanya melaksanakan arahan yang diterima oleh hos.
Oleh kerana terdapat banyak pemberat untuk dimasukkan ke dalam komponen pendaraban matriks, DRAM TPU berjalan selari sebagai satu unit.
Selain itu, memandangkan TPU hanya boleh melaksanakan operasi matriks, papan TPU disambungkan kepada sistem hos berasaskan CPU untuk menyelesaikan tugas yang tidak dapat dikendalikan oleh TPU.
Hos bertanggungjawab untuk memindahkan data ke TPU, prapemprosesan dan mendapatkan butiran daripada storan awan.
GPU lebih mementingkan mempunyai teras yang tersedia untuk aplikasi berfungsi daripada mengakses cache kependaman rendah.
Banyak PC (kelompok pemproses) dengan berbilang SM (Streaming Multiprocessors) menjadi alat GPU tunggal, setiap satu mengandungi lapisan cache arahan tahap pertama dan teras yang disertakan.
SM biasanya menggunakan dua lapisan kongsi cache dan satu lapisan peribadi cache sebelum mengambil data daripada memori GDDR-5 global. Seni bina GPU boleh bertolak ansur dengan kependaman memori.
GPU beroperasi dengan bilangan minimum tahap cache memori. Walau bagaimanapun, memandangkan GPU mempunyai lebih banyak transistor khusus untuk pemprosesan, ia kurang mengambil berat tentang masa yang diperlukan untuk mengakses data dalam ingatan.
Oleh kerana GPU sentiasa diduduki oleh pengiraan yang mencukupi, kemungkinan kelewatan akses memori disembunyikan.
TPU lwn. Kelajuan GPU
TPU asal ini menjana inferens disasarkan menggunakan model yang dipelajari dan bukannya model terlatih.
TPU adalah 15 hingga 30 kali lebih pantas daripada GPU dan CPU semasa pada aplikasi AI komersial menggunakan inferens rangkaian saraf.
Selain itu, TPU sangat cekap tenaga, dengan nilai TOPS/Watt ditingkatkan sebanyak 30 hingga 80 kali ganda.
Jadi apabila melakukan perbandingan kelajuan TPU vs GPU, kemungkinan disusun memihak kepada Unit Pemprosesan Tensor.
TPU lwn Prestasi GPU
TPU ialah mesin pemprosesan tensor yang direka untuk mempercepatkan pengiraan graf Tensorflow.
Setiap TPU menyampaikan sehingga 64 GB memori lebar jalur tinggi dan 180 teraflop prestasi titik terapung pada satu papan.
Perbandingan antara GPU Nvidia dan TPU ditunjukkan di bawah. Paksi-Y mewakili bilangan foto sesaat, manakala paksi-X mewakili pelbagai model.
TPU vs. Pembelajaran Mesin GPU
Berikut ialah masa latihan untuk CPU dan GPU menggunakan saiz kelompok yang berbeza dan setiap lelaran Epoch:
- Bilangan lelaran/zaman: 100, saiz kelompok: 1000, jumlah zaman: 25, parameter: 1.84 M, jenis model: Keras Mobilenet V1 (alfa 0.75).
| 加速器 | GPU (英伟达 K80) | 热塑性聚氨酯 |
| 训练准确率 (%) | 96.5 | 94.1 |
| 验证准确率 (%) | 65.1 | 68.6 |
| 每次迭代的时间（毫秒） | 69 | 173 |
| 每个时代的时间 (s) | 69 | 173 |
| 总时间（分钟） | 30 | 72 |
- Lelaran/zaman: 1000, Saiz kelompok: 100, Jumlah zaman: 25, Parameter: 1.84 M, dan Jenis Model: Keras Mobilenet V1 ( alfa 0.75)
| 加速器 | GPU (英伟达 K80) | 热塑性聚氨酯 |
| 训练准确率 (%) | 97.4 | 96.9 |
| 验证准确率 (%) | 45.2 | 45.3 |
| 每次迭代的时间（毫秒） | 185 | 252 |
| 每个时代的时间 (s) | 18 | 25 |
| 总时间（分钟） | 16 | 21 |
Seperti yang dapat dilihat dari masa latihan, TPU memerlukan masa latihan yang lebih lama dengan saiz kelompok yang lebih kecil. Walau bagaimanapun, apabila saiz kelompok meningkat, prestasi TPU menjadi lebih hampir dengan GPU.
Jadi apabila melakukan perbandingan latihan TPU vs GPU, banyak yang berkaitan dengan zaman dan saiz kelompok.
TPU lwn. Penanda Aras GPU
Dengan 0.5 Watts/TOPS, satu Edge TPU boleh melakukan 4 trilion operasi sesaat. Terdapat beberapa pembolehubah yang mempengaruhi sejauh mana ini diterjemahkan ke dalam prestasi aplikasi.
Model rangkaian saraf mempunyai keperluan yang berbeza dan output keseluruhan bergantung pada kelajuan USB hos peranti pemecut USB, CPU dan sumber sistem lain.
Dengan mengambil kira perkara ini, graf di bawah membandingkan masa yang diambil untuk melakukan satu inferens pada Edge TPU menggunakan pelbagai model standard. Sudah tentu, untuk tujuan perbandingan, semua model yang dijalankan adalah versi TensorFlow Lite.
Sila ambil perhatian bahawa data yang diberikan di atas menunjukkan masa yang diperlukan untuk menjalankan model. Walau bagaimanapun, ia tidak termasuk masa yang diperlukan untuk memproses data input, yang berbeza mengikut aplikasi dan sistem.
Bandingkan hasil penanda aras GPU dengan tetapan dan resolusi kualiti permainan yang dijangkakan pengguna.
Berdasarkan penilaian terhadap lebih 70,000 penanda aras, kami telah membina algoritma yang canggih dengan teliti untuk menghasilkan anggaran prestasi permainan yang boleh dipercayai sebanyak 90%.
Walaupun prestasi kad grafik berbeza dari satu permainan ke satu permainan, carta perbandingan di bawah memberikan indeks penilaian yang luas untuk sesetengah kad grafik.
Harga TPU lwn GPU
Mereka mempunyai perbezaan harga yang besar. TPU berharga lima kali lebih tinggi daripada GPU. Berikut ialah beberapa contoh:
- Nvidia Tesla P100 GPU $1.46 sejam
- Google TPU v3 $8.00 sejam
- TPUv2 dengan akses atas permintaan GCP $8.00 sejam $4.50
Jika pengoptimuman kos adalah matlamat anda, anda harus memilih TPU hanya jika ia boleh melatih model 5 kali lebih pantas daripada GPU.
Apakah perbezaan antara CPU, GPU dan TPU?
Perbezaan antara TPU, GPU dan CPU ialah CPU ialah pemproses tujuan bukan khusus yang mengendalikan semua pengiraan, logik, input dan output komputer.
GPU pula ialah pemproses tambahan yang digunakan untuk menambah baik Antara Muka Grafik (GI) dan melakukan aktiviti mewah. TPU ialah pemproses yang dibina khas yang digunakan untuk melaksanakan projek yang dibangunkan menggunakan rangka kerja tertentu seperti TensorFlow.
Kami mengkategorikannya seperti berikut:
- Unit Pemprosesan Pusat (CPU) – Mengawal semua aspek komputer anda
- Unit Pemprosesan Grafik (GPU) – Meningkatkan komputer anda Prestasi grafik
- Unit Pemprosesan Tensor (TPU) – ASIC direka khusus untuk projek TensorFlow
Adakah NVIDIA membuat TPU?
Ramai yang tertanya-tanya bagaimana NVIDIA akan bertindak balas terhadap TPU Google, tetapi kini kami mempunyai jawapannya.
Daripada bimbang, NVIDIA telah berjaya meletakkan semula TPU sebagai alat yang boleh digunakan apabila ia masuk akal, tetapi masih mengekalkan perisian CUDA dan GPUnya di hadapan.
Ia mengekalkan titik kawalan untuk penggunaan pembelajaran mesin IoT dengan menjadikan teknologi sumber terbuka. Walau bagaimanapun, bahaya dengan pendekatan ini ialah ia boleh memaklumkan konsep yang boleh mencabar matlamat jangka panjang NVIDIA untuk enjin inferens pusat data.
Adakah GPU atau TPU lebih baik?
Ringkasnya, kita mesti mengatakan bahawa walaupun terdapat kos tambahan untuk membangunkan algoritma yang menggunakan TPU dengan cekap, kos latihan yang dikurangkan selalunya melebihi perbelanjaan pengaturcaraan tambahan.
Sebab lain untuk memilih TPU termasuk fakta bahawa v3-128 8 mempunyai lebih G memori video berbanding GPU Nvidia, menjadikan v3-8 pilihan yang lebih baik untuk memproses set data besar yang berkaitan dengan NLU dan NLP.
Kelajuan yang lebih tinggi juga boleh membawa kepada lelaran yang lebih pantas dalam kitaran pembangunan, membawa kepada inovasi yang lebih pantas dan lebih kerap, meningkatkan kemungkinan kejayaan pasaran.
TPU mengatasi prestasi GPU dalam kelajuan inovasi, kemudahan penggunaan dan keterjangkauan; pengguna dan arkitek awan harus mempertimbangkan TPU dalam rancangan ML dan AI mereka.
TPU Google mempunyai kuasa pemprosesan yang mencukupi yang pengguna mesti menyelaraskan input data untuk memastikan ia tidak terlebih muatan.
Dengan itu, jumlah perbandingan TPU lwn GPU. Kami ingin mengetahui pendapat anda, lihat jika anda telah melakukan sebarang ujian dan hasil yang anda terima pada TPU dan GPU.
Ingat, anda boleh menikmati pengalaman PC yang mengasyikkan dengan mana-mana kad grafik terbaik untuk Windows 11.
Atas ialah kandungan terperinci TPU lwn. GPU: Perbezaan perbandingan dalam prestasi dan kelajuan dalam senario sebenar. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!