搜尋
首頁科技週邊人工智慧最大化利用GPU效能的方法

加速人工智慧專案的預設方法是增加GPU叢集的規模。然而,由於GPU供應日益緊張,成本也越來越高。許多人工智慧公司將超過80%的籌集資本用於運算資源,這是可以理解的。 GPU是人工智慧基礎設施的關鍵,應該盡可能投入預算。然而,在這些高昂的成本之外,還有其他提高GPU效能的方法需要考慮,而且越來越迫切

最大化利用GPU效能的方法

擴展GPU集群並非易事,特別是在生成式人工智慧暴力擴張導致GPU短缺的情況下。 NVIDIA A100 GPU是受到影響的首批GPU之一,而且現在非常稀缺,有些版本的交付週期長達一年。這些供應鏈挑戰迫使許多人考慮將更高端的H100作為替代品,但很明顯會付出更高的價格。對於那些投資自己基礎設施、為其產業創造下一個偉大的生成式人工智慧解決方案的創業者來說,需要從現有GPU中榨取每一滴效率

讓我們來看看企業如何透過提議修改人工智慧基礎設施的網路和儲存設計,從中獲得更多的運算投資

資料問題

優化現有運算基礎設施的使用率是一個重要的方法。為了最大化GPU利用率,需要解決資料傳輸速度過慢的問題,以確保GPU保持高負載運作。有些用戶的GPU利用率僅20%,這是不可接受的。因此,人工智慧團隊正在尋找最佳途徑,以最大化人工智慧投資的回報

GPU是人工智慧的引擎。就像汽車引擎需要汽油才能運作一樣,GPU也需要數據來運算。如果限制了資料流,就會限制GPU的效能。如果GPU的工作效率只有50%,那麼人工智慧團隊的生產力就會下降,一個專案完成所需的時間會增加一倍,投資報酬率也會減半。因此,在基礎設施設計中,必須確保GPU能夠以最高效率運行,並提供預期的運算效能

需要注意的是,DGX A100和H100伺服器都有高達30 TB的內部儲存容量。然而,考慮到平均模型大小約為150 TB,這個容量對於大多數深度學習模型來說是不夠的。因此,需要額外的外部資料記憶體來為GPU提供資料

儲存效能

AI儲存通常由伺服器、NVMe SSD和儲存軟體組成,它們通常封裝在一個簡單的設備中。就像GPU被優化為與數以萬計的核心並行處理大量資料一樣,儲存也需要具備高效能。在人工智慧中,儲存的基本要求是能夠儲存整個資料集,並以線速(即網路允許的最快速度)將資料傳輸到GPU,以保持GPU的高效運作和飽和。任何不足都會導致對這些非常昂貴和有價值的GPU資源的浪費

透過交付資料與能夠跟上10或15台GPU伺服器叢集全速運行的速度,有助於優化GPU資源並提高整個環境的性能,同時盡可能充分利用預算,從整個基礎設施中獲得最大收益

事實上,挑戰在於,沒有針對AI進行優化的存儲供應商需要許多客戶端運算節點來從儲存中提取全部效能。如果從一個GPU伺服器開始,則反過來需要許多儲存節點才能達到該效能才能為單一GPU伺服器供應。

重寫後的內容:不要輕信所有的基準結果;當使用多個GPU伺服器時,可以輕鬆獲得更大的頻寬,但是人工智慧依賴於存儲,無論何時需要,它都會將所有效能提供給單一GPU節點。堅持使用能夠提供所需超高性能的存儲,但它可以在單個存儲節點中實現這一點,並且能夠將此性能提供給單個GPU節點。這可能會限制市場範圍,但在開始人工智慧專案之旅時,這是一個優先考慮的事項

網路頻寬

越來越強大的運算能力推動了對其他人工智慧基礎設施的需求不斷增加。頻寬需求已經達到了新的高度,能夠管理每秒從儲存設備透過網路發送並由GPU處理的大量資料。儲存設備中的網路介面卡(NIC)連接到網路中的交換機,這些交換機連接到GPU伺服器內部的適配器。 NIC可以在正確配置的情況下將儲存直接連接到1或2個GPU伺服器中的NIC,不會出現瓶頸,確保頻寬足夠高,可以將最大資料負載從儲存傳遞到GPU,使其在持續的時間內部保持飽和,這是關鍵,在許多情況下,未能做到這一點是我們看到GPU利用率較低的原因。

GPU編排

一旦基礎設施就位,GPU編排和分配工具將極大地幫助團隊更有效率地集結和分配資源,了解GPU的使用情況,提供更高層級的資源控制,減少瓶頸並提高使用率。只有在底層基礎設施能夠確保資料正確流動的情況下,這些工具才能如預期地完成所有這些任務

在人工智慧領域,資料是輸入的關鍵。因此,傳統企業閃存在用於企業關鍵任務應用程式(如庫存控制資料庫伺服器、電子郵件伺服器、備份伺服器)時,並非與人工智慧相關。這些解決方案是使用傳統協議構建的,儘管它們已被重新用於人工智慧,但這些傳統基礎限制了它們在GPU和AI工作負載方面的性能,推高了價格,並浪費了資金在過於昂貴和不必要的功能上

在當前全球GPU短缺的情況下,再加上人工智慧產業的快速發展,尋找最大限度提高GPU效能的方法變得前所未有的重要— —尤其是在短期內。隨著深度學習計畫的蓬勃發展,這些方法成為降低成本和提高產出的幾個關鍵途徑

以上是最大化利用GPU效能的方法的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:51CTO.COM。如有侵權,請聯絡admin@php.cn刪除
AI技能差距正在減慢供應鏈AI技能差距正在減慢供應鏈Apr 26, 2025 am 11:13 AM

經常使用“ AI-Ready勞動力”一詞,但是在供應鏈行業中確實意味著什麼? 供應鏈管理協會(ASCM)首席執行官安倍·埃什肯納齊(Abe Eshkenazi)表示,它表示能夠評論家的專業人員

一家公司如何悄悄地努力改變AI一家公司如何悄悄地努力改變AIApr 26, 2025 am 11:12 AM

分散的AI革命正在悄悄地獲得動力。 本週五在德克薩斯州奧斯汀,Bittensor最終遊戲峰會標誌著一個關鍵時刻,將分散的AI(DEAI)從理論轉變為實際應用。 與閃閃發光的廣告不同

NVIDIA釋放NEMO微服務以簡化AI代理開發NVIDIA釋放NEMO微服務以簡化AI代理開發Apr 26, 2025 am 11:11 AM

企業AI面臨數據集成挑戰 企業AI的應用面臨一項重大挑戰:構建能夠通過持續學習業務數據來保持準確性和實用性的系統。 NeMo微服務通過創建Nvidia所描述的“數據飛輪”來解決這個問題,允許AI系統通過持續接觸企業信息和用戶互動來保持相關性。 這個新推出的工具包包含五個關鍵微服務: NeMo Customizer 處理大型語言模型的微調,具有更高的訓練吞吐量。 NeMo Evaluator 提供針對自定義基準的AI模型簡化評估。 NeMo Guardrails 實施安全控制,以保持合規性和適當的

AI為藝術與設計的未來描繪了一幅新圖片AI為藝術與設計的未來描繪了一幅新圖片Apr 26, 2025 am 11:10 AM

AI:藝術與設計的未來畫卷 人工智能(AI)正以前所未有的方式改變藝術與設計領域,其影響已不僅限於業餘愛好者,更深刻地波及專業人士。 AI生成的藝術作品和設計方案正在迅速取代傳統的素材圖片和許多交易性設計活動中的設計師,例如廣告、社交媒體圖片生成和網頁設計。 然而,專業藝術家和設計師也發現AI的實用價值。他們將AI作為輔助工具,探索新的美學可能性,融合不同的風格,創造新穎的視覺效果。 AI幫助藝術家和設計師自動化重複性任務,提出不同的設計元素並提供創意輸入。 AI支持風格遷移,即將一種圖像的風格應用

Zoom如何徹底改變與Agent AI的合作:從會議到里程碑Zoom如何徹底改變與Agent AI的合作:從會議到里程碑Apr 26, 2025 am 11:09 AM

Zoom最初以其視頻會議平台而聞名,它通過創新使用Agentic AI來引領工作場所革命。 最近與Zoom的CTO XD黃的對話揭示了該公司雄心勃勃的願景。 定義代理AI 黃d

對大學的存在威脅對大學的存在威脅Apr 26, 2025 am 11:08 AM

AI會徹底改變教育嗎? 這個問題是促使教育者和利益相關者的認真反思。 AI融入教育既提出了機遇和挑戰。 正如科技Edvocate的馬修·林奇(Matthew Lynch)所指出的那樣

原型:美國科學家正在國外尋找工作原型:美國科學家正在國外尋找工作Apr 26, 2025 am 11:07 AM

美國科學研究和技術發展或將面臨挑戰,這或許是由於預算削減導致的。據《自然》雜誌報導,2025年1月至3月期間,美國科學家申請海外工作的數量比2024年同期增加了32%。此前一項民意調查顯示,75%的受訪研究人員正在考慮前往歐洲和加拿大尋找工作。 過去幾個月,數百項NIH和NSF的撥款被終止,NIH今年的新撥款減少了約23億美元,下降幅度接近三分之一。洩露的預算提案顯示,特朗普政府正在考慮大幅削減科學機構的預算,削減幅度可能高達50%。 基礎研究領域的動盪也影響了美國的一大優勢:吸引海外人才。 35

所有有關打開AI最新的GPT 4.1家庭的信息 - 分析Vidhya所有有關打開AI最新的GPT 4.1家庭的信息 - 分析VidhyaApr 26, 2025 am 10:19 AM

Openai推出了強大的GPT-4.1系列:一個專為現實世界應用設計的三種高級語言模型家族。 這種巨大的飛躍提供了更快的響應時間,增強的理解和大幅降低了成本

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

PhpStorm Mac 版本

PhpStorm Mac 版本

最新(2018.2.1 )專業的PHP整合開發工具

mPDF

mPDF

mPDF是一個PHP庫,可以從UTF-8編碼的HTML產生PDF檔案。原作者Ian Back編寫mPDF以從他的網站上「即時」輸出PDF文件,並處理不同的語言。與原始腳本如HTML2FPDF相比,它的速度較慢,並且在使用Unicode字體時產生的檔案較大,但支援CSS樣式等,並進行了大量增強。支援幾乎所有語言,包括RTL(阿拉伯語和希伯來語)和CJK(中日韓)。支援嵌套的區塊級元素(如P、DIV),

MinGW - Minimalist GNU for Windows

MinGW - Minimalist GNU for Windows

這個專案正在遷移到osdn.net/projects/mingw的過程中,你可以繼續在那裡關注我們。 MinGW:GNU編譯器集合(GCC)的本機Windows移植版本,可自由分發的導入函式庫和用於建置本機Windows應用程式的頭檔;包括對MSVC執行時間的擴展,以支援C99功能。 MinGW的所有軟體都可以在64位元Windows平台上運作。

MantisBT

MantisBT

Mantis是一個易於部署的基於Web的缺陷追蹤工具,用於幫助產品缺陷追蹤。它需要PHP、MySQL和一個Web伺服器。請查看我們的演示和託管服務。

EditPlus 中文破解版

EditPlus 中文破解版

體積小,語法高亮,不支援程式碼提示功能