新型 AI 演算法亮相：功率降至常規配置 1/50，顯示佔用率降至 1/10

本站6 月27 日消息，美國加州大學聖克魯茲分校的研究團隊研究出新的方法，只需要13W 的功率（相當於一個現代LED 燈泡的功率），就能運行10 億參數規模的大語言模型。而作為對比，用於大語言模型任務的資料中心級 GPU 需要約 700W。

AI 浪潮下許多公司、機構的研究主方向是應用、推理方面，很少考慮效率等指標。該研究人員為緩解這種狀況，淘汰了矩陣乘法的密集技術，提出了「三元數」方案，只有負一、零或正一三個數值。

團隊還使用一種名為現場可編程閘陣列（FPGA）的高度客製化電路創建了定制硬件，讓他們能夠最大限度地利用神經網路中的所有節能功能。

在定制硬體上運行時，可以達到與 Meta 的 Llama 等頂級模型相同的性能，但神經網路功率是常規配置的五十分之一。

此神經網路設計也可用於在人工智慧產業常用的標準 GPU 上運行，測試結果顯示，與基於矩陣乘法的神經網路相比，顯存佔用僅為十分之一。

本站附上參考地址

Researchers run high-performing large language model on the energy needed to power a lightbulb

Scalable MatMul-free Language Modeling

以上是新型 AI 演算法亮相：功率降至常規配置 1/50，顯示佔用率降至 1/10的詳細內容。更多資訊請關注PHP中文網其他相關文章！