IT之家10 月20 日消息,史丹佛大學日前發布了AI 基礎模型“透明度指標”,其中顯示指標最高的是Meta 的Lama 2,但相關“透明度”也只有54%,因此研究人員認為,市面上幾乎所有AI 模型,都「缺乏透明度」。
據悉,這項研究是由 HAI 基礎模型研究中心(CRFM)的負責人 Rishi Bommasani 所主導,調查了海外最受歡迎的 10 款基礎模型:
- Meta 的 Llama 2、
- BigScience 的 BloomZ、
- OpenAI 的 GPT-4、
- Stability AI 的 Stable Diffusion、
- Anthropic PBC 的 Claude、
- Google的 PaLM 2、
- Cohere 的 Command、
- AI21 Labs 的 Jurassic-2、
- Inflection AI 的 Inflection、
- 亞馬遜的 Titan。
Rishi Bommasani 認為,「缺乏透明度」一直是AI 產業所面臨的問題,在具體模型「透明度指標」方面,IT之家發現,相關評估內容主要圍繞「模型訓練資料集版權」、「訓練模型所使用的運算資源」、「模型產生內容的可信度」、「模型自身能力」、「模型被誘導產生有害內容的風險」、「使用模型的使用者隱私性」等展開,共100 項。
最終調查情況顯示,Meta 的 Lama 2 以 54% 的透明度居冠,而 OpenAI 的 GPT-4 透明度只有 48%,谷歌的 PaLM 2 則以 40% 排名第五。
▲ 圖源 史丹佛大學
在具體指標中,十大模型得分錶現均「最好」的是「模型基本資訊」(Model Basics),這項評估內容主要包含「模型訓練上是否準確介紹了模型的模式、規模、架構”,平均透明度為63%。表現最差的則是影響(Impact),主要評估基礎模型是否會“調取使用者資訊進行評估”,平均透明度只有 11%。
CRFM 主任 Percy Liang 表示,商業基礎模式的「透明度」對於推動 AI 立法,及相關產業、學術界而言,非常重要。
Rishi Bommasani 則表示,較低的模型透明度讓企業更難知道它們能否安全地依賴相關模型,也難以讓研究人員依靠這些模型來做研究。
Rishi Bommasani 最終認為,上述十大基礎模型在透明度方面都“不及格”,雖然Meta 的Llama 2 得分最高,但並不能滿足外界需求,“模型透明度最少要達到82%,才能被外界認可」。
以上是史丹佛大學發布AI基礎模型透明度指標,Llama 2居首但“不及格”的詳細內容。更多資訊請關注PHP中文網其他相關文章!