祖克柏在社群媒體上稱,Facebook AI Research研發的LLaMA是「目前水平最高的」大型語言模型,目標是幫助研究人員推進他們在人工智慧(AI)領域的工作。
「大型語言模型」(LLM)可以消化大量的文本數據,並推斷文本的單字之間的關係。隨著運算能力的進步,以及輸入資料集與參數空間的不斷擴大,LLM的能力也隨之提高。
目前,LLM已被證明能有效率地執行多種任務,包括文字生成、問題回答、書面資料摘要等。祖克柏稱,LLM在自動證明數學定理、預測蛋白質結構等更複雜的方面也有很大的發展前景。
值得一提的是,近期大火的ChatGPT就是採用LLM建構的聊天機器人。 ChatGPT由GPT3.5提供支持,而GPT3.5是一款基於OpenAI 175B參數基礎模型訓練的LLM,175B是它從訓練資料中所學習、沉澱下來的內容。
Meta在官網介紹中稱,LLaMA有7B、13B、33B和65B四個基礎模型,在大多數基準測試中都優於GPT3.5的前身GPT3-175B,而LLaMA-65B可與業界最佳的Chinchilla-70B和PaLM-540B競爭。
以上是推出先進大型語言模式 Meta官宣深入AI大戰的詳細內容。更多資訊請關注PHP中文網其他相關文章!