北京將舉辦由深度學習技術及應用國家工程研究中心主辦的2023 WAVE SUMMIT深度學習開發者大會
王海峰,百度技術長和深度學習技術及應用國家工程研究中心主任,在主題演講中首次表示,大型語言模型具備了人工智慧的核心基礎能力,包括理解、生成、邏輯和記憶,為通用人工智慧帶來了新的希望
有800萬開發者正在使用飛槳,並且已經創建了超過80萬個模型
2019年4月,WAVE SUMMIT深度學習開發者大會首次舉辦。在該大會上,王海峰強調了深度學習的通用性以及其具備的標準化、自動化和模組化的工業大生產特徵,推動了人工智慧進入工業大生產階段。經過四年的發展,深度學習技術和應用的進展充分驗證了這個觀點。深度學習技術越來越通用,深度學習平台的標準化、自動化和模組化特徵也越來越明顯。同時,預訓練大模型的興起也進一步擴展了人工智慧應用的深度和廣度。因此,可以說人工智慧已經進入了工業大生產階段
在標準化方面,我們透過聯合優化框架和模型,統一適配多種硬件,使應用模式更簡潔高效,從而大幅降低人工智慧應用的門檻。在自動化方面,我們提供全流程的人工智慧研發解決方案,包括訓練、適應和推理部署,以提高效率。在模組化方面,我們提供豐富的產業級模型庫,以支援人工智慧在各種場景中的便利應用
飛槳產業級深度學習開源開放平台和文心大模型相互促進,使飛槳生態蓬勃發展,吸引了800萬開發者,為22萬家企事業單位提供服務,並基於飛槳創建了80萬個模型。王海峰解釋了飛槳開發者社群AI Studio中文名稱「星河社群」的深刻寓意:「文心與飛槳相融,一同駛向星河」。在飛槳和文心的共同推動下,與所有開發者一起,共同建構星河社區,共同探索通用人工智慧的無限可能
大型語言模型為通用人工智慧帶來了新的希望
#王海峰認為,人工智慧具備多種典型能力,其中核心基礎能力包括理解、生成、邏輯和記憶。這四項能力越強,人工智慧越接近通用人工智慧的水平。而大語言模式則具備了這四項能力,為通用人工智慧的發展帶來了希望
具體而言,人工智慧的典型能力,如創作、程式設計、解題、規劃等,都基於核心基礎能力,如理解、生成、邏輯、記憶等,儘管在不同程度上依賴程度有所不同。以解題為例,從理解題目、解答題目到最終寫出答案,需要綜合運用理解、記憶、邏輯和生成能力
這些能力如何取得呢?以文心一言為例,我們首先透過融合學習數萬億資料和數千億知識來訓練預訓練大模型。然後,我們利用監督精調、人類回饋的強化學習和提示等技術來進一步提升模型表現。此外,我們也具備知識增強、檢索增強和對話增強等技術優勢
透過多種策略優化資料來源和資料分佈,建立基礎模型長文建模,進行多類型多階段有監督精調和多任務自適應有監督精調,以及實施多層次多粒度獎勵模型等技術創新,全面提升基礎通用能力。在增強檢索和知識方面,透過知識點增強提高對世界知識的掌握和應用能力;透過大規模邏輯資料建構、邏輯知識建模、多粒度語義知識組合以及符號神經網絡,提升邏輯能力;透過建構全面安全的資料、內容、模型和系統安全體系,確保大模型的安全性
透過飛槳端到端自適應混合併行訓練技術以及壓縮、推理、服務部署的協同優化,文心大模型的訓練速度提高了3倍,推理速度提高了30多倍,從而提升了效率
透過數據驅動、提示構建以及插件增強的應用方面,我們已經上線了五個插件,包括文心一言、百度搜索、覽卷文檔、E 言易圖、說圖解畫和一鏡流影。這些插件使得我們的模型具備了產生即時準確資訊、長文字摘要和問答、數據洞察和圖表製作、基於圖片的創作和問答以及文生影片等能力。透過插件機制,我們擴展了大模型的能力邊界,以更好地適應各種場景需求。王海峰表示,未來我們將與開發者共同建立插件生態系統,並分享技術創新成果
以大語言模型為代表的人工智慧正深入千行百業,加速產業升級和經濟成長。在這個過程中,技術創新和應用落地形成良性循環,理解、生成、邏輯、記憶等能力持續提升,產業應用的廣度和深度持續拓展,大型語言模型為通用人工智慧帶來了新的希望。
以上是百度CTO王海峰:飛槳開發者數已達800萬,大語言模型為通用人工智慧帶來曙光的詳細內容。更多資訊請關注PHP中文網其他相關文章!