首頁 >科技週邊 >人工智慧 >騰訊混元大模型正式亮相,我們搶先試了它的生產力

騰訊混元大模型正式亮相,我們搶先試了它的生產力

王林
王林轉載
2023-09-08 19:57:12791瀏覽

國內首批大型模型備案上週獲批,開始向全社會開放服務,標誌著大型模型進入了規模應用的新階段。在先前發布應用程式的公司中,一些科技巨頭似乎還沒有行動

在2023年9月7日,騰訊在騰訊全球數位生態大會上正式公開了混元大模型,並向外界開放了騰訊雲

作為一個超千億參數的大模型,混元使用的預訓練語料超過兩萬億token,憑藉多項獨有的技術能力獲得了強大的中文創作能力、複雜語境下的邏輯推理能力,以及可靠的任務執行能力。

騰訊混元大模型正式亮相,我們搶先試了它的生產力

騰訊集團副總裁蔣傑表示:「騰訊混元大模型是從第一個token 開始從零訓練的,我們掌握了從模型演算法到機器學習框架,再到AI 基礎設施的全鏈路自研技術。」

打開大模型,全部都是生產力

騰訊一直表示在大模型的相關方向上早已有所佈局,專案研究一直有秩序地推進。

這個大模型的等級不是「新技術」是什麼?在大會上,蔣傑透露了一些基本訊息,透過直接詢問混元大模型。它的參數量達到了千億級,訓練所使用的數據截止到今年7月。此外,騰訊也表示大模型的知識將每月更新一次

在現場展示的內容包括騰訊混元大模型小程式、騰訊文檔中的AI助理以及騰訊會議AI助理的功能

本站第一時間獲得測試資格嘗試了一番,首先是微信小程式。

騰訊混元大模型正式亮相,我們搶先試了它的生產力

當我們進入小程式時,我們驚訝地發現其中的內容不亞於其他大型應用程式。在這裡,我們可以發現一些靈感,看看混元能夠提供哪些功能

騰訊混元大模型正式亮相,我們搶先試了它的生產力

從生產力、生活、娛樂到程式開發,它開放的能力可謂非常全面了,符合一個千億級大模型的身份。那麼混元真的能有效完成這些任務嗎?

我需要準備一份PPT,我已經確定了主題,但我不知道從哪裡開始寫。我向混元大模型提問,只用了幾秒鐘,AI就給出了一個包含七個部分的大綱,每個部分還包含了細分的要點

騰訊混元大模型正式亮相,我們搶先試了它的生產力

輸入一篇arXiv 上9 月份谷歌提交的論文《RLAIF: Scaling Reinforcement Learning from Human Feedback with AI Feedback》摘要和介紹部分,長長的好幾段,很多大模型根本不支持這麼多輸入內容,混元大模型直接進行了總結順便翻譯成中文。

騰訊混元大模型正式亮相,我們搶先試了它的生產力

大概意思是,人工智慧可以取代人類在大規模模型訓練中的強化學習回饋(RLHF)的作用

一個到了實用階段的大模型,是可以幫我們寫程式的。現在我們給AI 一段程式碼,讓它解釋一下其中看不懂也沒有註解清楚的內容:

騰訊混元大模型正式亮相,我們搶先試了它的生產力

它詳細解釋了平方根倒數演算法裡面數字的意義(不過對註釋理解得不太透徹)。或許過不了多久,我們做開發的時候就離不開大模型了。

然後是騰訊文件。很多人已經把 GPT-4 等大模型工具用在了自己的工作流程中,混元大模型在騰訊文件推出的智慧助理功能中已有應用。在 PC 端新建智慧型文檔,輸入 “/”,就能依需求實現內容產生、翻譯、潤飾等操作。

騰訊混元大模型正式亮相,我們搶先試了它的生產力

接著輸入自然語言指令,大模型的生成能力就可以幫你在騰訊文件中進行長文本總結歸納:

騰訊混元大模型正式亮相,我們搶先試了它的生產力

寫論文時,它似乎是非常有用的

當然,如果你給了一個主題,它能進行文本創作,你再選定生成內容的一部分,AI 也可以多次細化編輯。寫完了還能一鍵翻譯:

騰訊混元大模型正式亮相,我們搶先試了它的生產力

此外,表格的資料計算和圖表生成也都是一句話的事。

騰訊混元大模型正式亮相,我們搶先試了它的生產力

目前這些功能正在內測階段,將在成熟後面向使用者開放。

在騰訊會議中,混元大模型的應用可以幫助你在會議中不再分心。例如,你可以隨時向AI助理詢問剛才發言的內容,或是詢問那兩個人之間的爭論是關於什麼。 AI可以將內容悄悄總結成簡短的幾句話,並清晰地列出一二三條

騰訊混元大模型正式亮相,我們搶先試了它的生產力

#當然,開完會後,混元大模型也可以更快速、更全面地總結會議內容,並標註好待辦事項

已經涵蓋了騰訊超過50個業務

蔣傑總結了混元大模型的三大特點:具備強大的中文創作能力、複雜脈絡下的邏輯推理能力、可靠的任務執行能力。

目前不少業界大模型在場景中的應用依然有限,主要問題集中在容錯率高,只適用於任務簡單的休閒場景。騰訊在演算法層面進行了一系列自研創新,提高了模型可靠性和成熟度。

騰訊混元大模型正式亮相,我們搶先試了它的生產力

騰訊集團副總裁蔣傑在活動中露面

針對大模型容易「胡言亂語」的問題,騰訊優化了預訓練演算法及策略,透過自研的「探真」技術,讓混元大模型的「幻覺」相比主流開源大模型降低了30-50%。

「業界的做法是提供搜尋增強,知識圖譜等『外掛』來提升大模型開卷考試的能力。這種方式增加了模型的知識,但在實際應用中存在著許多局限性,」蔣傑表示。 「混元大模型在開發初期就考慮完全不依賴外界資料的方式,進行了大量研究嘗試,我們找到的預訓練方法,很大程度上解決了幻覺的問題。」

騰訊還利用強化學習的方法,讓模型學會辨識陷阱問題,並透過位置編碼的最佳化,提升了模型處理超長文字的效果與表現。在邏輯方面,騰訊提出了思維鏈的新策略,使得大型模型能夠像人一樣結合實際應用場景進行推理和決策

騰訊混元大模型能夠理解上下文的含義,具有長文記憶能力,可以流暢地進行專業領域的多輪對話。除此之外,它還能進行文學創作、文本摘要、角色扮演等內容創作,做到充分理解用戶意圖,並高效、準確的給出有時效性的答复。這樣的技術落地之後,才能真正提升生產力。

騰訊混元大模型正式亮相,我們搶先試了它的生產力

需要重新寫的內容是:寫一篇4000字的文章,GPT-4無法滿足要求,但是混元大模型可以做到

在中國信通院《大規模預訓練模型技術和應用的評估方法》的標準符合性測試中,混元大模型共測評66 個能力項,在「模型開發」和「模型能力」兩個領域的綜合評價獲得了當前最高分。在主流的評測集 MMLU、CEval 和 AGI-eval 上,混元大模型均有優異的表現,特別是在中文的理科、高考題和數學等子項上表現突出。 

建構大模型的意義在於產業應用。據了解,騰訊內部已有超過50個業務和產品接觸並測試了騰訊混元大模型,包括騰訊雲、騰訊廣告、騰訊遊戲、騰訊金融科技、騰訊會議、騰訊文件、微信搜一搜、QQ瀏覽器等,並取得了初步效果。騰訊的程式設計師們已經開始使用大模型工具提高開發效率了

此外,騰訊還透過自研機器學習框架Angel,使模型的訓練速度相比業界主流框架提升1 倍,推理速度比業界主流框架提升1.3 倍。 

用於建立大型模型的基礎設施也沒有拉下。先前騰訊曾表示已於今年初建置了大規模算力中心,近期 MiniMax 和百川智慧旗下的大模型都使用了騰訊的算力。

騰訊也努力將產業數據與自身能力結合,利用外部客戶的產業化數據來解決特定產業的問題,並與實體產業結合,不斷推動大型模式的社會、經濟利益和商業價值

「根據公開數據顯示,國內已有130 個大模型發布。其中既有通用模型也有專業領域模型。混元作為通用模型能夠支持騰訊內部的大部分業務,今天我展示的幾個深度接入的業務都有很大的用戶量。大模型已在我們的核心領域獲得了深度應用,」蔣傑說。 「我大模型首先是服務企業本身,其次是透過騰訊雲對外開放。」

在開放給客戶使用時,混元大模型將作為騰訊雲端模式即服務 MaaS 的底座。客戶既可以直接呼叫混元 API,也能將混元作為基座模型,為不同的產業場景建構專屬應用。

可見,騰訊在大模型領域的策略講究的是一個穩字:專注打好基礎,不急於拿出半成品展示。而這一出手,就展現出了過硬的實力。

騰訊混元大模型正式亮相,我們搶先試了它的生產力

大模型的發展仍在持續進行,正如蔣傑所說:「毫不誇張地說,騰訊已經全面擁抱大模型。我們的能力一直在不斷演進,相信AIGC的潛力是無限的,我們已經踏上了這條道路。」

以上是騰訊混元大模型正式亮相,我們搶先試了它的生產力的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述:
本文轉載於:jiqizhixin.com。如有侵權,請聯絡admin@php.cn刪除