當目標是準確度、一致性、精通遊戲或找到一個正確答案時,強化學習模型會擊敗生成式人工智慧。
大型語言模型,如GPT-4,令人矚目,因為它們可以產生高品質、流暢自然的文本,極具說服力。可悲的是,炒作也是如此:微軟的研究人員屏氣地將微軟資助的OpenAI GPT-4模型描述為展示「人工通用智慧的火花」。
當然,除非微軟指的是產生幻覺的傾向,生成的錯誤文字肯定是錯的。 GPT還不擅長下棋和圍棋等遊戲,不擅長數學,編寫的程式碼可能有錯誤和微妙的漏洞。
這並不意味著大型語言模型都是炒作。我們需要一些新的角度來討論生成式人工智慧(GenAI),而不是過度誇大它與其他技術的差異。
正如IEEESpectrum的一篇文章所詳述的那樣,一些專家,例如OpenAI的IlyaSutskever,認為添加帶有人類反饋的強化學習可以消除LLM幻覺。但是其他人,例如Meta的YannLeCun和GeoffHinton(最近從Google退休),認為大型語言模型中更根本的缺陷在起作用。兩人都認為,大型語言模型缺乏非語言知識,而非語言知識對於理解語言所描述的潛在現實是至關重要的。
Diffblue公司的CEO Mathew Lodge在一次訪談中指出,有一種更優秀的解決方案。他說,「小型、快速、運行成本低廉的強化學習模型,在從玩遊戲到編寫程式碼的各種任務中,都能輕鬆擊敗擁有千億參數的大型語言模型。」
#我們是否在錯誤的地方尋找人工智慧黃金?
Lodge所說的是,生成式人工智慧一定有其應用場景,但我們也許正試圖將其強行引入較不適合的強化學習領域。以遊戲為例。
Levy Rozman, 一位國際象棋大師,發布了一個他與 ChatGPT(聊天式人工智慧)對弈的影片。這個模型做出了一系列荒謬和非法的動作,包括捕捉自己的棋子。最好的開源國際象棋軟體(Stockfish,它根本不使用神經網路)讓ChatGPT在不到10步驟的時間內擊敗,因為大型語言模型找不到合法的走法。這證明了大型語言模型遠遠無法達到通用人工智慧的宣傳,而這並不是一個孤立的例子。
由於其強化學習演算法的驅動,GoogleAlphaGo是目前圍棋人工智慧中表現最佳的。強化學習的工作原理是為一個問題產生不同的解決方案,嘗試它們,使用結果來改進下一個建議,然後重複這個過程數千次以找到最佳結果。
在AlphaGo的例子中,人工智慧會嘗試不同的走法,並預測這是否是一個好走法,以及它是否有可能從這個位置贏得比賽。它使用回饋來「追蹤」有希望的移動序列,並產生其他可能的移動。其效果是對可能的移動進行搜尋。
這個過程稱為機率搜尋。雖然招式繁多,你不需要嘗試所有,但可以耐心搜尋可能找到最佳招式的領域。這對於玩遊戲來說非常有效。 AlphaGo過去曾擊敗過圍棋大師。 AlphaGo並非萬無一失,但它目前的表現比當今最好的大型語言模型還要好。
機率與準確性
支持者相信,即使有證據表明大型語言模型的表現明顯落後於其他類型的人工智慧,它們也會逐漸變得更好。然而,Lodge指出,我們需要理解為什麼他們能夠在這種任務中表現得更優秀,如果我們認同這個觀點。他繼續說道,在這個問題上出現困難的原因是,沒有人能夠準確預測GPT-4對於特定提示的反應會帶來怎樣的結果。這種模式是人類無法解釋的。他認為,這就是「『即時工程』不存在的原因。」他強調,對於人工智慧研究人員來說,證明大型語言模型的「湧現特性」存在也是一場鬥爭,更不用說預測它們了。
可以說,最好的論證就是歸納法。 GPT-4在某些語言任務上比GPT-3更好,因為它更大。因此,更大的模型會更好。
Lodge的看法是GPT-4仍需克服GPT-3所面臨的挑戰,因此存在一個問題。其中一個便是數學;雖然GPT-4在加法運算方面比GPT-3更優秀,但它在乘法和其他數學運算方面仍然存在瓶頸。
增加語言模型的大小並不能神奇地解決這些問題,根據OpenAI稱更大的模型並不是解決方案。原因歸結為大型語言模型的基本性質,正如OpenAI論壇所指出的那樣:“大型語言模型本質上是概率性的,並且通過根據他們在訓練數據中觀察到的模式生成可能的輸出來運行。在數學和物理問題中,找到唯一的正確答案的可能性很小。」
#人工智慧過程中,由強化學習驅動的方法能夠更準確地產生結果,因為這是一個追求目標的過程。強化學習透過迭代尋找最接近目標的最佳答案,以達到預期的目標。 Lodge指出,大型語言模型課程「並不是為了迭代或尋找目標而設計的。它們的設計目的是給出'足夠好'的一次或幾次回答。」
「一次性」答案是模型產生的第一個答案,它是透過預測提示中的一系列單字而獲得的。 "Few-shot learning" involves providing additional samples or cues to the model to assist it in generating better predictions.。大型語言模型通常也會加入一些隨機性(也就是說,它們是「隨機的」),以增加更好的回答的可能性,所以他們會對同樣的問題給出不同的答案。
並不是說大型語言模型世界忽略了強化學習。 GPT-4結合了「強化學習與人類回饋」(RLHF)。人類操作員訓練後的核心模型更傾向於某些答案,但從根本上來說,這並不會改變模型首先產生的答案。 Lodge指出,大型語言模型可能會提供以下選項來填補句子「韋恩•格雷茨基喜歡冰…」的空缺。
1.韋恩•格雷茨基喜歡冰淇淋。
2.韋恩•格雷茨基喜歡冰球。
3.韋恩•格雷茨基喜歡冰上釣魚。
4.韋恩•格雷茨基喜歡滑冰。
5.韋恩•格雷茨基喜歡冰酒。
人工操作員對答案進行排序,可能會認為加拿大傳奇冰球運動員更喜歡冰球和滑冰,儘管冰淇淋有著廣泛的吸引力。人類的排名和更多的人類寫的答案被用來訓練模型。請注意,GPT-4並沒有假裝準確地知道韋恩•格雷茨基的偏好,只是在提示下最可能的完成。
最後,大型語言模型的設計並不是高度準確或一致的。在準確性和確定性行為之間存在著一種權衡,以換取普遍性。對Lodge來說,這一切都意味著,在大規模應用人工智慧方面,強化學習擊敗了生成式人工智慧。
將強化學習應用於軟體
軟體開發呢?如我所寫的,GenAI已經為那些使用GitHubCopilot或AmazonCodeWhisperer等工具提高生產力的開發人員提供了機會。這不是猜測——它已經發生了。這些工具可以預測接下來可能出現的程式碼,它們根據整合開發環境中插入點前後的程式碼來進行預測。
事實上,正如VisualStudio雜誌的DavidRamel所言,最新版本的Copilot已經產生了61%的Java程式碼。對於那些擔心這會減少軟體開發人員工作的人,請記住,這些工具需要勤奮的人工監督來檢查完成情況,並對其進行編輯,以使程式碼正確編譯和運行。自IDE誕生之初,自動補全功能就一直是IDE的主要功能,而Copilot和其他程式碼產生器使它變得更加有用。大規模的自主編碼不同,實際上需要編寫61%的Java程式碼。
然而,強化學習可以進行精確的大規模自主編碼,Lodge說。當然,他這麼說是出於既得利益:2019年,他的公司Diffblue發布了基於強化學習的商業單元測試編寫工具Cover。 Cover在沒有人工幹預的情況下編寫完整的單元測試套件,使大規模自動化複雜的、容易出錯的任務成為可能。
Lodge有偏見嗎?絕對的。他有許多經驗證明強化學習在軟體開發中勝過GenAI的信念是正確的。如今,Diffblue使用強化學習來搜尋所有可能的測試方法的空間,為每個方法自動編寫測試程式碼,並在編寫的測試中選擇最佳測試。強化學習的獎勵函數以多種標準為基礎,包括測試覆蓋率和美學,其中之一就包括符合人類編寫的編碼風格。該工具平均在一秒鐘內為每種方法建立測試。
Lodge認為,如果目標是為一個沒有人理解的程式自動編寫10,000個單元測試,那麼強化學習是唯一真正的解決方案。 「大型語言模型無法競爭;人類沒有辦法有效地監督它們,並在這種規模上糾正它們的程式碼,使模型更大、更複雜並不能解決這個問題。」
結論:大型語言模型最強大的地方在於它們是通用語言處理器。他們可以完成沒有受過明確訓練的語言任務。這意味著他們可以在內容生成(文案)和許多其他事情上做得很好。 Lodge強調:「但這並不能使大型語言模型成為人工智慧模型的替代品,人工智慧模型通常基於強化學習,後者更準確、更一致,而且可以大規模使用。」
以上是大型語言模式對編碼來說是錯誤的嗎?的詳細內容。更多資訊請關注PHP中文網其他相關文章!

經常使用“ AI-Ready勞動力”一詞,但是在供應鏈行業中確實意味著什麼? 供應鏈管理協會(ASCM)首席執行官安倍·埃什肯納齊(Abe Eshkenazi)表示,它表示能夠評論家的專業人員

分散的AI革命正在悄悄地獲得動力。 本週五在德克薩斯州奧斯汀,Bittensor最終遊戲峰會標誌著一個關鍵時刻,將分散的AI(DEAI)從理論轉變為實際應用。 與閃閃發光的廣告不同

企業AI面臨數據集成挑戰 企業AI的應用面臨一項重大挑戰:構建能夠通過持續學習業務數據來保持準確性和實用性的系統。 NeMo微服務通過創建Nvidia所描述的“數據飛輪”來解決這個問題,允許AI系統通過持續接觸企業信息和用戶互動來保持相關性。 這個新推出的工具包包含五個關鍵微服務: NeMo Customizer 處理大型語言模型的微調,具有更高的訓練吞吐量。 NeMo Evaluator 提供針對自定義基準的AI模型簡化評估。 NeMo Guardrails 實施安全控制,以保持合規性和適當的

AI:藝術與設計的未來畫卷 人工智能(AI)正以前所未有的方式改變藝術與設計領域,其影響已不僅限於業餘愛好者,更深刻地波及專業人士。 AI生成的藝術作品和設計方案正在迅速取代傳統的素材圖片和許多交易性設計活動中的設計師,例如廣告、社交媒體圖片生成和網頁設計。 然而,專業藝術家和設計師也發現AI的實用價值。他們將AI作為輔助工具,探索新的美學可能性,融合不同的風格,創造新穎的視覺效果。 AI幫助藝術家和設計師自動化重複性任務,提出不同的設計元素並提供創意輸入。 AI支持風格遷移,即將一種圖像的風格應用

Zoom最初以其視頻會議平台而聞名,它通過創新使用Agentic AI來引領工作場所革命。 最近與Zoom的CTO XD黃的對話揭示了該公司雄心勃勃的願景。 定義代理AI 黃d

AI會徹底改變教育嗎? 這個問題是促使教育者和利益相關者的認真反思。 AI融入教育既提出了機遇和挑戰。 正如科技Edvocate的馬修·林奇(Matthew Lynch)所指出的那樣

美國科學研究和技術發展或將面臨挑戰,這或許是由於預算削減導致的。據《自然》雜誌報導,2025年1月至3月期間,美國科學家申請海外工作的數量比2024年同期增加了32%。此前一項民意調查顯示,75%的受訪研究人員正在考慮前往歐洲和加拿大尋找工作。 過去幾個月,數百項NIH和NSF的撥款被終止,NIH今年的新撥款減少了約23億美元,下降幅度接近三分之一。洩露的預算提案顯示,特朗普政府正在考慮大幅削減科學機構的預算,削減幅度可能高達50%。 基礎研究領域的動盪也影響了美國的一大優勢:吸引海外人才。 35

Openai推出了強大的GPT-4.1系列:一個專為現實世界應用設計的三種高級語言模型家族。 這種巨大的飛躍提供了更快的響應時間,增強的理解和大幅降低了成本


熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

MinGW - Minimalist GNU for Windows
這個專案正在遷移到osdn.net/projects/mingw的過程中,你可以繼續在那裡關注我們。 MinGW:GNU編譯器集合(GCC)的本機Windows移植版本,可自由分發的導入函式庫和用於建置本機Windows應用程式的頭檔;包括對MSVC執行時間的擴展,以支援C99功能。 MinGW的所有軟體都可以在64位元Windows平台上運作。

SAP NetWeaver Server Adapter for Eclipse
將Eclipse與SAP NetWeaver應用伺服器整合。

Safe Exam Browser
Safe Exam Browser是一個安全的瀏覽器環境,安全地進行線上考試。該軟體將任何電腦變成一個安全的工作站。它控制對任何實用工具的訪問,並防止學生使用未經授權的資源。

mPDF
mPDF是一個PHP庫,可以從UTF-8編碼的HTML產生PDF檔案。原作者Ian Back編寫mPDF以從他的網站上「即時」輸出PDF文件,並處理不同的語言。與原始腳本如HTML2FPDF相比,它的速度較慢,並且在使用Unicode字體時產生的檔案較大,但支援CSS樣式等,並進行了大量增強。支援幾乎所有語言,包括RTL(阿拉伯語和希伯來語)和CJK(中日韓)。支援嵌套的區塊級元素(如P、DIV),

Dreamweaver CS6
視覺化網頁開發工具