大型語言模型最為人詬病的缺點,除了一本正經地胡言亂語以外,估計就是「不會算數」了。
例如一個需要多步驟推理的複雜數學問題,語言模型通常都無法給出正確答案,即使有「思維鏈」技術的加持,往往中間步驟也會出錯。
與文科類的自然語言理解任務不同,數學問題通常只有一個正確答案,在不那麼開放的答案範圍下,使得生成準確解的任務對大型語言模型來說更具挑戰性。
並且,在數學問題上,現有的語言模型通常不會對自己的答案提供置信度(confidence),讓使用者無從判斷產生答案的可信度。
為了解決這個問題,微軟研究院提出了MathPrompter技術,可以提高 LLM 在算術問題上的效能,同時增加對預測的依賴。
論文連結:https://arxiv.org/abs/2303.05398
##MathPrompter 使用Zero-shot 思維鏈提示技術產生多個代數表達式或Python 函數,以不同方式解決同一個數學問題,從而提高輸出結果的可信度。
比較其他基於提示的 CoT 方法,MathPrompter也會檢查中間步驟的有效性。
基於175B 參數 GPT,使用MathPrompter方法將MultiArith 資料集的準確率從78.7%提升到了92.5%!
專攻數學的Prompt近年來,自然語言處理的發展很大程度上要歸功於大型語言模型(LLMs)在規模上的不斷擴展,其展現出了驚人的zero-shot和few-shot能力,也促成了prompting技術的發展,用戶只需要在prompt中給LLM輸入幾個簡單的範例即可對新任務進行預測。
prompt對於單步驟的任務來說可以說相當成功,但在需要多步驟推理的任務中,提示技術的效能仍然不夠。
人類在解決一個複雜問題時,會將其分解,並嘗試一步步地解決,「思維鏈」(CoT)提示技術就是將這種直覺擴展到LLMs中,在一系列需要推理的NLP任務中都得到了性能改進。
這篇論文主要研究「用於解決數學推理任務」的Zero-shot-CoT方法,先前的工作已經在MultiArith資料集上得到了顯著的準確率改進,從17.7% 提升到了78.7%,但仍然存在兩個關鍵的缺點:
1、雖然模型所遵循的思維鏈改進了結果,但卻沒有檢查思維鏈提示所遵循的每個步驟的有效性;
2、沒有對LLM預測結果提供置信度(confidence)。
MathPrompter為了在某種程度上解決這些差距,研究人員從「人類解決數學題的方式」中得到啟發,將複雜問題分解為更簡單的多步驟程序,並利用多種方式在每一個步驟中對方法進行驗證。
由於LLM是生成式模型,要確保產生的答案是準確的,特別是對於數學推理任務,就變得非常棘手。
研究人員觀察學生解決算術問題的過程,總結出了學生為驗證其解決方案而採取的幾個步驟:
遵循已知結果(Compliance with known results),透過將解決方案與已知結果進行比較,可以評估其準確性並進行必要的調整;當問題是一個具有成熟解決方案的標準問題時,這一點尤其有用。
多重驗證Multi-verification,透過從多個角度切入問題並比較結果,有助於確認解決方案的有效性,確保其既合理又準確。
交叉檢查Cross-checking,解決問題的過程與最終的答案同樣必要;驗證過程中的中間步驟的正確性可以清楚地了解解決方案背後的思考過程。
計算驗證Compute verification,利用計算器或電腦進行算術計算可以幫助驗證最終答案的準確性
具體來說,給定一個問題Q,
# 在一家餐廳,每份成人餐的價格是5美元,兒童免費用餐。如果有15個人進來,其中8個是孩子,那麼這群人要花多少錢吃飯?
1. 產生代數範本Generating Algebraic template
首先將問題轉換為代數形式,透過使用鍵值映射將數字項替換為變量,然後得到修改後的問題Qt
2. 數學提示Math-prompts
基於上述多重驗證和交叉檢查的思考過程所提供的直覺上,使用兩種不同的方法產生Qt的分析解決方案,即代數方式和Pythonic方式,給LLM提供以下提示,為Qt產生額外的上下文。
提示可以是「推導出一個代數式」或「寫一個Python函數」
LLM模型在回應提示後可以輸出如下表達式。
上述產生的分析方案為使用者提供了關於LLM的「中間思維過程」的提示,加入額外的提示可以提高結果的準確性和一致性,反過來會提高MathPrompter產生更精確和有效的解決方案的能力。
3. 計算驗證Compute verification
使用Qt中輸入變數的多個隨機鍵值映射來評估上一個步驟產生的表達式,使用Python的eval()方法對這些表達式進行評估。
然後比較輸出結果,看看是否能在答案中找到共識(consensus),也可以提供更高的置信度,即答案是正確且可靠的。
一旦表達式在輸出上達成一致,就使用輸入Q中的變數值來計算最終的答案。
4. 統計意義Statistical significance
#為了確保在各種表達式的輸出中達成共識,在實驗中將步驟2和3重複約5次,並報告觀察到的出現最頻繁的答案值。
在沒有明確共識的情況下,重複步驟2、3、4。
實驗結果
在MultiArith資料集上對MathPrompter進行評估,其中的數學問題專門用來測試機器學習模型進行複雜算術運算和推理的能力,要求應用多種算術運算和邏輯推理才能成功解決。
在MultiArith資料集上的準確率結果顯示,MathPrompter的表現優於所有的Zero-shot和Zero -shot-CoT基線,將準確率從78.7% 提升到92.5%
可以看到,基於175B參數GPT3 DaVinci的MathPrompter模型的性能與540B參數模型以及SOTA的Few -shot-CoT方法相當。
從上表可以看到,MathPrompter的設計可以彌補諸如「生成的答案有時會有一步之差”的問題,可以透過多次運行模型並報告共識結果來避免。
此外,推理步驟可能過於冗長的問題,可以由Pythonic或Algebraic方法可以解決這個問題,通常需要較少的token
此外,推理步驟可能是正確的,但最終的計算結果卻不正確,MathPrompter透過使用Python的eval()方法函數來解決這個問題。
在大部分情況下,MathPrompter都能產生正確的中間和最終答案,不過也有少數情況,如表中的最後一個問題,代數和Pythonic的輸出都是一致的,但卻有錯誤。
以上是GPT-3解數學題準確率上升至92.5%!微軟提出MathPrompter,無需微調即可打造「理科」語言模型的詳細內容。更多資訊請關注PHP中文網其他相關文章!

經常使用“ AI-Ready勞動力”一詞,但是在供應鏈行業中確實意味著什麼? 供應鏈管理協會(ASCM)首席執行官安倍·埃什肯納齊(Abe Eshkenazi)表示,它表示能夠評論家的專業人員

分散的AI革命正在悄悄地獲得動力。 本週五在德克薩斯州奧斯汀,Bittensor最終遊戲峰會標誌著一個關鍵時刻,將分散的AI(DEAI)從理論轉變為實際應用。 與閃閃發光的廣告不同

企業AI面臨數據集成挑戰 企業AI的應用面臨一項重大挑戰:構建能夠通過持續學習業務數據來保持準確性和實用性的系統。 NeMo微服務通過創建Nvidia所描述的“數據飛輪”來解決這個問題,允許AI系統通過持續接觸企業信息和用戶互動來保持相關性。 這個新推出的工具包包含五個關鍵微服務: NeMo Customizer 處理大型語言模型的微調,具有更高的訓練吞吐量。 NeMo Evaluator 提供針對自定義基準的AI模型簡化評估。 NeMo Guardrails 實施安全控制,以保持合規性和適當的

AI:藝術與設計的未來畫卷 人工智能(AI)正以前所未有的方式改變藝術與設計領域,其影響已不僅限於業餘愛好者,更深刻地波及專業人士。 AI生成的藝術作品和設計方案正在迅速取代傳統的素材圖片和許多交易性設計活動中的設計師,例如廣告、社交媒體圖片生成和網頁設計。 然而,專業藝術家和設計師也發現AI的實用價值。他們將AI作為輔助工具,探索新的美學可能性,融合不同的風格,創造新穎的視覺效果。 AI幫助藝術家和設計師自動化重複性任務,提出不同的設計元素並提供創意輸入。 AI支持風格遷移,即將一種圖像的風格應用

Zoom最初以其視頻會議平台而聞名,它通過創新使用Agentic AI來引領工作場所革命。 最近與Zoom的CTO XD黃的對話揭示了該公司雄心勃勃的願景。 定義代理AI 黃d

AI會徹底改變教育嗎? 這個問題是促使教育者和利益相關者的認真反思。 AI融入教育既提出了機遇和挑戰。 正如科技Edvocate的馬修·林奇(Matthew Lynch)所指出的那樣

美國科學研究和技術發展或將面臨挑戰,這或許是由於預算削減導致的。據《自然》雜誌報導,2025年1月至3月期間,美國科學家申請海外工作的數量比2024年同期增加了32%。此前一項民意調查顯示,75%的受訪研究人員正在考慮前往歐洲和加拿大尋找工作。 過去幾個月,數百項NIH和NSF的撥款被終止,NIH今年的新撥款減少了約23億美元,下降幅度接近三分之一。洩露的預算提案顯示,特朗普政府正在考慮大幅削減科學機構的預算,削減幅度可能高達50%。 基礎研究領域的動盪也影響了美國的一大優勢:吸引海外人才。 35

Openai推出了強大的GPT-4.1系列:一個專為現實世界應用設計的三種高級語言模型家族。 這種巨大的飛躍提供了更快的響應時間,增強的理解和大幅降低了成本


熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

DVWA
Damn Vulnerable Web App (DVWA) 是一個PHP/MySQL的Web應用程序,非常容易受到攻擊。它的主要目標是成為安全專業人員在合法環境中測試自己的技能和工具的輔助工具,幫助Web開發人員更好地理解保護網路應用程式的過程,並幫助教師/學生在課堂環境中教授/學習Web應用程式安全性。 DVWA的目標是透過簡單直接的介面練習一些最常見的Web漏洞,難度各不相同。請注意,該軟體中

EditPlus 中文破解版
體積小,語法高亮,不支援程式碼提示功能

SecLists
SecLists是最終安全測試人員的伙伴。它是一個包含各種類型清單的集合,這些清單在安全評估過程中經常使用,而且都在一個地方。 SecLists透過方便地提供安全測試人員可能需要的所有列表,幫助提高安全測試的效率和生產力。清單類型包括使用者名稱、密碼、URL、模糊測試有效載荷、敏感資料模式、Web shell等等。測試人員只需將此儲存庫拉到新的測試機上,他就可以存取所需的每種類型的清單。

WebStorm Mac版
好用的JavaScript開發工具