除了RAG，還有這五種方法消除大模型幻覺

出品 | 51CTO技術堆疊（微訊號：blog51cto）

#眾所周知，LLM會產生幻覺－也就是產生不正確、誤導或無意義的訊息。

有趣的是，有些人，如OpenAI的CEO Sam Altman，將AI的想像視為創造力，而有些人則認為想像可能有助於做出新的科學發現。

然而，在大多數情況下，提供正確回答至關重要，幻覺並不是一項特性，而是一種缺陷。

那麼，要如何減少LLM的幻覺呢？長上下文？ RAG？微調？

其實，長上下文LLMs並非萬無一失，向量搜尋RAG也不盡如人意，而微調則伴隨著其自身的挑戰和限制。

以下是一些可以用來減少LLM幻覺的進階技術。

1.高級提示詞

關於使用更好或更高級的提示詞（prompts）是否能解決大型語言模型（LLM）的幻覺問題，確實存在很多討論。

圖片

有些人認為寫更詳細的提示字對解決（幻覺）問題沒有幫助，但Google大腦（Google Brain）的共同創始人吳恩達（Andrew Ng）等人卻看到了其中的潛力。他們提出了一種新的方法，即透過深度學習技術來產生提示詞，以幫助人們更好地解決問題。這種方法利用了大量的數據和強大的運算能力，可以自動產生與問題相關的提示詞，從而提高問題解決的效率。儘管這個領域

吳恩達認為，GPT-4和其他先進模型的推理能力使它們非常擅長解釋帶有詳細說明的複雜提示詞。

圖片

「透過多範例學習，開發者可以在提示詞中給出數十個，甚至數百個範例，這比少示例學習更為有效，」他寫道。

圖片

為了改進提示詞，許多新的進展也不斷湧現，例如Anthropic公司於5月10日發布了一款新的「Prompt Generator」工具，該工具可以將簡單的描述轉換為針對大型語言模型（LLMs）最佳化的高階提示詞。透過Anthropic控制台，就可以產生用於生產的提示詞。

最近，馬克安德森（Marc Andreessen）也表示，透過正確的提示，我們可以解鎖AI模型中的潛在超級天才。 “在不同領域的提示技術可以解鎖這種潛在超級天才”，他補充道。

2.Meta AI的Chain-of-Verification（CoVe）

Meta AI的Chain-of-Verification（CoVe）是另一種技術。這種方法透過將事實查核分解為可管理的步驟，提高反應準確性，並與人類驅動的事實查核過程保持一致，來減少大型語言模型（LLMs）的幻覺現象。

圖片

CoVe涉及產生初始回應、規劃驗證問題、獨立回答這些問題，並產生最終經過驗證的回應。透過系統地驗證和糾正其輸出，這種方法顯著提高了模型的準確性。

它透過減少幻覺並增加事實正確性，在各種任務中提高了性能，如基於列表的問題、閉卷問答和長篇文本生成等。

3.知識圖譜

RAG（檢索增強的生成）不再局限於向量資料庫匹配，目前引入了許多先進的RAG技術，顯著提高了檢索效果。

圖片

例如，將知識圖譜（KGs）整合到RAG中。透過利用知識圖譜中結構化且相互關聯的數據，可以大大增強目前RAG系統的推理能力。

4.Raptor

另一種技術是Raptor，該方法透過建立更高層次的抽象來處理跨越多個文件的問題。它在回答涉及多個文件概念的查詢時特別有用。

圖片

像Raptor這樣的方法與長上下文大型語言模型（LLMs）非常契合，因為你可以直接嵌入整個文件而無需分塊。

此方法透過將外部檢索機制與變換器模型整合來減少幻覺現象。當接收到查詢時，Raptor首先從外部知識庫中檢索相關且經過驗證的資訊。

然后，将这些检索到的数据与原始查询一起嵌入到模型的上下文中。通过将模型的响应基于事实和相关信息，Raptor确保生成的内容既准确又符合上下文。

5.共形抽离（Conformal Abstention）

论文《通过共形抽离缓解大型语言模型的幻觉现象》介绍了一种通过应用共形预测技术来确定模型何时应该避免给出响应，从而减少大型语言模型（LLMs）中的幻觉现象的方法。

图片

通过使用自我一致性来评估响应的相似性，并利用共形预测进行严格的保证，该方法确保模型只在对其准确性有信心时才做出响应。

这种方法在保持平衡的抽离率的同时，有效地限制了幻觉现象的发生率，特别有利于需要长篇回答的任务。它通过避免错误或不合逻辑的响应，显著提高了模型输出的可靠性。

6.RAG减少结构化输出中的幻觉现象

最近，ServiceNow通过RAG减少了结构化输出中的幻觉现象，提高了大型语言模型（LLM）的性能，实现了域外泛化，同时最小化了资源使用。

图片

该技术涉及一个RAG系统，该系统在生成文本之前从外部知识库中检索相关的JSON对象。这确保了生成过程基于准确且相关的数据。

图片

通过融入这一预检索步骤，模型不太可能产生错误或捏造的信息，从而减少了幻觉现象。此外，这种方法允许使用较小的模型而不牺牲性能，使其既高效又有效。

想了解更多AIGC的内容，请访问：

51CTO AI.x社区

https://www.51cto.com/aigc/

以上是除了RAG，還有這五種方法消除大模型幻覺的詳細內容。更多資訊請關注PHP中文網其他相關文章！