Genai：如何通過迅速的壓縮技術降低成本

>本文探討了迅速的壓縮技術，以降低Genai應用程序的運營成本。 Generative AI經常使用檢索功能（RAG）和及時的工程，但這可能會變得昂貴。 提示壓縮最大程度地減少了發送給模型提供商（例如OpenAI或Google Gemini）的數據。

鑰匙要點：

• 及時的壓縮大大降低了Genai的運營成本。
有效的提示工程提高了產出質量，同時降低成本。
• 壓縮簡化了通信，降低了計算負載和部署成本。
> Microsoft Llmlingua和選擇性上下文等工具優化和壓縮提示，以節省大量。
• 挑戰包括潛在的上下文損失，任務複雜性，特定於領域的知識需求以及平衡壓縮與性能。 強大的定制策略至關重要。
基於抹布的genai應用程序成本挑戰：
• >
抹布，使用矢量數據庫來增強LLM上下文，意外增加了生產成本。 為每個用戶與OpenAI的互動發送大量數據（例如，整個聊天歷史記錄）證明很昂貴。 這在生成個性化內容的問答聊天和應用程序中尤為明顯（健身計劃，食譜建議）。 挑戰在於使足夠的背景與成本控制平衡。

解決上升的抹布管道成本：>

及時工程，製作精確的查詢以獲得最佳的LLM響應，這是關鍵。 迅速壓縮，提示提示到基本要素，進一步降低了成本。 這種簡化的通信，降低了計算負擔和部署成本。 使用工具和重寫提示可節省大量成本（最高75％）。 Openai的Tokenizer工具有助於微調及時的長度。

提示示例：>

>原始：

>“計劃意大利旅行，參觀歷史景點並享受當地美食。列出了頂級歷史景點和傳統菜餚。”>

• 壓縮：

  “意大利旅行：頂級歷史景點和傳統菜餚。”>

• >原始：

  “需要一個健康的素食晚餐食譜，西紅柿，菠菜，鷹嘴豆，在一個小時內準備就緒。建議？

壓縮：
• “快速，健康的素食食譜（西紅柿，菠菜，鷹嘴豆）。建議？”

理解提示壓縮：>

有效提示對於企業應用程序至關重要，但是冗長的提示增加了成本。 迅速壓縮可以通過刪除不必要的信息，降低計算負載和每個查詢成本來降低輸入大小。 它涉及識別關鍵要素（關鍵字，實體，短語）並僅保留這些要素。 收益包括減少計算負載，提高成本效益，提高效率和更好的可擴展性。 提示壓縮的

• 潛在上下文損失
• 任務複雜性
• >領域特定的知識要求
• >平衡壓縮和性能

提示壓縮的工具：>

>
• > Microsoft llmlingua：​​工具包優化LLM輸出，包括提示壓縮。它使用較小的語言模型來識別和刪除不必要的單詞，從而實現了顯著的壓縮，而性能損失最少。 >



• 選擇性上下文：>
  > OpenAI的GPT模型：
手動摘要或選擇性上下文之類的工具可以壓縮OpenAI模型的提示，在減少令牌計數的同時保持準確性。 提供了GPT模型的壓縮提示的示例。

• 結論：

及時壓縮可顯著提高LLM的應用效率和成本效益。 Microsoft llmlingua和選擇性上下文提供強大的優化工具。 選擇正確的工具取決於應用程序需求。 及時壓縮對於高效有效的LLM相互作用至關重要，從而節省成本並改善了基於抹布的Genai應用程序性能。 對於OpenAI模型，簡單的NLP技術與這些工具相結合。

以上是Genai：如何通過迅速的壓縮技術降低成本的詳細內容。更多資訊請關注PHP中文網其他相關文章！