LLMSを使用した合成データ生成

検索総生成（RAG）：財務データ分析の革命

この記事では、金融会社の検索された生成（RAG）の人気の高まりを調査し、LLM駆動型ソリューションの知識へのアクセスを合理化し、重要な課題に対処する方法に焦点を当てています。 RAGは、レトリバー（関連するドキュメントの検索）と大きな言語モデル（LLM）（応答の合成）を組み合わせて、カスタマーサポート、調査、内部の知識管理などのタスクに非常に貴重であることが証明されています。

効果的なLLM評価が重要です。 テスト駆動型開発（TDD）に触発された評価駆動型アプローチは、測定可能なベンチマークを使用してAIワークフローを検証および改良します。 RAGの場合、これには、代表的な入出力ペア（たとえば、チャットボットのQ＆Aペア、ソースドキュメント、および予想される要約を作成する）が含まれます。 従来、このデータセットの作成は、主題の専門家（SME）に大きく依存しており、時間がかかり、一貫性がなく、費用のかかるプロセスにつながりました。 さらに、ドキュメント内の視覚要素を処理する際のLLMSの制限（表、図）は精度を妨げ、標準のOCRツールはしばしば不足しています。

マルチモーダル機能での課題の克服

マルチモーダルファンデーションモデルの出現は、ソリューションを提供します。 これらのモデルはテキストと視覚コンテンツの両方を処理し、個別のテキスト抽出の必要性を排除します。 ページ全体を摂取し、レイアウト構造、チャート、テーブルを認識して、精度、スケーラビリティ、および手動の努力を削減することができます。

ケーススタディ：ウェルスマネジメントリサーチレポート分析

この調査では、2023年のCerulliレポート（テキストと複雑なビジュアルを組み合わせた典型的なウェルスマネジメントドキュメント）を使用して、自動化されたQ＆Aペア生成を実証しています。 目標は、視覚的要素を組み込んだ質問を生成し、信頼できる答えを生成することでした。 このプロセスでは、PDFからイメージへの変換を内部で処理する人類のクロードソネット3.5を採用し、ワークフローを簡素化し、コードの複雑さを減らしました。 プロンプトは、特定のページを分析し、ページのタイトルを特定し、視覚的コンテンツまたはテキストコンテンツを参照する質問を作成し、各質問に対して2つの異なる回答を生成するようにモデルに指示しました。 比較学習アプローチが実装され、評価と優れた応答の選択に関する2つの回答を提示しました。これは、代替案を比較するとプロセスを簡素化する人間の意思決定を反映しています。 これは、LLM評価のペアワイズ比較の安定性を強調して、「LLMSを使用して1年の建物から学んだこと」で強調されたベストプラクティスと一致しています。 高度な推論能力を備えたクロード・オパスは、「裁判官」として行動し、明確さや直接性などの基準に基づいてより良い答えを選択しました。 これにより、手動中小企業のレビューが大幅に減少し、スケーラビリティと効率が向上します。 最初のSMEスポットチェックは不可欠ですが、システムの信頼が高まるにつれて、この依存関係は時間とともに減少します。

ワークフローの最適化：キャッシュ、バッチ、ページの選択いくつかの最適化が実装されました：

キャッシング：
• キャッシングはコストが大幅に削減されました。 キャッシュなしでレポートの処理には9ドル。キャッシュを使用すると、3ドルかかります（3倍の節約）。 コスト削減は、大規模な劇的なものです。
バッチ処理：人類のバッチを使用して、個々の処理よりもはるかに費用対効果が高いことが証明されています。
• ページの選択：
• 例の出力と利点例は、LLMがレポート内の表からテーブルから情報を正確に合成して、AUM分布に関する質問に答える方法を示しています。 全体的な利点には次のものが含まれます：

キャッシングとバッチ処理による大幅なコスト削減

中小企業の時間と労力の短縮

。

• このアプローチは、RAGシステムの評価データセットを作成するためのスケーラブルで費用対効果の高いソリューションを示しており、マルチモーダルLLMSの力を活用して、財務データ分析の精度と効率を向上させます。 元のテキストからの画像は、以下に含まれています：

以上がLLMSを使用した合成データ生成の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。