RAG 대형 모델의 지식 갈등에 대한 심층 분석, 홍콩과 중국 칭화서호대학이 공동 출판

AIxivコラムは、当サイトが学術的・技術的な内容を掲載するコラムです。過去数年間で、このサイトの AIxiv コラムには 2,000 件を超えるレポートが寄せられ、世界中の主要な大学や企業のトップ研究室がカバーされ、学術交流と普及を効果的に促進しています。共有したい優れた作品がある場合は、お気軽に寄稿するか、報告のために当社までご連絡ください。投稿メール: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com

この記事の著者は、学際情報学部の修士課程 2 年生 Xu Rongwu と博士課程 1 年生の Qi Zehan です。彼らはこのレビューの主著者でもあります。

人工知能と大規模モデル技術の急速な発展に伴い、検索拡張生成 (RAG) は大規模言語モデルがテキストを生成するための主要なパラダイムとなっています。この技術の代表的なものである検索拡張大規模言語モデル (RALM) は、追加のトレーニングなしで、取得した文書情報を直接使用してコンテンツを生成できるため、業界で広く使用されています。新しいBing検索エンジンとして。

しかし、2023 年以降、知識の衝突を処理する際に RALM が直面する問題が徐々に研究の焦点になってきました。知識の競合は、知識集約的なタスクにおけるモデルのパフォーマンスに深刻な影響を与えるだけでなく、誤った情報に対するモデルの脆弱性をさらすため、特に事実の正確性に対する厳格な要件がある企業では、モデルのセキュリティに対する脅威となります。 。知識の競合は主に、モデル内のパラメータ化された知識と外部コンテキスト情報の間の不一致、および外部コンテキスト情報の内部の不一致として現れます。さらに、研究者らはモデル内のパラメータ化された知識間の矛盾、つまり自己矛盾現象も観察しました。これは、モデルが事前トレーニング段階で矛盾する情報を学習したためである可能性があります。

具体的な例を見てみましょう:

上の例では、大きなモデルは事実に関する質問を受け入れます: どのチームがワールドカップで最も多くのチャンピオンシップを獲得しましたか?この問題に対して、RALM はインターネット上およびベクトル データベース内の文書を取得し、同時にユーザーの以前のプロンプトで構成される会話履歴記録を追加し、それらが合わせて文脈上の知識 (上の図で黄色でマークされた文脈) を形成します。 . (out); 同時に、大規模なモデルは、事前トレーニング中にこの質問への回答に関する情報も確認しました。この情報は、モデルの「記憶」とも呼ばれます (パラメトリック知識、記憶、図では青色で示されています)。上図）色がマークされています）。競合する 2 つの当事者の情報源によると、「ペアワイズ (再) 組み合わせ」は次の 3 つのカテゴリに分類できます:

• コンテキストとメモリの競合は、コンテキストとパラメーターの知識の間の競合です。例 1: Web 検索を通じてモデルが取得した知識は即時ですが、学習した知識は「古い」です。 例 2: モデルは、パラメーターの知識と矛盾する間違った情報を取得します。

• コンテキスト間矛盾とは、コンテキスト知識内の矛盾です。例: Web 検索で取得した情報は、公開された時期が異なっていたり、悪意のある誤った情報が混在していたり​​するため、矛盾しています。

• メモリ内競合は、パラメータ化された知識内の競合です。例: 事実に基づく質問と回答の場合、同じ意味プロンプトの下で異なる結果の回答を生成するようにモデルが刺激され、矛盾した効果が生じます。

知識の衝突に関する最も初期の文献は、EMNLP 2021 の Longpre らによる記事「質問応答におけるエンティティベースの知識の衝突」に遡ります。この記事では、オープンドメイン質問応答における矛盾する知識を固有表現置換の手法によって構築し、当時の言語モデルを評価します。 2023 年に大規模な言語モデルが台頭し、RAG パラダイムが業界で広く適用されるようになったことで、知識の衝突に対する研究の関心が徐々に高まっています。これは、知識の衝突により、主要なタスク、特に言語の要件に関するモデルのパフォーマンスが大幅に低下するためです。真実性。

最近、清華大学、ケンブリッジ大学、ウェストレイク大学、香港中文大学の研究者が共同で、3 つの異なるタイプの知識矛盾について、原因、症状、解決策の 3 つの側面から詳細に議論したレビューを発表しました。読者はこの課題をよりよく理解し、それに対応できるようになります。私たちの見解では、知識の競合は、さまざまなモデルの下流のパフォーマンスの原因であると同時に、知識自体とモデルの知識学習の自然な複雑さから生じる影響でもあります。

• 紙のアドレス: https://arxiv.org/abs/2403.08319

• 프로젝트 주소: https://github.com/pillowsofwind/Knowledge-Contributes-Survey

이 리뷰:

1 지식 갈등 분야의 연구 작업에 대한 최초의 체계적인 요약

2. 세 가지 대형 모델이 직면할 수 있는 갈등 유형에 대한 종합 분석, 특히 매개변수화된 지식 갈등에 대한 논의

3. 각 갈등에 대한 분석을 논의했을 뿐만 아니라 '라이프 사이클'의 관점에서 검토했습니다. 갈등의 표현 및 가능한 해결 전략.

컨텍스트 메모리 충돌 탐색: 원인, 발현 및 해결 방법

원인

컨텍스트 메모리 충돌의 핵심은 컨텍스트 정보와 매개변수화된 지식의 차이에 있습니다. 이러한 갈등의 원인은 크게 시간적 불일치와 잘못된 정보 오염이라는 두 가지 측면으로 나누어진다.

1. 시간적 불일치

시간적 불일치는 훈련 과정에서 모델이 사용하는 과거 데이터가 현재 또는 미래의 현실을 정확하게 반영할 수 없음을 의미합니다. 이러한 현상은 대규모 언어 모델에서 특히 두드러집니다. 이러한 모델은 실제로는 오래되었을 수 있는 대량의 정적 데이터에 대해 사전 훈련되는 경우가 많기 때문입니다. 예를 들어 2020년 올림픽에 관한 기사는 2024년에는 더 이상 정확하지 않을 수 있지만 모델은 여전히 ​​이 오래된 정보를 사용하여 예측하고 질문에 답할 수 있습니다. 연구에 따르면 언어 모델의 성능은 시간이 지남에 따라 저하됩니다. 언어가 사용되는 방식, 문화적 변화 및 지식 업데이트는 모두 현재 정보를 처리하는 모델의 능력에 영향을 미칩니다.

2. 잘못된 정보 오염

정보 오염은 잘못된 정보나 오해의 소지가 있는 정보가 혼합된 외부 정보를 의미합니다. 이러한 부정확한 데이터는 모델의 판단 및 의사 결정 능력에 영향을 미칩니다. 이런 상황은 인터넷이 온갖 허위 정보와 루머, 고의적으로 조작된 가짜 뉴스로 가득 찬 인터넷 시대에 특히 흔하다. 악의적인 사용자는 인터넷에 허위 정보를 게시하여 모델의 판단을 방해할 수 있습니다. 예를 들어, 악의적인 공격자는 소셜 미디어에 허위 의료 정보를 게시하여 이 정보에 의존하여 판단을 내리는 모델을 호도할 수 있습니다. 정보 오염은 모델의 정확성에 영향을 미칠 뿐만 아니라 모델에 대한 사용자의 신뢰를 약화시킵니다. 연구에 따르면 악의적인 허위 정보는 자동화된 사실 확인 시스템과 공개 도메인 질문 답변 시스템의 정확성을 크게 약화시킬 수 있습니다.

성능

컨텍스트-기억 충돌에 직면했을 때 모델의 동작은 상당한 복잡성과 다양성을 보여줍니다. 다음은 두 가지 표현 형태입니다.

1. 매개변수화된 지식에 대한 의존

일부 모델은 외부에서 제공되는 컨텍스트 정보를 무시하면서 컨텍스트와 메모리 간의 충돌을 처리할 때 내부 매개변수 지식에 과도하게 의존하는 경향이 있습니다. 이 동작은 초기 ODQA(공개 도메인 질문 응답) 연구에서 입증되었습니다. Longpre 등(2021)은 QA 모델이 상황 정보와 내부 지식 사이의 충돌에 직면할 때 메모리 지식에 의존하는 경향이 있음을 발견했습니다.

2. 상황 정보에 의존

반면, 일부 모델은 내부 기억과 모순되는 증거가 있더라도 외부 증거를 받아들이는 경향이 있습니다. QA 모델에 대한 Chen et al.(2022)의 실험은 Longpre가 상충되는 정보를 너무 단순하게 구성하여 설명했던 Longpre et al.의 연구 결과와 달리 모델이 상황적 지식에 의존하는 경향이 있음을 보여주었습니다. 최근 Xie et al.(2023)은 "보다 논리적인" 갈등 맥락을 생성하기 위해 대형 모델을 조작했으며, 증거가 매개변수 지식과 모순되더라도 대형 모델이 외부 증거를 신뢰하는 경향이 더 크다는 것을 발견했습니다.

Solutions

컨텍스트-기억 충돌에 효과적으로 대처하기 위해 연구자들은 다양한 해결 방법을 제안해 왔는데, 크게 충돌 발생 전 예방 조치(사전 전략)와 충돌 발생 후 대응 조치로 구분됩니다. .(사후 전략). 다음은 몇 가지 주요 솔루션입니다.

1. 예방 조치

• 계속 학습: 새로운 데이터와 업데이트된 데이터를 통합하기 위해 모델을 지속적으로 사전 학습하여 시간 불일치의 영향을 줄입니다. 예를 들어 Lazaridou et al.(2021)은 최신 정보를 따라잡기 위해 지속적인 사전 학습을 통해 모델의 내부 지식을 업데이트할 것을 권장합니다.

• 지식 편집: 학습된 모델의 매개변수 지식을 직접 업데이트하여 최신 정보를 반영합니다. 예를 들어 De Cao et al.(2021)은 잘못되었거나 오래된 정보를 수정하기 위해 모델의 내부 지식을 직접 수정하는 것을 목표로 하는 지식 편집 방법을 제안했습니다. 그러나 지식 편집의 한 가지 단점은 모델 내에서 내부 충돌, 즉 나중에 언급할 메모리 내 충돌을 유발할 수 있다는 것입니다.

2.대책

• 미세 조정: 반사실적 및 관련 없는 맥락과 같은 방법을 도입함으로써 모델의 맥락 제어 능력과 견고성이 향상됩니다. 예를 들어, Li et al.(2022)이 제안한 지식 인식 미세 조정(KAFT) 방법은 표준 교육 데이터 세트에 반사실과 관련 없는 컨텍스트를 도입하여 상충되는 정보에 직면하여 모델의 견고성을 향상시킵니다.

• Prompting 기술(Prompting): 특별히 고안된 프롬프트 전략을 통해 상황에 대한 모델의 의존성을 강화합니다. 예를 들어, Zhou et al.(2023)은 상황에 맞는 작업에서 모델의 성능을 크게 향상시키는 간결한 상황 충실 프롬프트 기술을 제안했습니다.

• 지식 플러그인: 업데이트된 지식을 플러그인 모듈을 통해 저장하여 원래 모델이 영향을 받지 않도록 합니다. 예를 들어 Lee et al.(2022)이 제안한 지속적인 업데이트 QA(CuQA) 방법은 원래 매개변수에 영향을 주지 않고 지식 플러그인을 통해 모델의 지식 업데이트 기능을 향상시킵니다.

• 디코딩 기술(디코딩): 디코딩 전략을 조정하면 지식 충돌 시 모델이 환각을 생성할 확률이 줄어듭니다. 예를 들어 Shi et al.(2023)이 제안한 상황 인식 디코딩(CAD) 방법은 출력 확률의 차이를 증폭하여 상황 정보의 우선 순위를 지정함으로써 상충되는 정보에서 모델의 오해를 줄입니다.

이러한 예방 조치와 대책을 결합하면 컨텍스트-기억 충돌을 처리하는 모델의 정확성과 견고성이 다양한 각도에서 향상될 수 있으며, 이를 통해 실제 애플리케이션에서 모델의 성능과 사용자 경험이 향상됩니다.

문맥 간 충돌 탐색: 원인, 발현 및 해결 방법

Causes

문맥 간 충돌은 다양한 외부 정보를 통합하는 동안 발생하는 모순을 의미하지만 이러한 외부 정보는 정보를 풍부하게 할 수 있습니다. 세계 모델의 답변이지만 컨텍스트 간의 정보 충돌로 이어질 수도 있습니다. 이러한 갈등은 주로 외부정보에 잘못된 정보(Misinformation)와 오래된 정보(Outdated Information)가 포함될 수 있기 때문에 발생합니다.

1. 잘못된 정보

RAG(Retrieval Augmentation Generation) 기술은 외부 정보를 통합하여 대형 모델의 응답 품질을 향상시킵니다. 그러나 이러한 외부 정보에는 잘못된 내용이 포함될 수 있습니다. 예를 들어, AI가 생성한 가짜 뉴스나 오해의 소지가 있는 내용이 섞여 검색된 정보 간에 충돌이 발생할 수 있습니다. 모델이 이러한 충돌을 처리하는 방법은 중요한 과제입니다. 이러한 충돌을 효과적으로 해결하지 못하면 모델에서 생성된 부정확한 콘텐츠로 이어질 수 있으며, 이로 인해 잘못된 정보의 확산이 악화되고 더욱 혼란스러운 정보가 발생할 수 있습니다.

2. 오래된 정보

시간이 지남에 따라 사실은 바뀔 것입니다. 외부 파일을 검색할 때 대형 모델에서는 최신 정보와 오래된 정보가 모두 포함된 문서를 접할 수 있습니다. 정보의 이러한 시간적 차이는 컨텍스트 간의 충돌로 이어질 수 있습니다. 예를 들어, 이벤트에 대한 최신 개발 정보와 오래된 정보 간의 모순은 모델 응답의 정확성에 영향을 미칠 수 있습니다. 오래된 정보는 모델의 답변을 부정확하게 만들 뿐만 아니라 사용자가 모델에 대한 신뢰를 잃게 만들 수도 있습니다.

성능

대형 모델은 수동적 관점과 능동적 관점 모두에서 특정 행동 특성을 보여줍니다.

1. 성능 영향

오류 또는 노후화 정보는 대형 모델의 성능에 큰 영향을 미칠 수 있습니다. 예를 들어, Chen et al.(2022)의 연구에서는 모델이 충돌하는 정보를 접할 때 모델 내의 문제 및 매개변수 지식과 직접적으로 관련된 정보를 더 신뢰할 가능성이 더 높다고 지적했습니다. Pan et al.(2023a)은 가짜 Wikipedia 기사를 실제 Wikipedia 코퍼스에 삽입함으로써 허위 정보 공격에 직면하여 기존 언어 모델이 제대로 작동하지 않음을 발견했습니다. Xie et al.(2023)의 연구에 따르면 대형 모델은 특히 이러한 증거가 공통 개체를 포함하거나 광범위한 문서로 뒷받침되는 경우 모델 매개변수 메모리와 일치하는 증거를 크게 선호하는 것으로 나타났습니다.

2. 탐지 능력

맥락에서 모순되는 정보를 탐지하는 것도 중요한 작업입니다. Li et al.(2023a)은 뉴스, 기사, Wikipedia 기사에서 모순되는 문서를 탐지하는 GPT-4, PaLM-2 및 Llama 2의 능력을 분석한 결과 평균 탐지 정확도가 낮은 것으로 나타났습니다. Wan et al.(2024)의 연구에 따르면 기존 모델은 문서 신뢰성을 평가할 때 쿼리 관련 문서 콘텐츠에 크게 의존하는 경우가 많지만 과학적 인용이나 중립적인 어조와 같이 인간이 중요하다고 생각하는 문체적 특징을 무시하는 것으로 나타났습니다. Jin et al.(2024a)은 대형 모델이 맥락에서 가장 자주 나타나는 증거를 선호하고 내부 기억과 일치하는 외부 정보를 분명히 선호한다는 것을 발견했습니다.

Solution

연구원들은 상황 간 갈등을 효과적으로 해결하기 위해 다양한 관점에서 해결책을 제안해 왔습니다. 이러한 해결책은 크게 갈등 제거와 견고성 향상의 두 가지 측면으로 나누어지며, 적극적 측면과 측면에서 상황 간 갈등을 해결합니다. 수동적인 관점.

1. 갈등 제거

• 특수 모델: 특정 유형의 충돌을 더 효과적으로 처리할 수 있도록 모델을 특별히 훈련합니다. 예를 들어, Pielka et al.(2022)은 모델의 모순 감지 능력을 향상시키기 위해 문법적 및 의미론적 특징을 도입하여 학습 과정에 언어적 지식을 추가하고 모순된 정보에 대한 인식을 강화할 것을 제안했습니다.

• 일반 모델: 일반 모델을 사용하여 갈등 제거를 완료하세요. Chern et al.(2023)은 텍스트의 사실 오류를 탐지하기 위해 여러 도구(예: Google 검색, Google Scholar 등)를 통합하는 사실 확인 프레임워크를 제안했습니다. 이 접근 방식은 모델의 내부 지식에 의존할 뿐만 아니라 외부에서 검색된 정보를 결합하여 사실에 대한 보다 포괄적인 검증을 제공합니다.

2. 견고성 향상

• 훈련 접근 방식: 훈련 알고리즘에서 상충되는 상황에 직면할 때 모델의 견고성을 향상시킵니다. Hong et al.(2023)은 판별기와 디코더를 동시에 훈련시켜 모델의 견고성을 향상시키는 새로운 미세 조정 방법을 제안했습니다. 이 방법은 상충되는 정보에 직면하여 모델의 안정성을 향상시킬 수 있을 뿐만 아니라 복잡한 정보를 처리하는 능력도 향상시킵니다.

• 쿼리 확장: 추론 단계에서 외부 지식을 추가로 도입하여 모델의 견고성을 향상합니다. Weller et al.(2022)은 GPT-3가 원래 쿼리에서 새로운 질문을 추출하도록 유도하는 쿼리 향상 기술을 제안했습니다. 모델은 여러 관점에서 답변의 정확성을 확인할 수 있습니다. 단일 정보 소스로 인해 오류가 줄어듭니다. 이 접근 방식은 상충되는 정보에 대응하는 모델의 능력을 향상시킬 뿐만 아니라 답변의 정확성과 신뢰성도 향상시킵니다.

문맥간 갈등은 지식 갈등의 중요한 부분입니다. 대규모 모델이 상충되는 정보를 처리하는 방법은 중요한 작업입니다. 위의 방법을 통해 컨텍스트 간 충돌을 처리할 때 모델의 정확성과 견고성을 다양한 각도에서 향상시킬 수 있습니다.

메모리 내 충돌 탐색: 원인, 발현 및 해결 방법

Cause

메모리 내 충돌은 의미는 동일하지만 구문이 다른 입력에 직면할 때 일관되지 않은 동작을 보이는 모델을 나타냅니다. 이러한 충돌의 주요 원인은 다음과 같은 측면으로 나눌 수 있습니다.

1. 학습 코퍼스의 편견

LLM의 주요 지식 습득 단계는 사전 학습 중에 완료되며 이러한 사전 학습 데이터는 일반적으로 인터넷. 이 데이터는 소셜 미디어, 뉴스 기사, 백과사전 등 다양한 소스에서 제공되며, 그 품질은 다양하며 부정확하거나 오해의 소지가 있는 정보를 포함할 수 있습니다. 이러한 잘못된 정보는 모델에 의해 기억되고 추론 중에 증폭되어 모델 내에서 지식 충돌로 이어지며, 이는 모델이 관련 질문에 답변할 때 여러 가지 상충되는 답변으로 이어질 수 있습니다. 동시에 대규모 모델은 종종 훈련 데이터의 표면적 상관관계를 인코딩하므로 모델이 표면적 허위 상관관계를 기반으로 판단을 내리게 됩니다. 허위 상관 관계에 의존하기 때문에 모델은 구문 구조는 다르지만 의미는 동일한 단서를 만날 때 다른 대답을 제공할 수 있습니다.

2. 디코딩 전략

대형 모델의 출력은 가능한 다음 단어의 확률 분포를 샘플링하여 얻습니다. 다양한 샘플링 방법(예: 탐욕스러운 샘플링, top-p 샘플링, top-k 샘플링 등)으로 인해 생성된 콘텐츠가 무작위화됩니다. 예를 들어, top-k 샘플링을 사용하는 경우 모델은 k개의 후보 단어 중에서 확률이 가장 높은 다음 단어를 무작위로 선택합니다. 이러한 무작위성은 출력의 불확실성을 증가시켜 동일한 입력이 서로 다른 시간에 얻어지는 것을 가능하게 합니다. 추론 결과가 다릅니다.

3. 지식 편집

대형 모델의 지식을 효율적으로 수정하기 위해 연구자들은 지식 편집 기술을 제안했습니다. 이러한 기술은 전체 모델을 재교육하지 않고도 모델의 작은 지식 영역을 효율적으로 수정하는 것을 목표로 합니다. 그러나 이러한 편집 방법으로 인해 지식의 일관성을 보장하기 어려울 수 있습니다. 예를 들어, 지식 편집을 통해 사실(예: 과학적 발견의 구체적인 세부 사항)을 수정하지만 이와 관련된 모든 지식을 동시에 업데이트하지 못하면 모델이 다양한 문제에 직면했을 때 일관되지 않은 반응을 생성할 수 있습니다. 동시에 수정된 지식은 다양한 상황에서 효과적으로 적용되지 않을 수 있으며, 이로 인해 동일한 지식의 다양한 표현을 처리할 때 모델이 일관되지 않은 답변을 생성하게 됩니다.

성능

메모리 내 충돌은 주로 다음 측면에 반영되는 대형 모델의 성능에 상당한 영향을 미칩니다.

1. Self-Inconsistency(자기 불일치)

자체 불일치는 의미상 동일하지만 구문이 다른 질문에 직면했을 때 모델에서 생성된 답변이 일관되지 않음을 의미합니다. 예를 들어, 연구에 따르면 GPT-4와 같은 고급 모델조차도 상식 질문을 다룰 때 답변의 13%에서 여전히 불일치가 있는 것으로 나타났습니다. 이는 동일한 질문을 하는 사용자가 다르게 말하면 다른 답변을 얻을 수 있음을 의미합니다. 반면, 지식을 회상할 때 모델은 지식에 대한 진정한 이해보다는 훈련 데이터에 있는 단어의 피상적인 연관성에 더 의존할 수 있습니다. 예를 들어, 모델은 자주 함께 발생하는 특정 단어를 잘못 연결하여 생성된 답변이 기대에서 벗어날 수 있습니다. 이러한 잘못된 상관 관계는 모델 답변의 자체 불일치를 더욱 악화시킵니다.

2. 지식의 잠재 표현

대형 모델 내부의 다층 Transformer 아키텍처로 인해 다양한 지식 표현이 다양한 수준에 저장됩니다. 이러한 분산된 지식 표현으로 인해 모델은 생성 프로세스 중에 저장된 지식을 정확하게 표현할 수 없게 됩니다. 예를 들어, 얕은 수준은 낮은 수준의 정보를 저장하고, 깊은 수준은 의미 정보를 저장할 수 있습니다. 이러한 다층 표현의 분산으로 인해 모델은 다양한 문제에 직면했을 때 다양한 수준의 지식을 조정할 수 없게 되어 일관되지 않은 답변을 생성하게 됩니다.

3. 언어 간 불일치

대규모 모델은 다양한 언어에서 서로 다른 지식 세트를 유지하므로 이로 인해 언어 간 일관성 문제가 발생합니다. 예를 들어, 동일한 사실이 언어에 따라 다른 답변을 받을 수 있습니다. 이러한 현상은 언어 간 질문과 답변에서 특히 두드러집니다. 예를 들어, 영어로 훈련된 모델은 사실에 대해 정확한 답변을 갖고 있지만 스페인어로는 다른 답변을 제공할 수 있습니다.

솔루션

연구원들은 다양한 솔루션을 제안했는데, 이는 주로 다음 범주로 나눌 수 있습니다.

1. 일관성 향상

• 미세 조정): 일관성 손실을 도입하여 기능을 학습하고 이를 표준 언어 모델 훈련 손실과 결합하여 모델의 지식 일관성을 향상시키기 위해 미세 조정이 수행됩니다. 예를 들어 Li et al.(2023)은 모델에서 생성된 답변을 사용하여 이를 검증하고, 생성된 답변의 일관성을 더욱 향상시키기 위해 미세 조정을 위해 일관성이 더 높은 답변 쌍을 선택했습니다.

• 플러그인: 모듈 삽입의 통합 방식을 통해 모델의 일관성을 향상시킵니다. 예를 들어, Zhang과 Lukasiewicz(2023)는 기호 의미에 대한 이해를 높이기 위해 사전에 있는 단어 의미를 사용하여 모델을 훈련할 것을 제안했습니다. 이러한 향상된 매개변수는 기존 언어 모델의 매개변수와 병합되어 모델 일관성을 향상시킵니다.

• 출력 앙상블: 여러 출력을 합성하여 가장 정확한 답을 얻습니다. Mitchell et al.(2022)은 가장 신뢰할 수 있는 최종 답변을 선택하고 답변 간의 논리적 일관성을 평가하여 모델 생성의 불일치를 줄이기 위해 이 이중 모델 아키텍처를 제안했습니다.

2. 사실성 개선

모델 응답의 신뢰성을 향상하여 모델 자체의 불일치 발생을 줄입니다. 예를 들어 Li et al.(2023)은 모델 매개변수에 포함된 실제 지식을 식별하고 추론 단계에서 이러한 실제 지식과 관련된 방향을 따라 활성화를 조정하여 생성 과정에서 사실적 오류를 줄이는 지식 탐지 방법을 제안했습니다.

내부 메모리 충돌은 LLM 연구에서 중요한 과제이며, 이 문제를 해결하려면 훈련, 생성 및 후처리와 같은 여러 단계부터 시작해야 합니다. 현재 솔루션이 이 문제를 어느 정도 완화했지만, 여전히 극복해야 할 과제가 많이 있습니다.

토론 1: 모델은 갈등에 어떻게 대응해야 합니까?

이상적으로 모델은 지식 충돌이 발생할 때 충돌을 식별하고 명확한 답변을 제공할 수 있어야 합니다. 그러나 연구에 따르면 갈등 존재를 식별하는 데는 기존 모델이 더 나은 성능을 발휘하지만, 구체적인 갈등 구절을 식별하고 차별화된 답변을 생성하는 데는 여전히 어려움이 있습니다. 반면, 일부 연구자들은 '갈등 처리' 작업을 대형 모델로 대표되는 AI에 전적으로 맡겨서는 안 되며, 대신 이 권한을 인간의 손에 맡겨야 한다고 생각합니다.

토론 2: 현재 과제 및 후속 연구 방향

1. 실제 환경에서의 지식 충돌:

연구는 직접적으로 지식 충돌이 발생하는 상황에 초점을 맞춰야 합니다. 네트워크에서 RALM(Retrieval Enhanced Language Models)으로 문서를 검색합니다. 실제 적용을 더 잘 반영하려면 인위적으로 만들어진 지식 충돌을 최소화해야 합니다.

2. 더욱 세분화된 솔루션:

사용자 쿼리의 성격, 상충되는 정보의 출처 및 사용자 기대치를 고려하는 더욱 세분화된 솔루션이 필요합니다. 솔루션은 문제의 범위와 잠재적 솔루션을 인식하여 다양한 유형의 갈등(예: 잘못된 정보, 오래된 정보 또는 주관적인 문제)에 맞게 조정되어야 합니다.

3. 다운스트림 작업 평가:

향후 연구는 일반적인 질문과 답변 데이터 세트를 넘어 광범위한 응용 프로그램에 대한 지식 충돌의 영향을 평가해야 합니다. 여기에는 법률 문서 분석, 의료 진단, 재무 분석, 교육 도구 등 높은 정확성과 일관성이 요구되는 영역이 포함됩니다.

4. 갈등 간의 상호 작용:

내적 기억 갈등, 상황적 기억 갈등 등 다양한 유형의 갈등 간의 상호 작용을 연구하는 것이 중요합니다. 이러한 관계를 이해하면 대규모 모델에서 지식 표현 및 처리 메커니즘을 밝혀 더욱 강력한 모델을 개발할 수 있습니다.

5. 해석 가능성:

대형 모델의 내부 메커니즘(예: 충돌 중 주의 머리 또는 뉴런 활성화)에 대한 더 미세한 검사가 필요합니다. 이는 충돌이 발생할 때 모델이 어떻게 결정을 내리는지 이해하고 경로 패치 및 정리와 같은 충돌 해결 방법을 개발하는 데 도움이 됩니다.

6. 다중 언어:

연구는 언어 간 비영어 단서와 지식 충돌을 탐구해야 합니다. 여기에는 영어 이외의 언어로 된 지식 충돌뿐만 아니라 서로 다른 언어로 된 여러 문서 간의 상황적 충돌도 포함됩니다.

7. 다중 모드:

다양한 형식(텍스트, 이미지, 비디오, 오디오)을 처리하는 대형 모델의 개발과 함께 향후 연구는 다중 모드 환경의 충돌에 초점을 맞춰야 합니다. 여러 데이터 유형에 걸쳐 교차 모달 추론 및 충돌 해결이 가능한 고급 LLM의 개발이 필요합니다.

위 내용은 RAG 대형 모델의 지식 갈등에 대한 심층 분석, 홍콩과 중국 칭화서호대학이 공동 출판의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!