GPT-4のパフォーマンスはどのくらいスムーズですか?人間の文章は超えられるのか？

要約生成は自然言語生成 (NLG) のタスクであり、その主な目的は長いテキストを短い要約に圧縮することです。ニュース記事、ソース コード、クロスランゲージ テキストなど、さまざまなコンテンツに適用できます。

ラージ モデル (LLM) の出現により、従来の細かいモデルは、 -特定のデータセットでのチューニング方法は適用されなくなりました。

LLM はサマリーの生成にどの程度効果があるのか​​、疑問に思わずにはいられません。

この質問に答えるために、北京大学の研究者は「要約は（ほぼ）死んだ」という論文で詳細な議論を行いました。彼らは、人間が生成した評価データセットを使用して、さまざまな要約タスク (単一のニュース、複数のニュース、ダイアログ、ソース コード、および言語間の要約) における LLM のパフォーマンスを評価しました。LLM が生成した要約、人間が作成した要約、および微調整されたモデルによって生成された要約により、LLM によって生成された要約が人間の評価者に非常に好まれていることが明らかになりました。 、NAACL、およびCOLINGを3年間で調査した結果、論文の約70％の主な貢献は要約要約方法を提案し、それを標準データに使用することであったことが判明し、その有効性はセットで検証されました。したがって、この研究では「要約は（ほぼ）死んだ」と述べられています。

それにもかかわらず、研究者らは、この分野は依然としていくつかの課題に直面していると述べています。たとえば、品質などのより高度な問題の必要性などです。参照データセットと改善された評価方法はまだ解決する必要があります

論文リンク: https://arxiv.org/pdf/2309.09558.pdf

#方法と結果

##この研究では、最新のデータを使用してデータセットを構築します。各データセットは 50 個のサンプルで構成されます。

単一のニュース、複数のニュース、および会話の要約タスクを実行する場合、CNN/DailyMail およびマルチニュースのデータ セット構築方法と同様の方法をシミュレーションに使用しました。言語間の要約タスクについては、Zhu et al. が提案したものと同じ戦略を採用します。コード要約タスクに関しては、Bahrami らによって提案された方法が使用されます。

データセットが構築されたら、次のステップは方法です。具体的には、この記事では、単一のニュース タスクに BART と T5、複数のニュース タスクに Pegasus と BART、対話タスクに T5 と BART、言語をまたがるタスクに MT5 と MBART、ソース コード タスクに Codet5 を使用します。

この実験では、人間の評価者を使用して、さまざまな要約の全体的な品質を比較しました。図 1 の結果によると、LLM によって生成された要約は、すべてのタスクにおいて、手動で生成された要約および微調整モデルによって生成された要約よりも優れています。

これは、伝統的に完璧だと考えられている人間が書いた要約をなぜ LLM が上回ることができるのかという疑問を引き起こします。さらに、予備的な観察では、LLM が生成した要約は非常にスムーズで一貫性があることが示されています。

この論文では、人間の要約文と LLM が生成した要約文における幻覚の問題を特定するためにアノテーターをさらに募集し、その結果が示されています。表 1 に示すように、人間が書いた要約は、GPT-4 によって生成された要約と比較して、同じかそれ以上の数の幻覚を示します。複数のニュース項目やコードの要約などの特定のタスクでは、人間が書いた要約は事実との一貫性が著しく劣ります。

#表 2 は、人間が書いた要約と GPT-4 が生成した要約における幻覚の割合を示しています

この記事では、人間が作成した参考資料の要約には流暢さに欠ける問題があることもわかりました。図 2 (a) に示すように、人間が作成した参考資料の概要には、情報が不完全な場合があります。また、図 2(b) では、人間が書いた参考資料の要約の一部が幻覚を示しています。

この研究では、モデルの微調整によって生成される要約は通常、固定かつ厳密な長さを持つのに対し、LLM は入力情報に基づいて出力の長さを調整できることもわかりました。さらに、入力に複数のトピックが含まれている場合、図 3 に示すように、微調整モデルによって生成される要約ではトピックの範囲が低くなりますが、LLM は要約の生成時にすべてのトピックを取得できます

#図 4 の結果によると、大規模モデルに対する人間の好みスコアが 50% を超えていることがわかります。これは、人々がその概要とモデルに強い好みを持っていることを示しています。テキスト要約における LLM の機能を強調します

以上がGPT-4のパフォーマンスはどのくらいスムーズですか?人間の文章は超えられるのか？の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。