AIが生成した科学文書を識別できる新しい検出ツールがリリースされ、99％以上の精度を主張

6 月 8 日の IT ハウス ニュース: 今年初め、米国テネシー健康科学センターの放射線科医であるソム ビスワス氏が、人工知能チャットボット ChatGPT を活用した論文を雑誌 Radiology に発表したため、注目を集めました。 「ChatGPT とメディカル ライティングの将来」というタイトルの記事を執筆しています。彼は、ChatGPT テクノロジーの有用性についての認識を高めるために、ChatGPT で生成されたテキストの使用と変更を表明しました。彼によると、その後 4 か月間で ChatGPT を使用して 16 件の雑誌記事を発表しました。一部のジャーナル編集者は、ChatGPT によって執筆された記事を大量に受け取っていると報告しています。

この状況に対処するために、カンザス大学の化学教授であるヘザー・デゼール氏と彼女のチームは、科学文書が人間によって生成されたものなのか、ChatGPT によって生成されたものなのかを効率的かつ正確に区別できる新しい AI 検出ツールを開発しました。研究結果は、Cell Reports Physical Science 誌に掲載されました。

デゼール教授は、彼女とそのチームがまず、サイエンス誌に掲載された64件の「パースペクティブ」記事を分析したと述べた。これは、現在の研究をレビューし、評価する総説記事である。次に、同じ研究テーマに関して ChatGPT によって生成された 128 件の記事を分析しました。彼らは 2 つを比較し、科学文書の著者の身元を判断するために使用できる 20 の特徴を発見しました。

彼らは、人間の科学者と ChatGPT では、段落の複雑さ、文の長さ、句読点、語彙の使用法が大きく異なることを発見しました。括弧、ダッシュ、疑問符、セミコロン、大文字などの記号と比較すると、ChatGPT では使用頻度が低くなりますが、人間の科学者は使用頻度が高くなります。人間の科学者は、「しかし」、「とはいえ」、「でも」などのあいまいな言葉を使用する傾向があります。 ChatGPT は文の長さが比較的均等に分布する傾向がありますが、人間の科学者は執筆の際に短い文と長い文の両方を使用することがあります。

これらの 20 の機能に基づいて、彼らは既製の機械学習アルゴリズム XGBoost を使用して AI 検出ツールをトレーニングしました。彼らは 180 の記事で AI 検出ツールのパフォーマンスをテストし、これが、科学論文は人間または ChatGPT によって書かれました。デゼール教授は、「この方法の精度は 99% 以上です」と述べ、科学文書に特化したものではなく、より広範囲のテキスト タイプでトレーニングされている既存のツールよりもはるかに優れていると付け加えました。

デゼール教授は、この AI 検出ツールはジャーナル編集者が ChatGPT を使用して書かれた多数の論文を扱うのに役立ち、どの論文がレビューに値するか優先順位を付けることができると述べました。同氏は、このツールは適切な言語でトレーニングされていれば、学生の盗作の検出など、さまざまな分野に適応できると付け加えた。便利な機能を特定したら、それを必要なドメインに適応させることができます。 「

IT House は、この AI 検出ツールが非常に役に立つと誰もが考えているわけではないことに気づきました。南オーストラリア大学の変化と複雑性学習センター（C3L）のヴィトミール・コバノビッチ博士は、デゼール教授と彼女のチームが行った比較は非現実的であると述べた。なぜなら、彼らは100％AIが生成したテキストと100％人間が生成したテキストを比較しただけであり、人間とAIのコラボレーションを考慮します。同氏は、科学者がChatGPTを使用する場合、AIが生成したテキストを科学者が編集するなど、ある程度の人間と機械のコラボレーションが行われることが多いと述べた。書き直された文: ChatGPT は時折エラーを起こしたり、誤った参照を生成したりする可能性があるため、これが必要です。しかし、研究者らは 2 つの極端なケースを比較しただけなので、成功率は向上しました。

アデレード大学機械学習研究所のリンチャオ・リュー博士も、現実世界ではこうした AI 検出ツールの精度が低下し、さらなる誤分類につながる可能性があると考えています。 AI が生成した画像を検出するアルゴリズム開発の専門家であるリュー博士は、「方法論的には問題ありませんが、使用には一定のリスクがあります。」と述べています。

一方、Liu 博士は、AI によって書かれたテキストが 100% 検出に合格するように、人間が ChatGPT に特定の方法で書くように指示することも可能であると指摘しました。実際、一部の解説者は、機械をより人間に近づけようとする者と、その技術を邪悪な目的で使用している者を暴露しようとする者との間の競争を指し、「軍拡競争」についてさえ語っています。

コバノビッチ博士は、テクノロジーの勢いと潜在的なプラスの影響を考慮すると、競争は無意味であると考えています。彼は、AI の検出はまだ臨界点に達していないため、AI をより有効に活用することにエネルギーを投資する必要があると示唆しました。同氏は、大学生が執筆にAIを使用しているかどうかを測定するために盗作防止ソフトウェアを使用することには反対しており、学生に不必要なプレッシャーをかけることになると主張している。

以上がAIが生成した科学文書を識別できる新しい検出ツールがリリースされ、99％以上の精度を主張の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。