AIはAIに勝てない！ ChatGPT 検出器は無実の生徒を頻繁に告発し、210 万人の教師によって使用されています

AI によって無邪気に「不正行為」のレッテルを貼られたらどう思いますか?

#これは高校 4 年生のルーシー ゲッツに起こりました。彼女はもともと社会主義に関するオリジナル論文を書き、それが最高得点を獲得しました。

#しかし、Turnitin の AI 書き込み検出器は、実際には、Goetz の論文の最後が ChatGPT を使用して生成されたと述べました。

ゲッツさんは「先生たちと良い関係を築くことができてとてもうれしいです。」とショックを受けました。

#つまり、幸いなことに先生は私のことを理解してくれました。そうでなければ、たとえ黄河に飛び込んでも身を清めることはできないでしょう。

#さらに驚くべきことは、この ChatGPT 検出器が現在 210 万人の教師によって使用されていることです。

AI は AI に勝てない

Goetz の論文のフラグ付き部分は異常ですが、検出器が時々間違いを犯すことを示しています。

#明らかに、AI は AI に勝つことができません。これは多くの学生に悲惨な結果をもたらす可能性があります。

#Turnitin の検出器をテストするために、ジェフリー A. ファウラー記者はゲッツを含む 5 人の高校生をテストしました。

#彼らは、実際のソース、AI によって生成されたソース、および混合ソースをカバーする 16 のサンプル ペーパーを作成しました。

#結果はどうなりましたか?

Turnitin の検出器はサンプルの少なくとも半分にエラーがありました。記事のうち 6 つだけを正確に識別しましたが、3 つの記事すべてを検出できませんでした。失敗しました。これには、ゲッツの元の論文の 8% にあるマークの誤りが含まれます。

残りの 7 つの記事について、ファウラー氏は次のように述べています。

# ただし、Turnitin は、その検出器の全体的な精度が 98% であると主張しています。同社はまた、独自のテストでは、ゲッツ氏の論文のような状況（つまり、偽陽性）が発生する確率は1パーセント未満だったと述べた。

Turnitin の AI 検出器の詳細ページでは、全体的なスコアが割り当てられ、AI によって生成されたと思われる文が強調表示されます。同社は、AIによって生成された疑いのある文章を意図的に赤ではなく青でマークし、スコアの下に教師リソースをリンクしたと述べた。

カリフォルニア州コンコードの Goetz で AP 英語教師を務める Rebecca Dell 氏は、Turnitin の AI テキストを採点するシステムが常に機能するとは限らず、それが懸念されると述べました。

#盗作告発とは異なり、AI 不正行為には証拠となる出典文書がありません。これは、教師が生徒に対して偏見を抱く最も簡単な方法です。

おそらく誰もがゲッツほど幸運ではないでしょう。

Goetz 氏は、「生徒にとって、AI の不正行為で告発されるのは特に怖いことです。教師があなたの文章の書き方を理解しているか、あなたのことをとても気に入っている場合は別です。信頼してください。そうしないと、不正行為をしていないことを証明する方法がありません。」

AI 検出が非常に難しい理由

ChatGPT の出現以来、ChatGPT は多くの大学の学生や教師によって毎日の宿題で使用されています。そして教えること。

しかし、制限されなければ、ChatGPT は史上最も強力な不正行為ツールとなり、学生が宿題を書いたり、試験問題を完成させたりするのに役立ちます。

#偵察に対抗するために、シンプルで使いやすい検出器が教師たちに期待されています。 22歳のプリンストン大学の学生、エドワード・ティアンは、自身で検出器GPTZeroを開発しました。

#OpenAI は、AI Text Classifier と呼ばれる新しいツール、ファイル検出器のリリースを正式に発表しました。

#しかし、これらの検出器のパフォーマンスは満足のいくものではありません。

#AI が作成したコンテンツの検出は簡単そうに思えます。しかし、手書きの電子メールと ChatGPT によって生成された電子メールを渡された場合、私たちが違いを見分けることはほとんど不可能です。

Turnitin の人工知能担当副社長である Eric Wang 氏は、ソフトウェアを使用して人工知能の書き込みを検出するには統計が必要であると述べました。統計的な観点から見ると、人工知能が人間と異なるのは、平均レベルで非常に安定しているということです。

ハッキリ言ってAIレベルは非常に安定しています。しかし、実際にはそうではありません。

「ChatGPT のようなシステムは、オートコンプリートの高度なバージョンのようなもので、次に書く可能性の高い単語を探しています。それが実際に、それが読まれる理由です。 AI のライティングは、人間のライティングのサブセットである可能性が最も高いです。「

Turnitin の検出器は、「ライティングがあまりにも一貫した平均的な状況であることを識別」します。課題は、人間の文章が実際には平均的であるように見える場合があるということです。

経済学、数学、研究室のレポートでは、学生は決まった書き方に従う傾向があるため、AI が書いていると間違われる可能性が高くなります。

内容が経済学を扱っていたため、Turnitin が誤って Goetz の論文にフラグを立てた理由はおそらくこれです。

Wang 氏は、Turnitin がこの点で間違いを犯さないように文を AI 生成のラベルを付ける前に、より高いレベルの信頼性を要求するようにシステムを調整することに懸命に取り組んだと述べました。

# 氏は、自分のソフトウェアが大きく進歩したとも述べています。 「1 月下旬に初めてゲッツの論文をテストしたとき、ソフトウェアはそれらの約 50% を AI によって生成されたものと識別しました。Turnitin は 3 月下旬にシステムで私のサンプルを再度実行しましたが、その時点でフラグが付けられたのはゲッツの論文のうち 8 件のみでした。% は

Turnitin の検出器は、他の重要な技術的制限にも直面しています。

完全に正しく検出された 6 つのサンプルのうち、それらはすべて明らかに 100% 学生の作品、または Generated by によって作成されたものでした。チャットGPT。

#しかし、AI と人間のソースを混合した論文でテストすると、個々の文を誤って認識したり、人間の部分を完全に見逃したりすることがよくありました。また、文章を再結合できる書き換えプログラム Quillbot を通じて処理された論文からは、ChatGPT の痕跡を検出できませんでした。

#さらに、Turnitin の検出器は、人工知能テクノロジーの現状よりすでに遅れている可能性があります。

ChatGPT を例にとると、ChatGPT は GPT-4 の恩恵を受け、より創造的で様式化された機能を備えています。

NVIDIA の科学者 Jim Fan 氏は、「この検出器が長期的には信頼できるとは思えません」と述べています。人工知能はますます改良され、ますます人間に近い方法で文章を書くようになるでしょう。これらの言語モデルの癖は時間の経過とともに解消されると言っても過言ではありません。

AI を検出に使用することは得策でしょうか?

エラーの可能性がある場合 (たとえ 1% であっても)、なぜ AI 検出器をリリースするのでしょうか?

#「教師たちは抑止効果を望んでいる」とチェチテリ氏は語った。しかし、一部の教育者は、これが実際に生徒のストレスレベルを高める可能性があると懸念しています。

Turnitin は、4 月 4 日に約 10,700 の中等教育機関および高等教育機関を対象にこの ChatGPT テストを開始しました。このマシンは、「AI-生成された」スコアリングと生徒の課題の文ごとの分析。

ミシガン大学ディアボーン校デジタル教育担当副学長のミッチェル・ソレンバーガー氏は、Turnitinに対し、初期リリースではキャンパスのAI検出を有効にしないよう求めました。

彼は、Turnitin を通じて学期ごとに約 20,000 人の生徒のレポートをテストする教師が誤検知を受け、根拠のない主張につながる可能性があることを懸念しています。教師はサードパーティ ソフトウェア システムの専門家になることを期待されていません。

以上がAIはAIに勝てない！ ChatGPT 検出器は無実の生徒を頻繁に告発し、210 万人の教師によって使用されていますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。