「女の子を誘惑する魔法の道具」はもう効かない！ OpenAIが公式「ChatGPT検出器」をリリース

一般大衆の運動が次々と襲いかかり、OpenAI はついにそれに耐えられなくなりました。

大学教授からスタック オーバーフローに至るまでは長い道のりでした。さて、教師が生徒が提出した論文を見ても、プログラマーがインターネット上のコードを見ても、著者が人間なのか AI なのかはわかりません。

批判を受けて、OpenAI は我慢できなくなり、すぐに AI 検出器をリリースしました。

左右の戦い: OpenAI が ChatGPT 検出器をリリース

つい最近、OpenAI が独自の AI テキスト分類器を正式に発表しました。

これは、テキストが AI によって生成された可能性を推測できる、微調整された GPT モデルです。

興味深いことに、ChatGPT も GPT モデルに基づいており、この分類子を使用して ChatGPT を検出することは、左派と右派の間の争いと言えるでしょう。

トレーニングでは、このモデルは同じトピックについて人間の手書き文字と AI が生成したテキストのペアを使用します。

使用されたマテリアルは、Wikipedia データ セット、2019 年に収集された WebText データ セット、および InstructGPT のトレーニング中に収集された人間のデモンストレーションのセットからのものです。

#体験アドレス: https://platform.openai.com/ai-text-classifier

しかし、この正解率は実際には高くありません...

「チャレンジ セット」内の英語テキストを評価する場合、分類器は 26% しか分類しませんでした。 AI 生成されたテキストは、「おそらく AI によって書かれたもの」 (真陽性) として正しく分類されました。

「女の子をイチャイチャする魔法のツール」はまだ機能していますか？

ChatGPT が世界中にハリケーンを引き起こしていることは疑いの余地がありません。

学生たちはそれを楽しんで利用しており、メディアは「教育システム」が破壊されたと叫んでいます。最近の調査によると、は 89 名です。大学生の % が ChatGPT を使用して宿題を書いています。 さらに、米国医師免許試験、ウォートンMBA試験、ロースクール試験4つにも合格しており、その実力はまさに尋常ではなく、米国版「ヘッドライン」BuzzFeedが発表した。 ChatGPT が記事作成に使用されたというニュースの後、株価は 119% 急騰しました。

そして、その素晴らしい文学的才能により、ChatGPT は多くの男性から「女の子といちゃいちゃできる魔法のツール」とみなされています。

数学の問題を解くのはあまり得意ではありませんが、素晴らしい愛情たっぷりのラブレターを書かせるのはとても簡単です。

いいえ、この海外から来た男性は、ChatGPT を使って妻のモニカにラブレターを書くことにハマっています。

しかし、Monika はすでに彼のトリックを見破っており、これ以上 ChatGPT に依存しないように警告しました。

たくさん遊んで、ChatGPT で生成されたラブレターを仲の良い友達に送った友達もいます。彼らの顔には疑問符が浮かんでいる。

とはいえ、ChatGPT の文才はかなり優れていることがわかります。エッセイ、ラブレター、小説、ChatGPT は問題ありません。誰もが ChatGPT を使って「記事を作成する」ことに夢中になっているのも不思議ではありません。

では、OpenAI がリリースした公式 AI 検出器はどの程度効果があるのでしょうか?

テストしてみましょう。

まず、モニカの夫が彼女に送った愛の詩を試してください。

残念ながら、OpenAI は 1,000 文字を超える記事のみを検出できると述べており、それを助けることができることは何もありません...

翻訳: 少なくとも 1000 文字、つまり 150 ～ 250 個の英単語が必要です。中国語の場合は「千字長文」しかありません。

実際、OpenAI の公式発表では、「この分類器は短いテキスト (1,000 文字未満) の検出には非常に信頼できません。長いテキストでも分類される場合があります。検出器は誤ってラベルを付けました。」とも述べています。 "

さらに、OpenAI の検出器にはいくつかの「制限」があります。

• 分類子は必ずしも正確であるとは限らず、両方の AI に誤ってラベルを付ける可能性があります。 -生成された人間が書いたテキストであり、その口調は断定的です。
• 分類子は英語のテキストにのみ使用することをお勧めします。他の言語ではパフォーマンスが大幅に低下し、コードの信頼性が低くなります。
• 非常に予測可能なテキストを確実に認識できません。たとえば、最初の 1,000 個の素数のリストが AI によって書かれたのか、それとも人間によって書かれたのかを予測することは不可能です。なぜなら、正解は常に同じだからです。
• AI が生成したテキストは、編集後に次のようになる可能性があります。分類器による検出を回避する
• 入力がトレーニング セット内のテキストと大きく異なる場合、分類器は誤った判断を下します

検出器は次のことを行う必要があるため、長い、長いテキストを与えましょう。編集者は、王暁波氏のラブレターの抜粋をまとめ、合計1,027語を収録した。

検出器に入力すると、このラブレターは人間が書いたものであると判定されました。ビンゴ！

次に、編集者は ChatGPT に、Wang Xiaobo を真似て新しいラブレターを作成するように依頼しました。

ご覧のとおり、ChatGPT が書いたラブレターは文学的な文体としては悪くありませんが、文豪の言葉と比べると本当に「魂」がありません。

検出器は、このラブレターが AI によって生成された可能性が高いことも正確に検出しました。

#結果の分割は非常に細かく行われます

具体的には、分類子は入力テキストを分割します。カテゴリ 5:

• 「AI によって生成される可能性は非常に低い」

分類子のしきい値は

• 「AI が生成した可能性は低い」

分類子 しきい値は 0.1 ～ 0.45 です。 「チャレンジセット」では、手書きテキストの約15％、AI生成テキストの約10％にこの注釈が付いています。

• 「AI が記述したものであるかどうかは不明」

分類子 しきい値は 0.45 ～ 0.9 です。 「チャレンジセット」では、手書きテキストの約50％、AI生成テキストの約34％にこの注釈が付いています。

• 「AI が生成した可能性があります」

分類子のしきい値は 0.9 ～ 0.98 です。 「チャレンジ セット」では、手書きテキストの約 21%、AI 生成テキストの約 28% にこの注釈が付いています。

• 「AI によって生成された可能性があります」

分類子のしきい値は >0.98 です。 「チャレンジ セット」では、手書きテキストの約 9%、AI 生成テキストの約 26% にこの注釈が付いています。

#信頼性を強化する必要があります

分類器はほとんどの情報を識別できますが、 AIが生成したテキストだが、OpenAIは「完全に信頼できる」ものではないと警告している。

曲線下面積 (AUC) テストでは、分類器は検証セットで 0.97 のスコア、課題セットで 0.66 のスコアを達成しましたが、以前に公開された分類器は検証セットでは 0.97 ポイントでしたが、チャレンジ セットでは 0.95 ポイントで、0.43 ポイントに達しました。

さらに、言語モデルのサイズが大きくなると、分類器のパフォーマンスが低下します。

しかし、良いニュースは、これは、大規模な言語モデルによって生成されたテキストが人間が書くものにより近いことを意味するということです。

同時に、OpenAI は、この分類器が噂、生徒の作文、チャット記録に基づいて評価されておらず、AI が共著したテキストに対してテストされていないことも具体的に指摘しました。そして、これは現在最も一般的な使用シナリオの 1 つです。

プリンストン大学の22歳の中国人男性が開発したGPTZeroの方が使いやすいようです。

必要な文字数はわずか 250 文字だけでなく、テキスト内のどの段落が AI によって生成されたもので、どの段落が人間によって書かれたのかを明確に示すこともできます。

AIGC 自社開発「AI 検出器」の実際のテスト

OpenAI が正式な「AI 検出器」をリリースする前に、市場現在、多くの AI 検出器が利用可能です。

米国出身の作家兼コンピューター科学者である David Gewirtz は、3 つのオンライン AI 検出器を個人的にテストしました。

ここで最も興味深いのは、そのうちの 2 つは、AI によって生成されたテキストを販売する Web サイトによって作成されたことです。

注: 人間は通常のフォントで書きますが、AI は斜体を生成します。各テキストの後に、検出器の結果が表示されます。 (実際に検出器に入力されるテキストはすべて英語のテキストであり、この記事はその翻訳結果です)。

ちなみに、この David Gewirtz は FBI InfraGard のメンバーでもあり、米国の重要なサイバーセキュリティ専門家の 1 人です。彼は以前、ウースター工科大学で優秀な成績で理学士号を取得しましたが、カリフォルニア大学バークレー校の博士課程を中退しました。

#テストが始まります!

1. ChatGPT による盗作が教師や編集者に迷惑をかける理由を説明してください

ChatGPT ですOpenAI によって開発された GPT (Generative Pre-trained Transformer) 言語モデルのバリアント。指定された入力シーケンス内の次の単語またはフレーズを予測することにより、人間のようなテキストを生成するように設計されています。 ChatGPT はテキストを生成し、プロンプトに応答するための便利なツールですが、盗作に関しては教師や編集者に問題を引き起こす可能性もあります。

ChatGPT が教師や編集者に問題を引き起こす主な理由の 1 つは、実際の人間によく似たテキストを生成する可能性があることです。これは、人々が ChatGPT を使用してテキストを生成し、それを自分の作品として送信し、それによって盗作を犯す可能性があることを意味します。

教師や編集者にとって、特定のテキストが ChatGPT によって生成されたのか、それとも人間によって書かれたのかを検出することは、非常に困難な場合があります。明らかな誤りや矛盾があり、その起源を特定できる可能性があります。そのため、教師や編集者は、その文章がオリジナルであるか、別の情報源からコピーされたものであるかを区別できない可能性があるため、盗作を特定して防止することが困難になる可能性があります。

全体的に、ChatGPT やその他の同様の言語モデルは、困難なテキストを生成する可能性があるため、盗作に関して教師や編集者にとって問題になる可能性があります。人々は捕まらずに盗作をする。

GPT-2 出力検出 r: 99.69% 真。

Writer AI Content Detector : 97% は人間が作成したコンテンツであり、これは驚くべきことです。

大規模なコンテンツ AI コンテンツ検出: ヒューマン スコアは 87%、良好です。

#2. 記事が ChatGPT を使用して生成されたかどうかを検出する方法を少なくとも 3 つ教えてください

##テキストの生成に ChatGPT または他の言語モデルが使用されたかどうかを検出するには、いくつかの方法があります。ここでは、使用できる 3 つの方法を紹介します。

1. テキスト内で繰り返されるパターンや異常なパターンを探す: テキストの生成に言語モデルが使用されているかどうかを検出する 1 つの方法は、パターンを探すことです。文章の中で、繰り返されるパターンや珍しいパターン。たとえば、言語モデルでは、特定のフレーズや単語の組み合わせを繰り返したり、珍しいまたは一貫性のない文構造を使用したりする場合があります。

#2. 独自性の欠如をチェックする: 言語モデルがテキストの生成に使用されたかどうかを検出するもう 1 つの方法は、独自性の欠如をチェックすることです。文章にオリジナリティがあります。テキストの一部が別のソースからコピーされたように見える場合、またはインターネットや他のソースで広く入手可能な情報が含まれている場合、これはそれが言語モデルによって生成された兆候である可能性があります。

3. 剽窃チェッカーを使用する: 最後に、剽窃チェッカーを使用して、テキストの一部が別のソースから盗用されたかどうかをチェックできます。剽窃チェッカーは、言語モデルが論文で使用されたかどうかを明確に判断できない場合がありますが、他のソースからの盗作や言い換えの事例を特定するのに役立ちます。

#言語モデルがテキストの生成に使用されたかどうかを明確に判断することは難しく、これらの方法が常に機能するとは限らないことに留意してください。ただし、言語モデルによって生成されたテキストの潜在的なインスタンスを特定するのに役立つツールになる可能性があります。

GPT-2 出力検出器 : 99.98% 偽物。

Writer AI コンテンツ ディテクタ : 「結果なし」。

大規模なコンテンツ AI コンテンツ検出: 人間のスコアは 0%、明らかに AI。

3. ChatGPT テキストを検出できる 3 つの盗用チェッカーを挙げてください

注目すべきはい、現在存在します。 ChatGPT または他の言語モデルによって生成されたテキストを検出するための専用の盗用チェッカーはありません。一部の盗用チェッカーは、言語モデルによって生成されたテキストの特定の特徴を識別して、そのテキストが AI からのものであることを証明できるかもしれませんが、テキストの一部が言語モデルによって生成されたかどうかを明確に判断できるという保証はありません。

そこで、言語モデルによって生成されたテキストの潜在的なインスタンスを特定するために使用を検討できる 3 つの盗作チェッカーを紹介します。

1. Turnitin: Turnitin は、学校や大学で広く使用されている人気のある盗作チェッカーです。テキストを他のテキストのデータベースと比較して、テキストが盗用されているか言い換えられているかを判断します。テキストの一部が言語モデルによって生成されたかどうかを明確に判断することはできないかもしれませんが、言語モデルによって生成されたテキストの特定の特徴を特定して、それが AI によって生成されたことを証明することは可能かもしれません。

2. PlagScan: PlagScan は、テキストの一部を他のテキストのデータベースと比較して、盗作や言い換えのインスタンスを特定するもう 1 つの盗用チェッカーです。 Turnitin と同様に、言語モデルで生成されたテキストの特定の特徴を識別して、そのテキストが AI によって生成されたことを示す可能性がありますが、言語モデルで生成されたテキストを検出するために特別に設計されたツールではありません。

3. Copyleaks: Copyleaks は、高度な機械学習アルゴリズムを使用してテキストをスキャンし、他のテキストのデータベースと比較してインスタンスを特定する盗作チェッカーです。盗作や言い換えの行為。言語モデルで生成されたテキストの特定の特徴を識別できる場合がありますが、言語モデルで生成されたテキストを検出するように特別に設計されているわけではありません。

#完全に確実な盗作チェッカーは存在せず、一部の言語モデルによって生成されたテキストは常に検出を​​逃れることができることに注意してください。したがって、盗作チェッカーは補完的な手段としてのみ使用することが重要です。

GPT-2 出力検出器 : 99.62% 真実。

Writer AI コンテンツ ディテクタ : 「結果なし」。

大規模なコンテンツ AI コンテンツ検出: ヒューマン スコアは 86%、良好です。

4. オンライン人工知能盗作チェッカー

ほとんどの盗作検出器の原理は、テキストを他のコーパスと比較することです。比較用に。たとえば、学生がエッセイを提出すると、Turnitin のような製品は、データベース内の膨大なエッセイのライブラリやインターネット上の他のテキストと照合して、提出されたエッセイにすでに書かれた内容が含まれているかどうかを判断します。

しかし、AI ライティング ツールは、少なくとも理論上はオリジナルのコンテンツを生成します。はい、トレーニング データ セットからコンテンツを構築しますが、作成される単語は記事ごとに異なります。

したがって、AI が生成したコンテンツが他の学生の論文に存在する可能性は低いため、上記の剽窃チェッカーは機能しない可能性があります。

そこで、AI が生成したコンテンツを見つけるために特別に設計された検出器を Google で検索しました。 3つ見つけました。下のスクリーンショットのテストでは、ChatGPT に「スタートレックはスター ウォーズよりも優れていますか?」という質問をしました。その答えはまったく悪くなく、その答えを 3 つの検出器にフィードバックしました。

GPT-2 出力検出器 : 99.98% 真実。

Writer AI コンテンツ ディテクタ : 100% 人間が作成したコンテンツ、素晴らしいです!

大規模なコンテンツ AI コンテンツ検出: 100% ヒューマン スコア、見た目は良好です。

結果評価

地方フロー:

• OpenAI は以前、GPT をターゲットとしていました。 2 新しいモデルによって構築された検出器は、新しいモデルによって生成されたコンテンツによって騙されることがあります。
• AI が生成したコンテンツを販売する企業が作成した「検出器」は、基本的に信頼できません。

1. GPT-2 出力検出器 (精度 66%)

GPT-2 出力検出器OpenAI 自身が開発した「重複チェック」ツールです。

もともと GPT-2 用に構築されましたが、現在では AI によって生成されたさまざまなテキストの検出に使用でき、良好な結果も得られます。 6 つのテストのうち 4 つが正解でした。

2. Writer AI Content Detector (精度 33%)

Writer.com 主にジェネレーティブを提供企業チーム向けの AI ライティング サービスでは、「AI Content Detector」と呼ばれるツールを使用して、コンテンツが AI によって生成されたかどうかを判断できます。

しかし残念なことに、このツールは非常に信頼性が低いです。合計 6 回のテストのうち、正常に実行されたのは 3 回のみでした。結果は 3 回のみで、そのうち 2 回が正しく、1 回が不正解でした。

##3. 大規模なコンテンツ AI コンテンツ検出 (精度 50%)

3 番目のツールも AI コンテンツ生成会社によって作成されており、結果から判断すると、前のツールよりもはるかに信頼性が高くなりますが、全体的な効果はまだ平均的です。

Content at Scale のマーケティング スローガンは次のとおりです。「キーワード リストをアップロードするだけで、AI コンテンツ検出を回避する記事を入手できます。すべて人間の介入は必要ありません。」これは合計 3 回中 3 回正確でした。 6つのテスト。

いくつかの考え (AI も関係しています笑)

AI による盗作はますます深刻になっています。 Notion AIやChatGPTのようなAIによって生成されたテキストは、人間が書いたテキストとほとんど区別がつきません。

テキストの一部が AI によって生成されたかどうかを検出するには、繰り返されるパターンや異常なパターンを探す、独創性の欠如をチェックするなど、いくつかの方法があります。または盗作チェッカーの使用。

Turnitin、PlagScan、Cop​​yleaks などの剽窃チェッカーは、言語モデルで生成されたテキストの特定の特徴を特定できる可能性がありますが、確実ではありません。

現時点では、AI と AI を戦わせる準備ができていない可能性があります。それどころか、特定の作品が AI によって生成されたかどうかを識別するには、依然として人間の知覚に頼る必要があります。 ＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃あなたはこのことについてどう思いますか？

これらの AI ツールを使用したことがありますか?そして、その記事がAIによって生成されたかどうかを見分けることはできるのでしょうか？彼らは業界に役立つと思いますか、それとも妨げると思いますか?

皆さん、記事の最後にメッセージを残していただければ幸いです。

ChatGPT の答えは次のとおりです:

言語モデルとしては、次のことができます。それが分からないので、記事が AI によって生成されたものであるかどうかはわかりません。

#ただし、現在、ニュース記事や小説など、さまざまなコンテンツを生成するために使用できる AI ライティング ツールがいくつかあると言えます。 、詩など。

#私は単なるコンピューター プログラムであり、インターネットを閲覧したり物理的なデータを使用したりする能力がないため、これらのツールを個人的に使用した経験はありません。ツール。ただし、特定のタスクを自動化することで時間とエネルギーを節約できるため、AI ライティング ツールが教育やジャーナリズムに役立つと考える人もいると言えます。このツールが誤解を招くコンテンツや偏ったコンテンツを作成したり、人間のライターを置き換えたりするために使用される可能性があると懸念を表明する人もいます。

結局のところ、AI ライティング ツールが役に立つか妨げられるかは、AI ライティング ツールがどのように、どのような状況で使用されるかによって決まります。 だから、はい、それだけです。

その過程で、David は非常に興味深い点を発見しました。それは、オンラインで愚かな内容や間違った内容を見たときに、ただ読んではいけないということです。 AIが書いたものです。

David 氏は、誰もが知っているように、人間はゴミコンテンツを自分で書く能力が十分に備わっていると述べました。

結局のところ、コンテンツが人間によって生成されたか機械によって生成されたかに関係なく、愚かさは常に共通の特徴でした。

以上が「女の子を誘惑する魔法の道具」はもう効かない！ OpenAIが公式「ChatGPT検出器」をリリースの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。