ChatGPT は人間より 20 倍安価にデータに注釈を付け、タスクの 80% で有利です

データアノテーションとは、簡単に言うと、ソーシャルメディア上のコンテンツデータにラベルを付けたり、テーマやコンセプトごとに分類したり、立場や感情を判断したりすることです。これらの注釈付きデータは、NLP モデルのトレーニング セットまたは評価基準として使用できます。

もう 1 つの「人間の仕事」が AI に奪われ、それは AI のトレーニングと密接に関係しています:

データ アノテーション。

チューリッヒ大学の研究では、ChatGPT の前では人間にはコストや効率の点で何の利点もないことが判明しました:

• コストの点では、各ラベルの平均コストChatGPT の料金は 0.003 米ドル未満です。クラウドソーシング プラットフォームより 20 倍安い;
• 効率の点では、ChatGPT は関連性、スタンス、テーマなどのタスクにおいて 4:1 の優位性で人間を「粉砕」します。 。

この論文が公開された後、一部のネチズンは「トレーニング データの生成には手作業が必要である」という言葉は過去のものになったと嘲笑しました。

「古書の修復やデジタル化が加速するのではないか」との声も上がった。

一部の人々はこの興奮を見て、あまり真剣に受け止めず、次のようにツイートしました:

これはプラットフォームの仕事を直接奪っています労働者。

そういえば、ChatGPT はどのようにしてデータ アノテーション ワーカーの「仕事」を盗んだのでしょうか?

ChatGPT は 80% のタスクで優位性を持っています

まず、データ アノテーション作業の具体的な内容を理解する必要があります。

データアノテーションとは、簡単に言うと、ソーシャルメディア上のコンテンツデータにラベルを付けたり、テーマやコンセプトごとに分類したり、立場や感情を判断したりすることです。

これらの注釈付きデータは、NLP モデルのトレーニング セットまたは評価基準として使用できます。

以前はこの種の作業は手作業で行われていましたが、たとえば MTurk はデータ アノテーションに特化したクラウドソーシング プラットフォームです。

MTurk などのクラウドソーシング プラットフォーム内では、専門的な訓練を受けたデータ アノテーターやクラウドソーシング ワーカーなど、より洗練された分業が行われることになります。

前者は高品質なデータが得られるメリットがあるものの、当然コストも高くなります。後者は安価ではあるものの、タスクの難易度によって品質が変動します。

そこで研究チームは、この分野における大規模言語モデル (LLM) の可能性を研究し始め、追加のトレーニングなし (ゼロショット) で ChatGPT (GPT-3.5 ベース) と MTurk のデータ アノテーションを比較しました。パフォーマンス。

この比較は、研究チームが以前に収集した 2,382 件のツイート サンプルに基づいています。

ChatGPT と MTurk は、それぞれ「関連性、立場、テーマ、ポリシー、実用性」という 5 つのタスクでツイートをマークします。

評価基準は 2 つあります:

• 精度: ChatGPT および MTurk クラウドソーシング ワーカーと比較した正しいアノテーションの割合;
• コーダー間の一貫性の信頼性: 以下を使用して計算されます。 ChatGPT、MTurk クラウドソーシング ワーカー、プロのデータ アノテーターのいずれか 2 つの間の一貫性;

結果も明らかであり、精度の点では、ChatGPT は 5 つのタスクのうち 4 つで MTurk クラウドソーシング ワーカーを上回っています。

一貫性の信頼性の点で、ChatGPT はすべてのタスクにおいてプロのデータ アノテーターを上回りました。

コストの点では、冒頭で述べたように、AI が 24 時間 * 7 稼働できることは言うまでもなく、ChatGPT は手作業に比べて平均して 20 倍安価です。

しかし、すべてのネチズンが研究チームが到達した結論に同意したわけではなく、一部の人は次のように言いました:

これら 5 つのタスクは単一すぎる。 、難易度も同様です。これだけを根拠としたそのような結論の信頼性には疑問があります。

一部のネチズンは、調査サンプルが少なすぎると嘲笑しました。

(実際には) サンプルとして使用されたツイートはわずか 2,382 件でした。

「雇用の脅威」はデータのラベル付けを超えます

現時点では、AI が特定の種類の仕事を完全に置き換えるかどうかを言うのは困難です、しかし、それは人間の仕事にある程度の影響を与えることは間違いありません。

先週、OpenAI は、ジョブの 80% が ChatGPT によってある程度の影響を受け、ジョブの 19% が ChatGPT によって深刻な影響を受けるだろうという分析レポートを発表しました。

そして、給与が高い職業はさらに大きな打撃を受けることになる。

OpenAI はさらに、影響を受ける具体的な職業を最大から最小まで列挙しました:

翻訳者、テキスト作成者 (詩人、作家などを含む)、広報担当者、数学者、税務申告者、ブロックチェーン エンジニア、金融関係者、メディア関係者...

△図出典: OpenAI

さらに、OpenAI CEO の Altman 氏は、「既存の仕事の一部は AI に取って代わられるだろう」と何度も述べています。

つい最近、MidjourneyV5 のメジャー アップグレードにより、多くの人間の画家が自分たちの仕事が保証されていないと言うことになりました。

えーっと、まだ仕事を続けられると思いますか?

論文アドレス: https://arxiv.org/abs/2303.15056
参考リンク: https://twitter.com/arankomatsuzaki/status/1640521970608402435

以上がChatGPT は人間より 20 倍安価にデータに注釈を付け、タスクの 80% で有利ですの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。