ChatGPT コーダーを「雇用」するための面接を行うにはどうすればよいですか?

翻訳者|Zhu Xianzhong

企画|Xu Jiecheng

開発者が信頼する他のソフトウェア開発ツールとは異なり、AI ツールにはトレーニング、構築、ホスティング、使用方法の点でいくつかの制限があります。 . 特有のリスク。

2022 年末に ChatGPT がリリースされて以来、インターネットには、ChatGPT を支持する議論と疑問を抱く議論がほぼ同じ割合で溢れています。好むと好まざるにかかわらず、AI は開発組織に浸透しつつあります。 AI 製品を開発したり、AI ツールを活用してコードを作成したりする予定がない場合でも、ソース コードの構築、テスト、実行に使用されるツールやプラットフォームに AI 製品が統合されている可能性があります。

AI ツールには、自動化されたタスクによってもたらされる生産性の向上に影響を与える可能性のある特別なリスクがいくつかあります。これらのリスクは主に、AI のトレーニング、構築、ホスト、使用方法に起因しており、AI ツールは開発者が信頼する他のツールとは多くの点で異なります。リスクを理解することは、リスクを管理するための最初のステップです。AI ツールの潜在的なリスクを理解するのに役立つように、AI ツールに関する面接の質問をいくつか用意しました。これらの質問は、ツールが貴社にうまく「参加」できるかどうかを決定します。

一般的に、すべての AI ツールには一定の共通点があります。人工知能の種類や目的に関係なく、人工知能の使用を選択する前に次の質問をする必要があります。

• この AI ツールのインフラストラクチャはどこですか?現代の人工知能は、それをサポートするために専用の高価なハードウェアを必要とするものはありません。新しいデータセンターを取得する予定がない限り、AI ツールはリモートでのみ機能し、リモート アクセスとオフサイトのデータ ストレージが必要となるため、一定のセキュリティ リスクが生じます。
• コードが処理境界を離れるときの IP 損失を防ぐために、どのような保護が実施されていますか?スマート TV からスマートカーに至るまで、すべての人工知能製品はメーカーにデータを提供しています。このデータを使用してソフトウェアを最適化する企業もあれば、それを広告主に販売する企業もあります。したがって、AI ツールがその主要なタスクに使用するソース コードやその他のプライベート データをどのように使用または処理するかを正確に理解する必要があります。
• あなたの入力はモデルのトレーニング タスクに使用できますか?人工知能モデルの継続的なトレーニングは、すべてのモデル会社とモデル トレーナーにとって大きな関心事です。たとえば、モデル所有者は、広告主が無料広告を実現するためにモデルのトレーニングにあまり関与することを望まないことがよくあります。
• 結果はどの程度正確ですか? ChatGPT の最も致命的な欠点は、結果が不正確であることです。嘘と真実の両方を生成することに優れており、これを AI イリュージョンと呼びます。人工知能が間違いを犯す方法とシナリオを理解することは、AI ツールが間違いを犯したときの管理に役立ちます。

#さらに、人工知能のすべての企業と開発者は、独自の一連のセキュリティ問題を抱えています。これらの新たな懸念には、AI でトレーニングされたモデルに対する脅威が含まれます。これにより、結果が破損し、モデルの動作方法やモデルによって生成された結果の品質に関する機密情報が漏洩する可能性があります。さらに、AI モデルは、API、Web アクセス、モバイル アプリ、安全に構築する必要があるその他のアプリケーションを通じて従来の世界と対話する必要があります。

一般的な質問に加えて、ソフトウェア開発プロセス中に導入されるリスクを管理するために、開発者は AI ツールを使用するとき、AI セキュリティ スキャナーの使用など、他の側面について質問する必要があります。

• #AI ツールはこのようなシナリオに適していますか? AI が何が苦手なのかを理解することが重要です。たとえば、タスクが「学習ルールに基づいて意思決定を行う」または「学習ルールに従ったコンテンツを作成する」に分類できる場合、AI は通常、そのようなタスクを非常に得意とします。問題がこれを超えて変化すると、AI のパフォーマンスが低下する可能性があります。
• AIツールがエラーを起こした場合、どのような保護措置を講じるべきでしょうか?プロセスに単一障害点、特に幻覚を引き起こす可能性のある障害点を決して導入しないでください。推奨されるアプローチは、多層防御に関連する従来の慣行、またはリスク管理のアプローチ、つまりシステム内の 1 つの層で問題が発生した場合に、次の層がそれをキャッチするという考え方に依存することです。
• レビューツールの結果はどのように監視すべきですか?実際、これは再び提起された古い質問です。従来の問題ログ キャプチャ ソリューションは、通常 2 つの部分に分かれています: 1 つ目は重要なイベントに関するデータの取得で、2 つ目は監査ログです。 AI がさらに成熟し、その欠陥が理解または軽減されるまで、人間は依然としてサイクルの制御を維持する必要があります。

現在、ソース コードを書くために ChatGPT を「雇う」開発者が増えています。暫定レポートによると、ChatGPT は複数のプログラミング言語でソース コードを記述することができ、すべての一般的な言語に堪能です。現在のベータ版のトレーニングとモデルには制限があるため、生成されるコードは必ずしも完璧であるとは限りません。多くの場合、ソフトウェアの実行方法を変える可能性のあるビジネス ロジックの欠陥、ソフトウェアの異なるバージョンが混在する可能性のある構文エラー、その他の一見人間的な問題が含まれています。

一般的に言えば、ChatGPT はジュニア プログラマーにすぎません。それで、誰がその上司になるのでしょうか？

言い換えれば、ChatGPT はジュニア開発者レベルです。したがって、この若手開発者が書いたコードを扱うときは、その管理方法を検討する必要があります。

• 彼らが書いたコードの全体的な有効性を確保するために誰が上司になるか?ジュニア開発者は多くの場合、シニア開発者の支援を必要とします。コードのすべての行をテストする必要があり、一部を修正する必要があります。ただし、レポートによると、この校正プロセスはコードを最初から作成するよりも時間がかかり、複雑です。
• トレーニング コードをコード ベースに挿入またはリミックスしていますか?さらに陰湿な脅威は、GitHub Copilot のような AI ボットがトレーニング データからコードのブロックを完全に複製するソース コードを生成することがあることです。したがって、ライセンスのリスクを確実に管理するには、盗作防止ツールを利用する必要があります。
• AI ツールはトレーニング データをどこから取得しますか?人工知能モデルの能力レベルは、そのトレーニング データと密接に関連しています。 AI が古いコードまたは誤ったコードを使用してトレーニングされた場合、古くて誤った結果が生成されます。
• エンジンはどこでホストされていますか?ソースコードを分析するAIロボットは、ソースコードを対応する処理デバイスに統合する必要があります。データが会社の管理下を離れた後、データがどのように保護、使用、廃棄されるかについては、特別な考慮を払う必要があります。

いずれにせよ、2022 年 12 月の ChatGPT のリリースは、ソフトウェア開発の新時代の到来を告げるものです。このようなツールの変化に常に注目し、それに圧倒されないようにすることが重要です。これらの新しいツールを導入するときは、変更が多ければ多いほど、変更は変わらない必要があることに注意してください。セキュリティ インシデントは、発見するよりも防ぐ方が常に良いのです。

元のリンク: https://thenewstack.io/hiring-an-ai-tool-to-code-what-to-ask-at-the-interview/

以上がChatGPT コーダーを「雇用」するための面接を行うにはどうすればよいですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。