Google は新しい NLU タスク「自然言語評価」を検討し、AI が正式な面接前のウォーミングアップを支援します。

人生を駆け巡るともいえる「疑問解決」 試験問題のように一人で解ける疑問もありますが、面接などの対話型の質問となると、一人では解決することが困難です。

この種のインタラクションは通常の質問と回答とは異なり、通常は「スペア パートナー」が特定の状況で質問に答え、最終的な目標を達成するためにユーザーの思考を導く必要があります。

たとえば、面接官は質問をする責任があるだけでなく、問題とオプションの解決策についての理解を表現できるように導く必要もあります。このような質問は、自己紹介など、自由回答形式の場合もあります。

AI の究極の目標は、人間ができるすべてのことをモデルに置き換えることです。この種の「面接トレーナー」も例外ではありません。

しかし、現在の自然言語処理の分野では、この能力は十分な注目を集めておらず、技術的に非常に困難です。

最近、Google は重要な自然言語理解 (NLU) 機能、つまり自然言語評価 (NLA) を公式ブログで導入し、それが教育の文脈でどのように役立つかを議論しました。

一般的な NLU タスクはユーザーの意図に焦点を当てますが、NLA では複数の観点から回答を評価できます。

ユーザーが自分の答えがどの程度優れているかを知りたい場合、NLA は答えが期待にどれだけ近いかを分析して提供できます。

「正しい」答えがない可能性がある状況では、NLA は時事性、関連性、長い質問などを含む微妙な洞察を提供できます。

研究者らは、NLA の範囲を開発し、局所的な NLA を実行するための実用的なモデルを提案し、求職者が面接の質問に答える練習を支援するために NLA をどのように使用できるかを実証しました。

自然言語評価の概要

NLA の目標は、ユーザーが提供した回答を一連の期待に照らして評価することです。

たとえば、学生と対話する NLA システムがあります。これには次のコンポーネントがあります:

• 学生に質問する;
• 期待はユーザーを定義します期待 答えから何が得られるか。たとえば、特定のテキスト回答や、ユーザーが回答でカバーすることを期待している一連のトピックなど、回答は簡潔である必要があります。
• 学生による回答;
• 評価結果。正確さ、情報の欠落、具体的または一般的すぎる、文体のフィードバック、発音などが含まれます。
• オプション: コンテキスト。たとえば、本や記事の段落などです。

NLA を使用すると、回答に対する期待と回答の評価の両方が非常に幅広くなり、教師と生徒の間のやり取りがより表現力豊かで詳細なものになります。

特定の正解がある問題

明確な正解がある場合でも、単純な正解か不正解かだけではなく、よりニュアンスを持って答えを評価することができます。

• コンテキスト: ハリー・ポッターと賢者の石
• 質問: ホグワーツとは何ですか?
• 期待: ホグワーツは魔法の学校です
• 答え：よくわかりませんが、学校だと思います。

質問と回答システムの場合、重要な詳細「マジック」が欠如しているため、上記の回答は不正解としてマークされる可能性があります。これは、ユーザーが回答が完全に正しいわけではなく、正確ではないと考えるためです。とても理にかなっています。

NLA は、生徒の答えが一般的すぎる、生徒が答えに十分な自信を持っていないなどの判断など、より詳細な理解を提供できます。

この微妙な評価は、生徒が表現する不安に気づくことと同様に、生徒が会話環境でスキルを身につけるのに重要です。

トピックの期待

多くの場合、質問者は特定の答えを期待していません。

たとえば、学生が意見を尋ねられ、具体的な文章が期待されていない場合、質問者は答えの関連性と意見にもっと関心を持ちます。おそらく、答えの単純さと流暢さも重要な要素です。質問者様の評価の範囲内です。

• 質問: 自己紹介をお願いします。 (あなた自身について少し教えてください?)
• 期待: 「教育」、「経験」、「興味」などが含まれるトピックの集合です。
• 回答: 私はいます。カリフォルニア州サリナ Si は成長してスタンフォード大学に通い、経済学を専攻しましたが、その後テクノロジー業界に興味を持ち、次は...

この場合、有用な評価出力 ユーザーの回答対象となるトピックのサブセットにマップされ、場合によってはテキストのどの部分がどのトピックに関連するかを示すマーカーが付けられます。

これは、自然言語処理の観点からすると、回答が長くなり、トピックが混在し、各トピック自体が多面的になる可能性があるため、困難です。

トピック NLA モデル

原則として、トピック NLA (Topicality NLA) は標準的な複数分類タスクであり、開発者は一般的に使用されるモデルに基づいて分類子を簡単にトレーニングできます。

しかし、NLA の場合、利用できるトレーニング データは非常に少なく、質問やトピックごとにトレーニング データを収集するのは非常にコストと時間がかかります。

Google の解決策は、各トピックを大規模言語モデル (LLM) を使用して識別できるきめ細かいコンポーネントに分解し、単純な全体的なチューニングを行うことです。

研究者らは、各トピックを潜在的な質問のリストにマッピングし、文にこれらの潜在的な質問の 1 つに対する回答が含まれている場合、そのトピックはカバーされていると定義しました。

エクスペリエンスのトピックについて、モデルは次のような潜在的な質問をいくつか選択できます。

• どこで働いていますか? ＃＃＃＃＃＃あなたは何を勉強した？
• ...
• 「興味」のトピックの下には、

何に興味がありますか?などの基本的な質問もいくつかあります。 ＃＃＃＃＃＃あなたは何をするのが好きですか？

#....
• これらの基本的な質問は、反復的な手動プロセスを通じて設計されています。
• 重要なのは、これらの質問は十分に粒度が細かいため、現在の言語モデルはこれらの文内のセマンティクス (What と Where の違いなど) を捉えることができ、開発者が NLA 主題タスクのソリューションを提供できるようにすることもできます。ゼロショット セットアップ: モデルが一度トレーニングされた後は、新しい質問や新しいトピックを継続的に追加したり、トピック固有のデータを収集せずに基本コンテンツを変更することで既存のトピックを適応させることが期待できます。

求職者の面接準備を支援

NLA の応募シナリオを調査するために、Google 開発者は求職者と協力して新しいツールを開発しました。面接ウォームアップ: IT サポートやユーザー エクスペリエンス デザインなど、急速に成長している雇用分野での面接の準備をユーザーが支援します。

この Web サイトでは、求職者が自宅で業界の専門家からの質問に答える練習をして、実際の面接でより自信を持って快適になれるよう、多数の質問を提供しています。

Google も求職者からインスピレーションを得て、面接プロセスの難しさを理解した上で NLA の調査を考案しました。

面接ウォームアップは、回答を評価したり判断したりするものではなく、ユーザーに一人で練習できる環境を提供し、ユーザーの自己向上を支援するだけです。

ユーザーがインタビューの質問に答えるたびに、その答えは NLA モデルによって文ごとに解析され、ユーザーはさまざまな論点を切り替えて、自分の答えの中でどの論点が見つかったかを確認できます。

研究者らは、ユーザーのフィードバックが「良い」ということをユーザーに伝える場合、特にモデルが限られたトピックのセットしか検出しない場合、多くの潜在的な落とし穴があることに気づきました。

代わりに、システムは制御をユーザーの手に委ね、機械学習のみを使用してユーザーが改善方法を発見できるようにします。

これまで、このツールは世界中からの多数の求職者を助け、素晴らしい結果をもたらしてきました。開発チームは最近、このツールをアフリカに拡大し、計画しています。求職者との協力を継続し、新しい仕事を探している何百万人もの人々にとってこのツールをさらに役立つものにすることを繰り返していきます。

自然言語評価 (NLA) は、技術的に挑戦的で興味深い研究分野です。

NLA は、複数の視点からの回答の微妙な評価と分析を通じて学習を進める、新しい会話型アプリケーションへの道を開きます。

NLA は、求職者や企業から教室の教師や生徒に至るまで、コミュニティと協力することで、ユーザーが責任を持ってさまざまな科目にわたってスキルを学び、取り組み、開発できるよう支援する可能性がある状況を特定できます。ユーザーが自分の能力を評価し、改善する方法を見つけられるようにするアプリケーションを構築します。

参考: https://ai.googleblog.com/2022/10/natural- language-assessment-new.html

以上がGoogle は新しい NLU タスク「自然言語評価」を検討し、AI が正式な面接前のウォーミングアップを支援します。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。