Google은 새로운 NLU 작업 '자연어 평가'를 탐구합니다. 정식 인터뷰 전에 AI가 준비를 도와드립니다!

"질문 해결"은 인생 전체에 걸쳐 진행된다고 할 수 있습니다. 시험 문제와 같은 일부 문제는 혼자서 해결할 수 있지만 인터뷰와 같이 상호 작용이 필요한 문제의 경우 한 사람이 해결하기 어렵습니다.

이런 종류의 상호 작용은 일반적인 질문 및 답변과는 다릅니다. 일반적으로 특정 상황에서 질문에 대답하고 사용자가 궁극적인 목표를 달성하도록 유도하는 "예비 파트너"가 필요합니다.

예를 들어 면접관은 질문만 하는 것이 아니라, 문제에 대한 이해와 선택적인 해결책을 표현할 수 있도록 안내합니다. 이러한 질문은 자기 소개와 같이 개방형일 수도 있습니다.

AI의 궁극적인 목표는 인간이 할 수 있는 모든 것을 모델로 대체할 수 있다는 것이며, 이런 '인터뷰 트레이너'도 예외는 아닙니다.

그러나 현재 자연어 처리 분야에서는 이 능력이 충분한 주목을 받지 못하고 기술적으로 매우 어려운 능력입니다.

최근 Google은 공식 블로그를 통해 중요한 자연어 이해(NLU) 기능인 자연어 평가(NLA)를 소개하고 이것이 교육 맥락에서 어떻게 도움이 될 수 있는지 논의했습니다.

일반적인 NLU 작업은 사용자의 의도에 초점을 맞추는 반면, NLA에서는 답변을 다양한 관점에서 평가할 수 있습니다.

사용자가 자신의 답변이 얼마나 좋은지 알고 싶어하는 상황에서 NLA는 답변이 기대치에 얼마나 가까운지에 대한 분석을 제공할 수 있습니다.

"정답"이 없을 수 있는 상황에서 NLA는 시사성, 관련성, 긴 질문 등을 포함한 미묘한 통찰력을 제공할 수 있습니다.

연구원들은 NLA의 범위를 지정하고, 주제별 NLA 수행을 위한 실용적인 모델을 제안했으며, NLA를 사용하여 구직자가 인터뷰 질문에 답변하는 연습을 돕는 방법을 보여주었습니다.

자연어 평가 개요

NLA의 목표는 일련의 기대에 따라 사용자가 제공한 답변을 평가하는 것입니다.

예를 들어, 학생들과 상호 작용하는 NLA 시스템은 다음과 같은 구성 요소로 구성됩니다.

• 학생에게 질문하세요.
• 기대 사항은 사용자가 답변에서 무엇을 기대하는지 정의합니다. 예를 들어, 사용자가 답변에서 다루기를 기대하는 특정 텍스트 답변이나 일련의 주제와 답변은 간결해야 합니다.
• 학생이 제공한 답변
• 평가 결과. 정확성, 정보 누락, 너무 구체적이거나 일반적인 것, 문체 피드백, 발음 등이 포함됩니다.
• 선택사항: 컨텍스트. 예를 들어 책이나 기사의 단락입니다.

NLA를 사용하면 답변에 대한 기대와 답변 평가 모두 매우 광범위할 수 있으므로 교사와 학생 간의 상호 작용이 더욱 표현적이고 상세해집니다.

구체적인 정답이 있는 질문

명확한 정답이 있더라도 단순히 정답, 오답보다 더 뉘앙스로 답을 평가할 수 있습니다.

• 컨텍스트: 해리포터와 마법사의 돌
• 질문: 호그와트란 무엇인가요?
• 기대: 호그와트는 마법학교예요
• 답변): 잘은 모르겠지만 학교인 것 같아요.

질의응답 시스템의 경우, 위의 답변은 "마법"이라는 주요 세부 사항이 부족하여 오답으로 표시될 수 있습니다. 사용자는 답변이 완전히 정확하지 않고 별 의미가 없다고 생각할 것이기 때문입니다.

NLA는 학생의 답변이 너무 일반적이거나 학생이 답변에 대해 충분히 확신하지 못한다고 판단하는 등 보다 자세한 이해를 제공할 수 있습니다.

이 미묘한 평가는 학생들이 표현하는 불확실성을 알아차리는 것과 함께 학생들이 대화 상황에서 기술을 구축하는 데 중요합니다.

주제 기대

많은 경우 질문자는 구체적인 답변을 기대하지 않습니다.

예를 들어, 학생이 의견 질문을 받았는데 구체적인 텍스트 기대치가 없다면 질문자는 답변의 관련성과 의견에 더 관심을 갖습니다. 아마도 답변의 간결성과 유창함도 범위에 속할 것입니다. 질문자의 평가 .

• 질문: 자기소개를 부탁드립니다. (자기소개 좀 부탁드려요?)
• 기대사항: "교육", "경험", "관심사" 등이 포함될 수 있는 주제 모음
• 답변: 저는 캘리포니아주 살리나스에서 자랐고 나중에는 스탠포드 대학에서 경제학을 전공했지만 기술 산업에 흥미를 느껴서 다음은...

이 경우 유용한 평가 출력은 사용자의 답변을 다루는 주제의 하위 집합 및 마커에 매핑합니다. 텍스트의 어느 부분이 어떤 주제와 관련되어 있는지.

자연어 처리 관점에서 보면 답변이 길고, 주제가 혼합될 수 있고, 각 주제 자체가 다면적일 수 있기 때문에 이는 어려운 작업입니다.

Topic NLA 모델

원칙적으로 Topicality NLA(Topicality NLA)는 표준 다중 분류 작업이며, 개발자는 일반적으로 사용되는 모델을 기반으로 분류기를 쉽게 훈련할 수 있습니다.

그러나 NLA의 경우 사용할 수 있는 교육 데이터가 거의 없으며 각 질문과 주제에 대한 교육 데이터를 수집하는 데 비용과 시간이 많이 걸립니다.

Google의 솔루션은 각 주제를 LLM(대형 언어 모델)을 사용하여 식별할 수 있는 세분화된 구성 요소로 분해하고 간단한 일반 튜닝을 수행하는 것입니다.

연구원들은 각 주제를 잠재적 질문 목록에 매핑하고 문장에 이러한 잠재적 질문 중 하나에 대한 답변이 포함되어 있으면 해당 주제를 다루는 것으로 정의했습니다.

경험 주제의 경우 모델은 다음과 같은 몇 가지 잠재적인 질문을 선택할 수 있습니다.

• 어디에서 일하시나요?
• 무엇을 공부하나요?
• ...

관심사 주제 아래에는

• 무엇에 관심이 있나요?와 같은 기본적인 질문도 있습니다.
• 무엇을 하고 싶나요?
• ...

이 기본 질문은 반복적인 수동 프로세스를 통해 설계되었습니다.

중요한 점은 이러한 질문이 충분히 세분화되어 있기 때문에 현재 언어 모델은 이러한 문장 내의 의미(예: What과 Where의 차이)를 캡처할 수 있으며 이를 통해 개발자는 NLA 주제 작업에 대한 제로 샷을 제공할 수도 있습니다. 모델이 한 번 학습되면 계속해서 새로운 질문과 새로운 주제를 추가하거나, 주제별 데이터를 수집하지 않고도 기본 콘텐츠를 수정하여 기존 주제를 조정할 수 있습니다.

구직자가 인터뷰를 준비할 수 있도록 지원

NLA의 적용 시나리오를 탐색하기 위해 Google 개발자는 구직자와 협력하여 IT와 같이 빠르게 성장하는 직업에 종사하는 사용자를 돕기 위한 새로운 도구인 Interview Warmup을 개발했습니다. 지원 및 사용자 경험 디자인 인터뷰를 위한 현장 준비.

홈페이지에는 다양한 질문이 준비되어 있으며, 구직자는 업계 전문가가 묻는 질문에 대한 답변을 집에서 연습하여 실제 면접에서 좀 더 자신감 있고 편안해질 수 있도록 도와줍니다.

구글도 구직자들로부터 영감을 받아 면접 과정의 어려움을 이해하고 NLA 연구를 진행했습니다.

인터뷰 워밍업은 답변을 평가하거나 판단하지 않습니다. 단지 사용자가 혼자 연습할 수 있는 환경을 제공하고 사용자가 스스로 발전할 수 있도록 도와줍니다.

사용자가 인터뷰 질문에 답변할 때마다 답변은 NLA 모델에 의해 문장별로 구문 분석되며, 사용자는 다양한 대화 포인트 간에 전환하여 답변에서 어떤 내용을 찾았는지 확인할 수 있습니다.

연구원들은 사용자에게 피드백이 "좋다"는 신호를 보내는 데 잠재적인 위험이 많다는 것을 깨달았습니다. 특히 모델이 제한된 주제 세트만 감지하는 경우에는 더욱 그렇습니다.

대신 시스템은 기계 학습만을 사용하여 사용자가 개선 방법을 발견하도록 돕습니다.

지금까지 이 도구는 전 세계 수많은 구직자들에게 좋은 결과를 가져왔고, 개발팀은 최근 이 도구를 아프리카로 확장했으며 계속해서 구직자들과 협력하고 이를 반복하고 만들 계획입니다. 새로운 일자리를 찾고 있는 수백만 명의 사람들에게 더욱 유용한 도구입니다.

자연어 평가(NLA)는 기술적으로 도전적이고 흥미로운 연구 분야입니다.

NLA는 다양한 관점에서 미묘한 평가와 답변 분석을 통해 학습을 촉진하여 새로운 대화형 응용 프로그램의 길을 열었습니다.

구직자 및 기업부터 담임 교사 및 학생에 이르기까지 커뮤니티와 협력함으로써 NLA는 사용자가 다양한 과목에서 기술을 배우고, 참여하고, 개발하고 책임감 있는 방식으로 애플리케이션을 구축하는 데 도움이 되는 NLA의 잠재력이 있는 상황을 식별할 수 있습니다. 사용자가 자신의 능력을 평가하고 개선 방법을 찾을 수 있도록 해줍니다.

참고자료: https://ai.googleblog.com/2022/10/natural-언어-assessment-new.html

위 내용은 Google은 새로운 NLU 작업 '자연어 평가'를 탐구합니다. 정식 인터뷰 전에 AI가 준비를 도와드립니다!의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!