T Frontline | Tencent AILab 단독 인터뷰: "포인트"에서 "라인"까지, 실험실은 단순한 실험 그 이상입니다.

게스트: Shi Shuming

작가: Mo Qi

리뷰어: Yun Zhao

"대부분의 연구 작업은 한 점을 중심으로 진행되는 경우가 많으며 점과 유사한 결과는 사용자가 직접 사용하기 어렵습니다." 가공센터 소장 슈밍(Shuming)이 말했다.

지난 10여 년 동안 인공지능(AI)은 르네상스를 맞이했고, 자연어 처리(NLP) 분야에서도 상당한 기술 발전이 이루어졌습니다. NLP 기술의 발전으로 기계 번역의 품질이 크게 향상되고, 검색 및 추천이 더욱 정확해졌으며, 대화형 로봇, 스마트 글쓰기 등 더 많은 디지털 시나리오 애플리케이션이 탄생했습니다. 그렇다면 AI의 핵심인 NLP 분야는 수많은 국내외 기업, 인재, 자본을 유치해 왔으며, 다양한 요인이 어떻게 연구 진행을 촉진하는가? 기업은 연구 결과를 어떻게 인큐베이팅하고 구현합니까? 관련 실무자들은 AI 개발의 병목 현상과 논란을 어떻게 보고 있나요?

최근 'T 프론트라인'은 '인공지능 연구실'의 관점에서 엿볼 수 있는 텐센트 AI 랩 자연어 처리 센터를 인터뷰하는 영광을 누렸습니다.

실험뿐만 아니라 결과의 구현 및 오픈 소스에도 중점을 둡니다.

T Frontline: TencentAILab 연구소는 자연어 처리 분야에서 어떤 방향을 모색하고 있나요?

Shi Shuming: Tencent AI Lab의 자연어 처리 팀은 텍스트 이해, 텍스트 생성, 지능형 대화, 기계 번역이라는 네 가지 방향으로 연구를 수행합니다. 논문 게재 현황으로 볼 때, 본 팀은 지난 3년 동안 매년 일류 국제 학회 및 저널에 50편 이상의 학술 논문을 발표하여 국내 연구 기관 중 상위권에 들었습니다. 우리 논문 중 두 편이 NAACL'2021의 최우수 논문과 ACL'2021의 우수 논문으로 별도로 평가되었습니다. 학술 대회에서는 많은 헤비급 대회에서 우승했습니다. 예를 들어 작년 국제 기계 번역 대회 WMT'2021에서 5개 과제에서 1위를 차지했습니다.

논문 및 학술 대회 외에도 연구 결과를 의식적으로 시스템 및 오픈 소스 데이터로 변환하여 회사 내부 및 외부 사용자에게 공개합니다. 이러한 시스템과 데이터에는 텍스트 이해 시스템 TexSmart, 대화형 번역 시스템 TranSmart, 지능형 크리에이티브 어시스턴트 "Effidit", 800만 단어를 포함하는 중국어 단어 벡터 데이터 등이 포함됩니다.

2018년 말에 공개된 중국어 단어 벡터 데이터는 외부 세계에서 "Tencent 단어 벡터"라고 불리며 규모, 정확성, 신선도 측면에서 최고의 수준에 있습니다. 업계에서 지속적으로 많은 응용 프로그램에 사용되어 성능을 향상시킵니다. 유사한 시스템과 비교하여 텍스트 이해 시스템 TexSmart는 세밀한 개체명 인식(NER), 의미 연관성, 깊은 의미 표현, 텍스트 매핑 및 기타 특수 기능을 제공하며 제19회 중국 컴퓨터 언어학 컨퍼런스(CCL')에서 최우수상을 받았습니다. 2020) 시스템시범상. 대화형 번역 시스템 TranSmart는 중국 최초의 공개 대화형 번역 인터넷 제품으로 번역 입력 방법, 제약 조건 디코딩, 번역 메모리 융합 등의 하이라이트 기능을 제공합니다. UN Documentation Agency, Memsource, Huatai Securities, Tencent Music, China Literature Online, Tencent Games Going Global, Tencent Optional Stock Document Translation 등을 포함하여 회사 내부 및 외부의 많은 고객, 비즈니스 및 시나리오를 지원합니다. 얼마 전 출시한 지능형 크리에이티브 어시스턴트 "Effidit"은 다차원 텍스트 완성, 다양한 텍스트 다듬기 및 기타 특수 기능을 제공하여 작가의 아이디어 발산, 표현 풍부화, 텍스트 편집 및 쓰기 효율성 향상을 지원합니다. .

T Frontline: 스마트 협업 측면에서 "Effidit"을 예로 들어 프로젝트의 기원과 최신 상태에 대해 말씀해 주실 수 있나요?

Shi Shuming: 스마트 글쓰기 도우미 Effidit 프로젝트는 2020년 국경일 이전에 시작되었습니다. 이 프로젝트를 진행하는 이유는 크게 두 가지입니다. 첫째, 글쓰기의 문제점이 있고, 둘째, 이 시나리오에 필요한 NLP 기술이 우리 팀의 능력 축적과 일치합니다.

먼저 글쓰기의 고충에 대해 이야기해 보겠습니다. 삶과 일에서 우리는 종종 뉴스, 소설, 공개 계정 기사, 논문, 기술 보고서 ​​등을 읽어야 하며 다음과 같은 몇 가지 글도 써야 합니다. 기술문서, 회의록, 보고자료 등 . 독서의 과정은 대개 편안하고 즐겁고 수월하지만 글쓰기는 종종 자신의 생각을 표현하기 위해 적절한 단어를 사용하는 방법을 모르는 경우가 많습니다. . 건조해 보이고 중간에 오타가 나기 쉽습니다. 아마도 대부분의 사람들은 쓰기보다 읽기를 더 잘할 것입니다. 그래서 우리는 글쓰기의 문제점을 해결하고 글쓰기의 효율성을 향상시키기 위해 기술을 사용할 수 있을지 고민했습니다.

이 프로젝트를 시작하게 된 두 번째 이유에 대해 이야기해보겠습니다. 우리는 NLP 기술이 어떻게 인간의 업무 효율성과 삶의 질을 향상시킬 수 있는지 고민해 왔습니다. 지난 몇 년간 우리는 텍스트 이해, 텍스트 생성, 기계 번역 등 NLP 하위 분야에 대한 심층적인 연구 작업을 수행해 왔습니다. 대부분의 연구 작업은 점을 중심으로 수행되는 경우가 많으며 점과 같은 결과는 사용자가 직접 사용하기 어렵습니다. 그러므로 우리는 무의식적으로 수많은 점 같은 연구 결과를 하나로 묶어 하나의 선, 즉 시스템을 형성합니다. 우리는 텍스트 생성 분야의 연구 결과에 대한 구현 시나리오를 찾고 있었습니다. 앞서 언급한 글쓰기의 문제점을 고려하여 논의 끝에 스마트 글쓰기 도우미 Effidit 프로젝트를 시작하기로 결정했습니다.

1년 반의 연구 개발 끝에 첫 번째 버전이 출시되었습니다. 다음으로는 계속해서 반복과 최적화를 진행하며, 사용자 피드백에 귀를 기울이고, 다양한 기능의 효율성을 향상시켜, 사용자들에게 사용하기 쉽고 인기가 있는 도구를 만들기 위해 노력하겠습니다.

신뢰할 수 있는 AI: 해석 가능성과 견고성에 대한 연구는 여전히 필요합니다

T Frontline: 최근 몇 년 동안 신뢰할 수 있는 AI가 업계 사람들의 관심을 끌었습니다. NLP 이해 분야에서 신뢰할 수 있는 AI에 대해 이야기해 주실 수 있나요? 그리고 진전?

Shi Shuming: 저는 신뢰할 수 있는 AI에 대해 잘 모르고 피상적인 생각만 이야기할 수 있습니다. 신뢰할 수 있는 AI는 추상적인 개념으로 현재 정확한 정의가 없습니다. 그러나 기술적인 관점에서 보면 모델 해석성, 견고성, 공정성, 개인 정보 보호 등 많은 요소가 포함됩니다. 최근 몇 년 동안 Transformer 구조를 기반으로 한 사전 훈련된 언어 모델은 많은 자연어 처리 작업에서 놀라운 결과를 보여 광범위한 주목을 받았습니다. 그러나 이러한 유형의 AI 모델은 본질적으로 데이터 기반 블랙박스 모델이므로 예측 결과에 대한 해석성이 좋지 않고 모델 견고성이 좋지 않으며 데이터에 내재된 편견(예: 성별)을 학습하기 쉽습니다. Bias)으로 인해 모델의 공정성에 문제가 발생합니다. 사전 훈련된 언어 모델보다 먼저 나타나는 단어 벡터도 성별 편견으로 인해 어려움을 겪습니다. 현재 신뢰할 수 있는 AI 모델을 구축하는 것은 머신러닝과 NLP 분야에서 주목받는 연구 방향이다. 반면, 이러한 진전은 아직 목표와는 거리가 멀다. 예를 들어, 심층 모델의 해석 가능성 측면에서는 진전이 그리 크지 않고, 중요한 단계도 이루어지지 않았다.

제가 일하는 Tencent AI Lab에서도 신뢰할 수 있는 AI에 대한 연구 작업을 수행하고 있습니다. Tencent AI Lab은 2018년부터 신뢰할 수 있는 AI 작업에 지속적으로 투자해 왔으며 적대적 견고성, 분산 전이 학습 및 해석 가능성이라는 세 가지 주요 방향에서 몇 가지 결과를 달성했습니다. 앞으로 Tencent AI Lab은 AI의 공정성과 설명 가능성에 중점을 두고 의료, 제약, 생명과학 및 기타 분야에서 관련 기술의 적용을 계속 탐색할 것입니다.

난이도 초점: 통계적 방법으로는 의미론을 근본적으로 이해할 수 없습니다

T Frontline: 현재 NLP 연구의 병목 현상이 무엇이라고 생각하시나요? 앞으로의 방향은 무엇입니까?

Shi Shuming: 자연어 처리 연구 분야가 등장한 이후 자연어 처리가 직면한 가장 큰 병목 현상은 자연어 텍스트 조각이 표현하는 의미를 어떻게 진정으로 이해하느냐 하는 것입니다. 이 병목 현상은 지금까지 해결되지 않았습니다.

인간은 진정으로 자연어를 이해할 수 있는 능력을 가지고 있습니다. 예를 들어, "그녀는 파란색을 좋아합니다"라는 문장을 보면 그 의미, "좋아요"가 무엇인지, "파란색"이 무엇인지 알 수 있습니다. NLP 알고리즘의 경우, 위의 문장을 처리할 때 우리가 알 수 없는 외국어에서 보는 "abc def xyz"라는 문장과 본질적인 차이는 없습니다. 이 알려지지 않은 외국어에서 "abc"는 "she"를 의미하고 "def"는 like를 의미하며 "xyz"는 "green"을 의미한다고 가정합니다. 우리가 이 외국어에 대해 아무것도 모르면, 우리는 이 외국어로 된 어떤 문장도 이해할 수 없습니다. 운이 좋게도 이 외국어로 쓰여진 많은 문장을 볼 수 있다면, 우리는 이 외국어로 된 단어와 모국어로 된 단어 사이의 일치성을 확립하려고 노력하면서 그에 대한 통계적 분석을 수행할 수 있습니다. 언어 목적을 해독하십시오. 이 과정은 쉽지 않으며 궁극적인 성공을 보장할 수도 없습니다.

AI의 경우, 알 수 없는 외국어를 해독하는 우리 인간보다 상황이 더 나쁩니다. 우리는 삶에 대한 상식과 모국어를 내부 개념에 매핑하는 것을 마음 속에 가지고 있지만 AI에는 이러한 것이 없습니다. NLP 연구의 상징적 방법은 텍스트의 상징적 표현과 지식 그래프를 통해 AI에 인간과 같은 능력을 더해 이해의 문제를 근본적으로 해결하려고 하는 반면, 통계적 방법은 상식과 마음의 내부 개념 등을 일시적으로 무시한다. .통계 방법을 개선하고 데이터 자체의 정보를 최대한 활용하는 데 중점을 둡니다. 지금까지 두 번째 방법은 업계 연구의 주류였으며 더 큰 성공을 거두었습니다.

지난 10년 동안 통계적 NLP의 병목 현상 돌파와 발전을 보면,

단어 벡터 기술(즉, 중간 차원의 밀집 벡터를 사용하여 단어를 표현하는 것)이 단어 계산성의 병목 현상을 돌파했으며, 딥 러닝 알고리즘과 GPU 컴퓨팅 성능이 결합되어 지난 10년 동안 NLP에서 일련의 혁신이 시작되었습니다. 새로운 네트워크 구조(예: Transformer) 및 패러다임(예: 사전 학습)의 출현으로 텍스트의 계산 가능성과 텍스트 표현의 효과가 크게 향상되었습니다. 그러나 통계적 NLP는 인간만큼 상식과 기본 개념을 모델링하지 못하고, 자연어를 근본적으로 이해할 수 없기 때문에 일부 상식 오류를 피하기가 어렵습니다.

물론, 연구계는 기호화와 심층 의미 표현에 대한 노력을 결코 포기하지 않았습니다. 지난 10년 동안 이 분야에서 가장 영향력 있는 시도는 Wolfram Alpha와 AMR(Abstract Meaning Representation)입니다.

이 길은 매우 험난하며, 주요 과제는 수많은 추상적 개념과 확장성을 모델링하는 것입니다(즉, 고도로 형식화된 문장 이해에서 일반적인 자연어 텍스트 이해까지 확장).

기본 기술에서 가능한 미래 연구 방향에는 차세대 언어 모델, 제어 가능한 텍스트 생성, 모델의 도메인 간 전송 기능 개선, 지식을 효과적으로 통합하는 통계 모델, 깊은 의미 표현 등이 포함됩니다. 이러한 연구 방향은 NLP 연구의 일부 지역 병목 현상에 해당합니다. 적용 측면에서 탐구해야 할 방향은 NLP 기술을 어떻게 활용하여 인간의 업무 효율성과 삶의 질을 향상시키는가입니다.

연구 및 구현: 이 둘의 균형을 맞추는 방법은 무엇입니까?

T Frontline: AI Lab NLP 방향은 기초연구, 첨단기술, 산업화 측면에서 어떻게 탐색되고 전개되나요? 다음 단계는 무엇입니까?

Shi Shuming: 기초 연구 측면에서 우리의 목표는 기초 연구의 돌파구를 찾고, 현재 연구의 병목 현상을 해결하며, Word2vec, Transformer, Bert 결과와 같은 독창적이고 유용하며 영향력 있는 제품을 생산하기 위해 노력하는 것입니다. 이 목표를 달성하기 위해 우리는 기초 연구자들에게 더 큰 자유를 부여하고 장기적으로 잠재적인 영향을 미칠 수 있는 일을 하도록 장려하는 반면, 전체 팀원은 브레인스토밍 및 기타 방법을 사용하여 선택합니다. 다양한 핵심 혁신 방향을 함께 모색해 보세요.

산업화 측면에서는 회사의 기존 제품을 기술적으로 혁신하는 것 외에도 우리가 주도하는 한두 가지 기술 제품을 만드는 데 중점을 두고 있습니다. 연구 결과를 통합하여 사람들의 업무 효율성이나 삶의 질을 향상시키는 것입니다. 이러한 기술 제품에는 번역가를 위한 대화형 번역 시스템인 TranSmart와 텍스트 편집 및 쓰기 시나리오를 위한 지능형 크리에이티브 어시스턴트인 Effidit이 포함됩니다. 우리는 이 두 가지 기술 제품을 계속해서 개선해 나갈 것입니다.

곤산에서 옥을 찾다: 연구원에게는 어느 정도의 자유가 필요합니다

T Frontline: 과학 연구 부서의 관점에서 연구원과 알고리즘 엔지니어의 초점은 어떻게 다르다고 생각하시나요?

Shi Shuming: 우리 팀에서 알고리즘 엔지니어의 책임에는 두 가지가 포함됩니다. 하나는 기존 알고리즘(예: 출판된 논문의 알고리즘)을 구현하거나 최적화하는 것이고, 다른 하나는 기술 제품을 구현하고 다듬는 것입니다. 알고리즘 엔지니어의 두 가지 책임 외에도 연구원의 책임에는 독창적인 연구 결과를 제안하고 출판하는 것도 포함됩니다. 이 구분은 절대적인 것이 아니며 경계가 상대적으로 모호합니다. 이는 주로 직원의 개인적인 관심과 프로젝트의 요구 사항에 따라 달라집니다.

T Frontline: 관리자로서 실험실 팀 관리와 기존 기술 엔지니어 관리 방법 및 개념의 차이점은 무엇입니까?

Shi Shuming: 비즈니스 팀의 경우 기술 엔지니어는 특정 프로젝트 관리 프로세스를 통해 계획된 제품을 만들기 위해 긴밀하게 협력해야 합니다. 연구실 팀은 기본 연구원과 기술 엔지니어(그리고 아마도 소수의 제품 및 운영 직원)로 구성되는 경향이 있습니다. 기초 연구의 경우, 연구자에게는 더 큰 자유가 주어져야 하고, "지침"은 적고, 더 많은 도움이 주어져야 하며, 자신의 이익을 존중하고, 잠재력을 자극하고, 장기적으로 잠재적인 영향을 미칠 수 있는 일을 하도록 격려해야 합니다. 기초 연구의 획기적인 발전은 하향식으로 계획되거나 프로젝트 관리 프로세스를 통해 관리되지 않는 경우가 많습니다. 반면, 실험실 팀이 기술 제품을 구축할 때는 경량 프로젝트 관리 프로세스로 보완되는 연구원과 기술 엔지니어 간의 더 많은 협업이 필요합니다.

연구실 AI 직위 : 후보자 선발 시 '세 가지 좋은 것'에 더 중점을 두고 마음이 강하다

T 일선 : 연구 능력이 뛰어나고 수준 높은 논문을 많이 발표한 지원자가 있는 경우 회의는 하는데 엔지니어링 능력이 부족한데 받아들일 수 있나요?

시 슈밍: 채용 시 자주 접하는 질문입니다. 이상적으로는 학계와 산업계 모두 강력한 연구 및 엔지니어링 역량을 갖춘 인재를 육성하거나 채용하기를 원하지만 실제로는 그러한 사람이 드물고 다양한 기업과 연구 기관 간의 경쟁 대상이 되는 경우가 많습니다. 면접 과정에서 특히 뛰어난 연구 능력을 갖춘 지원자의 경우 엔지니어링 능력에 대한 요구 사항이 그에 따라 감소되지만 기본 기준보다 높아야 합니다. 마찬가지로 공학적 능력이 뛰어난 후보자의 경우 연구 능력에 대한 요구 사항도 낮아집니다. 실제 업무 과정에서 탄탄한 연구 역량과 탄탄한 엔지니어링 역량을 갖춘 직원들이 제대로 배치된다면 협력을 통해 각자의 장점을 최대한 발휘하고 함께 프로젝트를 완성해 나갈 수 있을 것입니다.

T Frontline: 지원자에게서 가장 중요하게 생각하는 능력은 무엇인가요?

Shi Shuming: Shen Xiangyang 박사는 사람을 모집하기 위한 요구 사항이 "3가지 좋은 것"이라고 말했습니다: 수학에 능숙함, 프로그래밍에 능숙함, 태도가 좋습니다. 수학을 잘한다는 것은 사람의 연구 잠재력에 해당하고, 프로그래밍을 잘한다는 것은 공학적 능력에 해당하며, 좋은 태도를 갖는다는 것은 '자신의 일에 열정을 갖고 있는 것', '동료들과 협력하여 상생할 수 있는 것', '상생할 수 있는 것' 등이 포함됩니다. 일을 하는 데 있어서 믿을 만하다." 이 세 가지 사항은 많은 연구 기관에서 높이 평가하고 있습니다. 실제 면접 과정에서는 논문 출판 기록 열람과 프로젝트에 대한 대화를 통해 후보자의 연구 능력과 잠재력을 평가하는 경우가 많고, 프로그래밍 테스트와 프로젝트 결과물을 통해 후보자의 엔지니어링 능력을 평가하며, 전반적인 면접 과정을 통해 후보자가 후보자인지 여부를 추론합니다. "좋은 태도"입니다. 이런 추측과 평가 방식은 때로 실수로 이어질 수도 있지만 전체적으로 정확도는 상당히 높다.

1~2시간의 면접만으로는 판단하기 어려운 능력도 있는데, 채용된 직원이 이런 능력을 갖고 있다면 보물입니다. 첫째, 중요한 연구주제를 선택하는 능력이다. 두 번째는 한 가지 일을 완수하는 능력이다. 이러한 능력이 부족한 사람이나 팀은 항상 다양한 주제나 프로젝트를 자주 시작하지만 이러한 주제와 프로젝트는 결코 고품질로 완료되지 않고 종종 기대에 못 미치는 방식으로 끝나게 됩니다. 이는 실행, 인내, 집중력, 기술 수준 등과 관련이 있을 수 있습니다. 세 번째는 외로움과 비판을 견디는 능력이다. 중요하고 영향력 있는 일이 그 영향력이 나타나기 전에는 대부분의 사람들이 이해하지 못하는 경우가 많습니다. 마음이 강하지 않고 외로움과 비판을 견디지 못하면 지속하기 어려울 수 있으며 초심을 포기하기 쉬울 것입니다. 현재의 핫스팟을 포함시키기 위해 이미 레드오션인 곳으로 뛰어들라.

T Frontline: 인공 지능 분야에 진출하기 위해 경력을 전환한 갓 졸업한 졸업생과 기술 인력에게 현재 어떤 제안을 하고 있나요?

Shi Shuming: 졸업생마다 학업 자격, 학교 및 프로젝트 참여가 다릅니다. 인공 지능으로 전환하는 기술자는 직업 및 생활 경험이 크게 다릅니다. 현재로서는 몇 가지 사항만 생각해볼 수 있습니다. 첫째, 일에만 몰두하고 정보와 지능의 수집을 무시하지 마십시오. 더 많은 선배, 자매 또는 친구를 찾아 상황을 문의하고, 현재 작업 상황에 대한 소개와 다양한 유형의 작업 및 다양한 작업 단위에 대한 평가를 듣고, 그들이 걸어온 길과 밟은 함정을 이해하십시오. 동시에 포럼, 공개 계정, 짧은 비디오 등과 같은 다양한 방법을 통해 정보가 수집되어 인생의 중요한 노드에서 결정을 내리는 데 도움이 됩니다. 둘째, 졸업을 1년 이상 앞두고 있고, 인턴십 경험이 없다면, 믿을 수 있는 곳에서 인턴십을 해보세요. 인턴십을 통해 실무 경험을 쌓고, 능력을 향상시키며, 일하는 느낌을 미리 경험할 수 있습니다. 한편, 인턴십 경험은 이력서를 풍부하게 하고 취업 시 경쟁력도 높여줍니다. 셋째, 직장에서는 혁신이 불가피하며 모든 것이 계획대로 진행됩니다. 기대치를 조절하고 사고방식을 조정하며 변화로 인한 감정적 격차를 해소할 방법을 찾으세요. 넷째, 자리를 잡은 후에는 꿈을 잊지 말고 열심히 해서 자신의 능력에 맞는 일을 성취하세요.

모든 졸업생이 꿈의 직업을 찾고 자신의 직업에서 성장할 수 있기를 바라며, 직업을 바꿔 인공지능 분야에 입문하는 모든 기술자가 이 새로운 AI 트랙에서 투쟁이 가져다주는 행복과 이득을 누릴 수 있기를 바랍니다.

손님 소개

Shi Shuming은 칭화대학교 컴퓨터공학과를 졸업하고 현재 Tencent AI Lab 자연어 처리 센터 소장으로 재직하고 있습니다. 그의 연구 관심 분야는 지식 마이닝, 자연어 이해, 텍스트 생성 및 지능형 대화입니다. 그는 ACL, EMNLP, AAAI, IJCAI, WWW, SIGIR, TACL 등과 같은 학술회의 및 저널에 100편 이상의 논문을 발표했으며 H-지수는 35입니다. 그는 EMNLP 2021 및 CIKM 2013의 시스템 시연 공동 의장, KDD2022의 수석 프로그램 위원회 회원, ACL, EMNLP 및 기타 컨퍼런스의 프로그램 위원회 회원을 역임했습니다.

위 내용은 T Frontline | Tencent AILab 단독 인터뷰: "포인트"에서 "라인"까지, 실험실은 단순한 실험 그 이상입니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!