T前線 | 專訪騰訊AILab：將成果由'點”到'線”，實驗室不止於實驗

嘉宾：史树明

撰稿：莫奇

审校：云昭

“大多数研究工作往往是围绕一个点展开，而点状的成果很难直接被用户所用。”腾讯 AI Lab 自然语言处理中心总监史树明说道。

过去十余年间，人工智能（AI）经历了复兴，其中很显著的技术进步也发生在自然语言处理（NLP）领域。NLP技术的进步使得机器翻译质量大幅提高，搜索和推荐更加精准，同时也催生了更多数字化场景应用，如对话机器人、智能写作等。那么，作为AI皇冠上的明珠，NLP领域在吸引了无数国内外企业、人才、资本的入圈后，各种要素都是如何推动其研究进展的？企业是如何将研究成果孵化落地的？相关从业者又是如何看待AI在发展中的瓶颈和争议的呢？

近日，"T前线"有幸采访了腾讯 AI Lab 自然语言处理中心，希望能借此由“人工智能实验室”的视角窥得其中一隅。

不止步于实验：还注重将成果的落地与开源

T前线：腾讯 AILab 实验室在自然语言处理方面，有哪些方向的探索呢？

史树明：腾讯 AI Lab 的自然语言处理团队在文本理解、文本生成、智能对话、机器翻译这四个方向上开展研究工作。成果方面，从论文发表情况来看，最近三年，团队每年在一流国际会议和期刊上发表50多篇学术论文，居国内研究机构前列；值得一提的是，我们有两篇论文分别被评为NAACL'2021的最佳论文和ACL'2021的杰出论文。学术比赛方面，我们多次获得重量级比赛的冠军，比如在去年的国际机器翻译大赛WMT'2021上获得5项任务的第一名。

除了论文和学术比赛之外，我们还有意识地把我们的研究成果转化成系统和开源数据，开放给公司内外用户使用。这些系统和数据包括文本理解系统TexSmart、交互翻译系统TranSmart、智能创作助手「文涌（Effidit）」、包含800万词汇的中文词向量数据等。

2018年底发布的中文词向量数据被外界称为“腾讯词向量”，它在规模、精度、新鲜度方面处在领先水平，受到业界的广泛关注、讨论和使用，在多项应用中不断提升性能。与同类系统相比，文本理解系统TexSmart提供细粒度命名实体识别（NER）、语义联想、深度语义表达、文本图谱等特色功能，荣获第十九届中国计算语言学大会（CCL'2020）最佳系统展示奖。交互翻译系统TranSmart是国内首个公开的交互翻译互联网落地产品，提供翻译输入法、约束解码、翻译记忆融合等亮点功能。它支持了公司内外众多的客户、业务和场景，包括联合国文件署、Memsource、华泰证券、腾讯音乐、阅文网文出海、腾讯游戏出海、腾讯自选股文档翻译等。前一段时间我们发布的智能创作助手「文涌（Effidit）」提供多维度的文本补全、多样化的文本润色等特色功能，用AI技术辅助写作者发散思路、丰富表达，提升文本编辑和写作的效率。

T前线：智能协作方面，能以「文涌（Effidit）」为例，谈一下项目的起源和最新情况吗？

史树明：智能写作助手Effidit项目是在2020年国庆节之前启动的。做这个项目主要有两方面原因：一是写作中存在痛点问题，二是这个场景所需要的NLP技术，与我们团队的能力积累相符。

首先来谈谈写作中的痛点：我们在生活和工作中经常需要阅读新闻、小说、公众号文章、论文、技术报告等，也需要写一些东西，比如技术文档、会议纪要、汇报材料等。我们可以发现，阅读的过程通常是轻松愉快、毫不费力的，但写作就不一样了，经常不知道怎样用合适的文字表达心中的想法，有时候费很大劲写出来的句子和段落还是显得干巴巴的，中间还容易出现错别字。或许大多数人更擅长阅读而不是写作吧。于是我们就想到能否利用技术来解决写作中的痛点问题，提升写作的效率？

再来谈谈启动这个项目的第二个原因：我们一直在思考NLP技术如何提升人类的工作效率和生活品质？过去几年，我们在文本理解、文本生成、机器翻译等NLP的子方向上开展了深入的研究工作。大多数研究工作往往是围绕一个点展开，而点状的成果很难直接被用户所用。因此我们下意识地把若干点状的研究成果串在一起，构成一条线，也就是一个系统。我们一直在寻找文本生成方向研究成果的落地场景。考虑到前面谈到的写作中的痛点，我们讨论后决定启动智能写作助手Effidit项目。

經過一年半的研發，第一個版本問世。接下來我們會持續迭代優化，聽取使用者回饋，提升各項功能的效果，力求產出一款好用的、受用戶歡迎的工具。

可信AI：可解釋性、魯棒性研究尚需挖掘

T前線：近些年，可信AI得到了界內人士的關注，您能否談一下在NLP領域內可信AI的理解與進展？

史樹明：我對可信AI了解不多，只能談一些粗淺的想法。可信AI是一個抽象的概念，目前還沒有一個準確的定義。不過從技術角度來說，它包括許多要素：模型的可解釋性、穩健性、公平性和隱私保護等。近年來，基於Transformer結構的預訓練語言模型，在許多自然語言處理任務上展現出驚人的效果，引起了人們的廣泛關注。然而，這類AI模型本質上是數據驅動的黑盒子模型，它們對預測結果的可解釋性較差、模型的魯棒性也不是很好，而且它們容易學習到數據中固有的偏置（例如性別偏置），導致模型在公平性上也存在一些問題。比預訓練語言模型更早出現的詞向量也有性別偏移的問題。目前，一方面建構可信賴的AI模型是機器學習和NLP領域一個受關注的研究方向，有不少研究工作，也取得了一些進展。另一方面這些進展距離目標還差得很遠，例如在深度模型的可解釋性方面，進展還不算特別大，還沒有踏出亮眼的關鍵一步。

我所在的騰訊AI Lab也正在可信AI方面進行一些研究工作。騰訊AI Lab自2018年起持續投入可信任AI工作，並在對抗穩健性、分佈遷移學習及可解釋性三大方向取得了一些成果。未來，騰訊AI Lab將聚焦在AI的公平性和可解釋性，並持續探索相關技術在醫療、醫藥、生命科學等領域的應用。

困難聚焦：統計方法無法從根本上理解語意

T前線：您覺得現階段 NLP 的研究的瓶頸在哪裡？未來有哪些方向？

史樹明：從自然語言處理這個研究領域出現以來，它所面臨的最大瓶頸就是如何真正地理解一段自然語言文本所表達的語意。 這個瓶頸到現在為止還沒有被突破。

人類是真正具有理解自然語言的能力的，例如當我們看到“她喜歡藍色”這個句子時，我們知道它的含義，知道什麼是“喜歡”，什麼是“藍色」。而對於NLP演算法而言，它在處理上述句子時跟我們看到一個不知名外語的句子“abc def xyz”沒有本質區別。假設在這門不知名外語中，"abc"表示"她"，"def"表示喜歡，"xyz"表示"綠色"。當我們對這門外語一無所知的時候，我們是看不懂這門外語的任何句子的。如果我們有幸看到大量的用這門外語書寫的句子，我們有可能在上面做一些統計分析，試圖建立這門外語的單字跟我們母語中的詞的對應關係，希望達到最終破解這門語言的目的。這個過程難度不小，無法確保最終能夠成功。

對於AI來說，它所面臨的情況比我們人類破解一門不知名外語還要糟糕。我們有生活的常識，有母語單字與頭腦內部概念的映射，而AI則沒有這些東西。 NLP研究中的符號方法試圖透過文本的符號化表達和知識圖譜給AI附加跟人類類似的能力，試圖從根本上解決理解的問題；而統計方法則是暫時忽略掉常識和頭腦內部概念等等，將著力點放在改進統計方法和充分利用數據本身的資訊。到目前為止，第二種方式是業界研究的主流，也取得了更大的成功。

以統計NLP在最近十年的瓶頸突破和進展來看，詞向量技術（即用一個中等維度的稠密向量來表示一個詞）突破了字的可計算性瓶頸，結合深度學習演算法和GPU算力，拉開了最近十年NLP一系列突破的序幕。 新的網路結構（如Transformer）和範式（如預訓練）的出現又大大提升了文字的可計算性和文字表示的效果。但由於統計NLP沒有像人類那樣很好地對常識和基礎概念進行建模，無法從根本上理解自然語言，也就很難避免一些常識錯誤。

當然，研究界也始終沒有放棄在符號化和深度語義表示方面的努力，最近十多年在這方面最有影響力的嘗試包括Wolfram Alpha和AMR (Abstract Meaning Representation)等。 這條路非常辛苦，面臨的主要挑戰是對大量抽象概念的建模以及可擴展性（即從理解高度正規化的句子擴展到理解一般的自然語言文本）。

未來在基礎技術方面可能的研究方向包括：新一代語言模型、可控制的文本生成、提昇模型的跨領域遷移能力、有效融入知識的統計模型、深度語意表示等。這些研究方向對應的是NLP研究中一些局部的瓶頸。 在應用方面需要探索的方向是如何利用NLP技術來提升人類的工作效率和生活品質。

研究與落地：二者之間如何平衡？

T前線：AI Lab NLP方向在基礎研究、尖端技術和工業化落地方面是如何探索和佈局的？下一步打算有哪些？

史樹明：在基礎研究方面，我們的目標是尋求基礎研究的突破，解決目前研究中的一些瓶頸問題，力爭產出像Word2vec、Transformer、Bert那樣原創性的、有用的、有重大影響力的成果。為了實現這個目標，我們一方面給予基礎研究人員較大的自由度，鼓勵做一些長遠的有潛在影響力的事情；另一方面整個團隊成員透過腦暴等方式，選擇若干需要重點突破的方向，大家一起發力。

在工業化落地方面，除了面向公司現有的產品進行技術轉化之外，重點打造一兩款我們自己主導的技術產品，目標是融合研究成果，提升人的工作效率或生活品質。 這些技術產品包括翻譯人員的互動翻譯系統TranSmart和文字編輯和寫作場景的智慧創作助理Effidit。我們會持續打磨這兩款技術產品。

尋崑山之玉：研究人員需要一定的自由度

T前線：於科研部門而言，您覺得研究員與演算法工程師有哪些不同的專注力？

史樹明：在我們團隊，演算法工程師的職責包括兩點：一是實作或最佳化現有的演算法（例如某篇已經發表的論文中的演算法），二是實作及打磨技術產品。而研究員的職責除了包括演算法工程師的兩個職責之外，還包括提出及發表原創性的研究成果。這種劃分也不是絕對的，邊界比較模糊，很大程度取決於員工本人的興趣以及專案的需要。

T前線：身為管理者，實驗室的團隊管理與傳統的技術工程師管理的方法與理念有哪些不同？

史樹明：對業務團隊來說，技術工程師需要緊密合作，透過一定的專案管理流程，把已經規劃好的產品做出來。實驗室團隊往往由基礎研究人員和技術工程師組成（可能還包括少量的產品和營運人員）。對於基礎研究來說，需要給研究人員更大的自由度，少「指導」多幫助，尊重其興趣，激發其潛能，鼓勵其做一些長遠的有潛在影響力的事情。基礎研究的突破往往不是由上而下規劃出來的，也不是透過專案管理流程管理出來的。另一方面，實驗室團隊在打造技術產品的時候，則需要研究人員和技術工程師更能協同合作，輔以輕量級的專案管理流程。

實驗室AI崗位：選人更看重“三好”，內心足夠強大

T前線：如果有一個應徵者，研究能力很強，在高水平會議上發表了很多論文，但工程化能力較差，您會被錄用嗎？

史樹明：這個問題很好，這是我們招募時常遇到的問題。理想情況下，學界和業界都希望培養或招募到研究能力和工程能力都非常強的人才，但是這樣的人在實際當中鳳毛麟角，往往還是各個公司和研究機構爭搶的對象。在面試過程中，對於研究能力特別出眾的候選人，我們對其工程能力的要求會相應降低，但必須高於一個基礎門檻。 同樣，對於工程能力超強的候選人，我們對其研究能力的要求也會降低一些。在實際工作過程中，如果安排得當，研究能力強的和工程能力強的員工透過合作會發揮各自的優勢，一起把專案完成好。

T前線：您最重視候選者哪些能力？

史樹明：沈向洋博士說過招人的要求是「三好」：數學好、程式好、態度好。數學好對應的是一個人的研究潛力，程式設計好對應的是工程能力，而態度好則包含「對自己的工作充滿熱情」、「與同事能夠合作共贏」、「做事可靠度」等內容。這三點是很多研究機構所重視的。實際面試過程中往往透過看論文發表記錄和聊項目來評估候選人的研究能力以及潛力，透過程式設計測驗和專案產出來評估候選人的工程能力，透過整體的面試過程來推測候選人是不是真的「態度好」。這種推測和評估的方式有時會看走眼，但整體來說準確度還是挺高的。

還有一些能力很難透過一兩個小時的面試去判斷，但是如果招進來的員工有這些能力，就算是撿到寶了。第一是選擇重要的研究主題的能力。第二是完成一件事情的能力。缺乏這種能力的人或團隊可能總是頻繁地啟動各種課題或項目，但是這些課題和項目總是不能被高品質地完成，而往往是虎頭蛇尾，不了了之。這裡面可能跟執行力、毅力、聚焦意識、技術水準等都有一些關係。第三是忍受孤獨和非議的能力。重要的有影響力的事情，在影響力出來之前往往不被大多數人理解；如果內心不夠強大，不能忍受孤獨和非議的話，可能很難堅持下去，從而很容易放棄初心，跳入已經是紅海的當前熱點中去內捲。

T前線：目前對於應屆畢業生和轉行進入人工智慧領域的技術人分別有哪些建議？

史樹明：每位畢業生的學歷、在學學校和參與計畫情況各不相同，轉行進入人工智慧的技術人在專業和人生經歷方面更是千差萬別，很難給出太多普適的建議。暫時只能想到幾點：第一，千萬不要只埋頭做事情而忽略了資訊和情報的收集。多找幾位師兄師姐或朋友打聽情況，聽他們介紹目前工作的情況以及對不同的工作類型和各個工作單位的評價，了解他們走過的路、踩過的坑。同時透過論壇、公眾號、短影片等多種方式收集訊息，幫助自己在這個人生的關鍵節點來做決策。第二，如果你距離畢業還有一年以上的時間並且還沒有實習經驗的話，找一個可靠的地方做實習。透過實習，一方面可以累積實戰經驗，提升能力，提前體驗工作的感覺；另一方面實習經驗也會讓你的履歷更加豐滿，提升找工作時的競爭力。第三，工作中內卷總是難免的，事事如意也是不可能的，控制預期，調整好心態，想辦法消化轉變所帶來的落差情緒。第四，安頓好之後，別忘了自己的夢想，努力奮鬥，完成一件對得起自己能力的事。

祝福每位畢業生能找到心儀的工作並在工作崗位上得到成長，祝每位轉行進入人工智慧領域的技術人能夠在AI這個新賽道享受奮鬥帶來的快樂和收穫。 

嘉賓介紹

史樹明，畢業於清華大學電腦系，目前是騰訊 AI Lab 自然語言處理中心總監。他的研究興趣包括知識挖掘、自然語言理解、文本生成以及智慧對話。他在ACL、EMNLP、AAAI、IJCAI、WWW、SIGIR、TACL等學術會議和期刊上發表了100多篇論文，H-index為35。他曾擔任EMNLP 2021和CIKM 2013的系統展示主席（demonstration co-chair），KDD2022的資深程序委員會委員，以及ACL、EMNLP等會議的程序委員會委員。

以上是T前線 | 專訪騰訊AILab：將成果由'點”到'線”，實驗室不止於實驗的詳細內容。更多資訊請關注PHP中文網其他相關文章！