搜尋
首頁科技週邊人工智慧登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀

目前高速發展的互聯網時代中,各種類型的數據不斷湧現,其中,我們較為常用的就有表格數據,表格作為一種通用的結構化數據,我們可以根據需求設計SQL 查詢語句來獲得表格中的知識,但是往往需要較高的設計成本以及學習成本。此時,Text-to-SQL 解析任務顯得格外重要,而根據對話場景的不同,也分為單輪Text-to-SQL 解析和多輪Text-to-SQL 解析,本文主要研究更加困難且更接近現實應用的多輪Text-to-SQL 解析任務。

近期,阿里巴巴達摩院聯合中國科學院深圳先進技術研究院提出針對多輪 Text-to-SQL 語意解析的 SQL 查詢語句導向型預訓練模型 STAR。截至目前,STAR 已連續 10 個月佔據 SParC 和 CoSQL 兩大榜單的第一名。研究論文已被自然語言處理領域國際會議 EMNLP 2022 Findings 接收。

登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀


  • #論文網址:https://arxiv.org/abs/2210.11888
  • 程式碼位址:https://github.com/AlibabaResearch/DAMO-ConvAI/tree/main/star

#STAR 是一種新穎且有效的多輪對話表格知識預訓練語言模型,該模型主要透過兩個預訓練目標對多輪對話中的複雜上下文語義追蹤和資料庫模式狀態追蹤進行建模,目的是增強自然語言查詢和資料庫模式在對話流中的編碼表示。

該研究在對話式語義解析的權威榜單SParC 和CoSQL 上進行了評估,在公平的下游模型對比下,STAR 相比之前最好的多輪表格預訓練模型SCoRe,在SParC 資料集上QM/IM 提升了4.6%/3.3%,在CoSQL 資料集上QM/IM 顯著提升7.4%/8.5%。特別地,CoSQL 相比 SParC 資料集,擁有更多的情境變化,驗證了該研究提出的預訓練任務的有效性。

背景介紹

為了使得使用者在不熟悉SQL 語法的情況下也能夠透過自然語言對話與資料庫進行交互,多輪Text-to-SQL 解析任務應運而生,該任務作為使用者與資料庫之間的橋樑,將互動內的自然語言問題轉換為可執行的SQL 查詢語句。

預訓練模型最近幾年在NLP 的各種任務上大放異彩,但由於表格和自然語言之間內在的差異性,普通的預訓練語言模型(例如BERT,RoBERTa) 在該任務上無法達到最優的性能,所以預訓練表格模型(TaLM)[1-5] 應運而生。通常,預訓練表格模型(TaLM)需要處理兩個核心問題,包括如何建模上下文查詢之間的複雜依賴(指涉、意圖偏移)及如何有效利用歷史產生的 SQL 結果。針對上述兩個核心問題,現有的預訓練表格模型有以下缺陷:

登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀

圖1. 一個上下文依賴的多輪Text-to-SQL 解析範例。

第一,現有的表格預訓練模型僅僅探索了自然語言查詢的上下文信息,而不考慮歷史SQL 查詢語句中所蘊含的交互狀態訊息,這種訊息往往能以一種更準確而緊湊的形式概括使用者的意圖。因此,對歷史 SQL 資訊進行建模和追蹤能夠更好地捕捉當前輪查詢的意圖,從而更加準確地產生對應的 SQL 查詢語句。如圖1 所示,由於第一輪SQL 查詢中提到了表名“Compuses”,在第二輪SQL 查詢中很大可能會再次選擇該表,因此對錶名“Compuses” 的狀態進行追蹤顯得格外重要。

第二,由於使用者可能忽略對話歷史中提及的實體或引入一些指代,導致當前輪對話資訊缺失,因此多輪Text-to-SQL 解析任務需要有效地建模上下文訊息以便更好地解析當前輪自然語言對話。如圖 1 所示,第二輪對話省了第一輪對話中提到的 “campuses in year 2000”。然而大部分已有預訓練表格模型並沒有考慮上下文訊息,而是對每輪自然語言對話單獨進行建模。儘管 SCoRe [1] 透過預測相鄰兩輪對話之間的上下文切換標籤來建模上下文切換訊息,但是忽略了更複雜的上下文訊息,並且不能追蹤遠距離對話之間的依賴訊息。例如,在圖 1 中,由於第二輪對話和第三輪對話發生了上下文切換,而 SCoRe 並不能捕捉第一輪對話和第四輪對話之間長距離依賴資訊。

受到多輪對話中對話狀態追蹤任務的啟發,該研究提出了一種基於模式狀態追蹤預訓練目標來隊上下文SQL 的模式狀態進行追蹤;針對多輪對話中問題間複雜語義依賴問題,該研究提出了對話依賴追蹤方法,捕捉多輪對話之間的複雜語義依賴關係,並提出基於權重的對比學習方法來更好地建模對話之間的正例和負例關係。

問題定義

該研究首先給出多輪 Text-to-SQL 解析任務涉及的符號和問題定義。 登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀表示T 輪自然語言查詢,查詢的多輪Text-to-SQL 對話交互,其中登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀表示第i 輪自然語言問題,每輪自然語言對話登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀包含登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀個tokens。此外,還有一個與互動的資料庫s,其中包含了N 個表格登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀,並且所有表格包含m 個表名和列名,登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀##表示資料庫模式s 中的第i 個表名或列名。假設目前輪為第t 輪,Text-to-SQL 解析任務的目的是根據當前輪自然語言查詢登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀#,歷史查詢##,資料庫模式s 和上一輪預測的SQL 查詢語句登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀,產生目前輪自然語言查詢登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀對應的SQL 查詢語句登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀

方法描述

如圖2 所示,研究提出了一個基於SQL 引導的多輪表格預訓練框架,充分利用了歷史SQL 的結構化資訊來豐富對話表示,進而對複雜的上下文資訊進行更有效地建模。

登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀

圖 2.STAR 的模型架構。

具體來說,研究提出基於模式狀態追蹤和基於對話依賴追蹤的表格預訓練目標,分別對多輪互動中的SQL 查詢語句和自然語言問題的意圖進行追蹤。 (1) 在多輪對話情境中,目前對話的SQL 查詢依賴於上下文的SQL 訊息,因此受到多輪對話中對話狀態追蹤任務的啟發,該研究提出了一種基於模式狀態追蹤(Schema State Tracking, SST)的表格預先訓練目標,以自我監督的方式追蹤上下文相關SQL 查詢語句的模式狀態(或使用者請求)。 (2) 針對多輪對話中自然語言問題之間的複雜語義依賴問題,提出了基於對話依賴追蹤(Utterance Dependency Tracking,UDT)的表格預訓練目標,利用基於權重的對比學習方法更好地學習自然語言查詢的特徵表示。以下詳細介紹這兩個表格預訓練目標。

基於模式狀態追蹤的表格預訓練目標

#

該研究提出了一種基於模式狀態追蹤的表格預訓練目標,以自監督的方式追蹤上下文相關 SQL 查詢語句的模式狀態 (或使用者請求),目的是預測模式槽的值。具體來說,該研究以模式狀態的形式追蹤 Text-to-SQL 會話的交互狀態,其中槽是資料庫模式(即所有表的列名),對應的槽值是 SQL 關鍵字。以圖 3 中的 SQL 查詢為例,模式槽 “[car_data]” 的值是 SQL 關鍵字 “[SELECT]”。首先,研究將第 t - 1 輪預測的 SQL 查詢語句登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀轉換為一組模式狀態的形式。由於模式狀態的插槽是資料庫的所有表的列名,因此那些沒有出現在 SQL 查詢語句登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀#對應的模式狀態中的值被設定為 [NONE]。如圖3 所示,研究以m 個模式狀態登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀表示SQL 查詢語句登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀#,其中登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀##表示第i 個模式狀態的槽,登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀表示該模式狀態的值。對於第t 輪,模式狀態追蹤的目標是在給定所有歷史自然語言問題登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀,當前問題登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀和上一輪SQL 查詢語句 登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀的模式狀態登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀的情況下,預測第t 輪的SQL 查詢語句的每個模式狀態槽登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀的值 登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀。也就是說,在第 t 輪,模式狀態追蹤預訓練目標的輸入登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀為:

登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀#

由於每個模式狀態登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀包含多個單字,因此應用注意力層來獲得登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀的表示。具體來說,給定輸出上下文化表示登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀 ( l 是登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀的起始下標)。對於每個模式狀態登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀,模式狀態登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀的注意力感知的表示登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀可以計算為:

登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀

#然後預測目前問題的模式狀態:

登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀

最後,將模式狀態追蹤的預訓練損失函數可以定義為:

登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀

#基於對話依賴追蹤的表格預訓練目標

#該研究提出了一個話語依賴追蹤的預訓練目標,利用基於權重的對比學習方法,以捕獲每個Text-to-SQL 話中自然語言問題之間的複雜語義依賴關係。基於權重的對比學習中的一個關鍵挑戰是如何透過自我監督的方式來建構適當的正例和負例標籤,直覺上可以透過從不同的會話中選擇自然語言問題來建構負例對。然而,建構正例問題對並非易事,因為當前的問題可能與那些發生了話題轉移的歷史問題無關,如圖 1 所示的第二和第三個話語。因此,該研究將同一會話中的自然語言問題視為正例對,並且給它們分配了不同的相似度分數。 SQL 是一種高度結構化的使用者話語指示,因此透過測量當前SQL 與歷史SQL 的相似性,可以獲得自然語言問題的語義依賴的偽標籤,以獲得不同語句建的相似度分數,從而指導上下文構建模。研究從語意和結構兩個角度出發提出了一種度量 SQL 相似性的方法。如圖 3 所示:

登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀

圖 3. 兩種計算 SQL 語句相似度的方法。

基於語意的SQL 相似度計算#  研究透過計算兩個SQL 查詢語句對應的模式狀態相似度來衡量它們之間的語意相似度。具體來說,如圖3 所示,該方法會分別取得兩個SQL 查詢語句登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀#,登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀#的模式狀態登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀#。然後,研究採用Jaccard 相似度來計算它們之間的語意相似度登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀

登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀

##其中登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀表示登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀對應模式狀態的值不是[NONE] 的非重複模式狀態的數量。


基於結構的SQL 相似度計算  為了利用SQL 查詢語句的樹狀結構,研究首先將每個SQL 查詢登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀解析為SQL 樹登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀,如圖3 所示。給定SQL 查詢登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀的兩棵SQL 樹

登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀

############## ###,該研究利用Weisfeiler-Lehman 演算法來計算的結構相似度分數##########,公式如下:#######

登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀

總的來說,研究定義兩個SQL 查詢語句登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀#和登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀的相似度分數如下:

登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀

#基於權重的比較損失  在取得SQL相似度後,研究使用加權對比學習將會話中語義相似的自然語言問題的表示拉近,將語義不相似的自然語言問題的表示推遠。具體來說,首先該研究利用一個注意機制來學習輸入表示登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀:

登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀

然後,研究將加權對比損失函數最小化以優化整體網路:

登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀

#最後,為了學習基於上下文語境的自然語言查詢和資料庫模式表示,該研究也採用了基於掩碼語義建模的預訓練目標,損失函數表示為。基於上述的三個訓練目標,研究定義了基於同方差的聯合損失函數:

登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀

#其中,登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀#為可訓練的參數。

實驗效果

資料集#  研究在兩個對話式語意解析權威資料集SParC 和CoSQL 對STAR 模型的有效性進行了驗證。其中,SParC 是一個跨領域的多輪Text-to-SQL 解析資料集,包含了大約4300 次多輪互動和超過12000 個自然語言問題- SQL 查詢語句對;CoSQL 是一個跨領域的對話式Text- to-SQL 解析資料集,包含了大約3000 次對話互動和超過10000 個自然語言問題- SQL 查詢語句對。相較於 SParC,CoSQL 的對話上下文語意相關性更高,且 SQL 查詢語句的語法更加複雜。

基準模型  在基準模型方面,研究比較了以下方法:(1)GAZP [6],透過結合一個前向語意解析模型和一個後向對話產生模型合成自然語言對話- SQL 查詢語句對的訓練數據,最後選擇具有循環一致性的資料擬合前向語義解析模型。 (2)EditSQL [7],考慮了互動歷史訊息,透過編輯前時刻預測的 SQL 查詢語句來提升當前輪對話的 SQL 產生品質。 (3)IGSQL [8],提出了一個資料庫模式交互圖編碼模型,該模型使用資料庫模式的歷史資訊來捕捉自然語言輸入歷史訊息,並且在解碼階段引入門控機制。 (4)IST-SQL [9],受到對話狀態追蹤任務的啟發,定義了模式狀態和 SQL 狀態兩種互動狀態,並在每一輪中根據上一個預測的 SQL 查詢語句進行狀態更新。 (5)R2SQL [10],提出了一個動態圖框架,針對對話流中的對話、資料庫模式之間的複雜交互作用進行建模,透過動態記憶衰退機制豐富對話和資料庫模式的上下文表示。 (6)PICARD [11],提出一種增量式的語意解析,對語言模型的自迴歸解碼模型進行約束,在每個解碼步驟中,透過約束解碼結果的可接受性來尋找合法的輸出序列。 (7)DELTA [12],先使用對話重寫模型解決對話上下文的完整性問題,然後將完整的對話輸入單輪 Text-to-SQL 語意解析模型,得到最終 SQL 查詢語句。 (8)HIE-SQL [13],從多模態的角度出發,將自然語言和SQL 看作兩種模態,探索所有歷史對話和上一句預測的SQL 查詢語句之間上下文依賴信息,提出了一個雙模態預訓練模型並且設計了一個對話和SQL 查詢語句之間的模式連結圖。

整體實驗結果#  如圖4 所示,從實驗結果可以看出,STAR 模型在SParC和CoSQL 兩個資料集上的效果遠勝於其他對比方法。在預訓練模型比較方面,STAR 模型都遠超於其他預訓練模型(如BERT,RoBERTa,GRAPPA,SCoRe),在CoSQL dev 資料集上,比較SCoRE 模型,QM 分數提升7.4%,IM 分數提升7.5% 。在下游Text-to-SQL 模型對比方面,以STAR 為預訓練模型底座的LGESQL 模型,效果遠勝於將其他預訓練語言模型當作底座的下游方法,例如目前效果最好的以GRAPPA 為底座的HIE-SQL 模型。

登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀

圖4. 在SParC 和CoSQL 資料集上的實驗結果

消融實驗結果  本文也補充了完整的消融實驗來說明STAR 模型中每個模組的有效性。消融實驗結果如圖5 所示,當去掉SST 或UDT 預訓練目標時,效果會大幅下降,而結合所有預訓練目標的實驗結果在所有資料集上都達到了最好的效果,這說明了SST和UDT 的有效性。另外,研究針對UDT 中的兩種SQL 相似度計算方法進行了進一步的實驗,從圖6 可以看出,兩種SQL 相似度計算方法都能提升STAR 模型的效果,並且結合後的效果最佳。

登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀

圖 5. 圖 5.針對預訓練目標的消融實驗結果。


登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀

圖6.針對SQL 相似度計算方法的消融實驗結果。

不同难度样本的模型效果  如图 7 所示,从 SParC 和 CoSQL 两个数据集上的不同难度样本的实验结果可以看出,STAR 模型针对各种难度样本的预测效果都远胜于其他对比方法,即使是在难度最大的 extra hard 样本中也效果显著。

登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀

图 7. 在 SParC 和 CoSQL 数据集上不同难度样本的实验结果。

不同轮次样本的模型效果  如图 8 所示,从 SParC 和 CoSQL 两个数据集上的不同轮次样本的实验结果可以看出,随着对话轮次的增加,基准模型的 QM 指标在急剧下降,而 STAR 模型即使在第三轮和第四轮也能表现出更稳定的性能。这表明 STAR 模型可以更好地追踪和探索对话历史中的交互状态,以帮助模型更好地解析当前对话。

登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀

图 8. 在 SParC 和 CoSQL 数据集上不同轮次样本的实验结果。

实例分析  为了评估 STAR 模型的实际效果,该研究从 CoSQL 验证集中选择了两个样本,并在图 9 中对比了 SCoRe 模型和 STAR 模型生成的 SQL 查询语句。从第一个例子我们可以看到 STAR 模型能够很好地使用历史 SQL 的模式状态信息(例如,[car_names.Model]),从而正确生成了第三轮对话的 SQL 查询语句,而 SCoRe 模型则无法跟踪这种模式状态信息。在第二个例子中,STAR 模型有效地跟踪了第一轮和第四轮话语之间的长期对话依赖关系,并通过跟踪和引用第二轮对话中的 “the number of” 信息,在第四轮 SQL 查询语句中正确地生成了 SQL 关键字 [SELECT COUNT (*)]。然而,SCoRe 模型无法跟踪这种长期依赖关系,并受到第三轮话语的干扰生成了错误的 SQL 查询语句。

登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀

图 9. 实例分析。

ModelScope 模型开源社区

本文在 CoSQL 数据集上训练得到的模型,目前已集成到 ModelScope 模型开源社区。读者可以直接在 notebook 中选择 V100 GPU 环境,通过一个简单 pipeline 即可使用 demo 模型用于多轮 Text-to-SQL 语义解析任务。

登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀

登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀

总结

本文中,研究团队提出了一个新颖且有效的多轮表格知识预训练模型(STAR 模型)。针对多轮 Text-to-SQL 语义解析任务,STAR 模型提出基于模式状态追踪和基于对话依赖追踪的表格预训练目标,分别对多轮交互中的 SQL 查询语句和自然语言问题的意图进行追踪。STAR 模型在两个权威多轮语义解析榜单很好的结果,连续 10 个月占据榜单第一名的成绩。

最后,欢迎对中国科学院深圳先进技术研究院SIAT-NLP组感兴趣的同学申请博后/博士/硕士/实习等职位,简历请发至min.yang@siat.ac.cn。

以上是登頂對話式語意解析國際權威榜單SParC與CoSQL,全新多輪對話表格知識預訓練模式STAR解讀的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:51CTO.COM。如有侵權,請聯絡admin@php.cn刪除
烹飪創新:人工智能如何改變食品服務烹飪創新:人工智能如何改變食品服務Apr 12, 2025 pm 12:09 PM

AI增強食物準備 在新生的使用中,AI系統越來越多地用於食品製備中。 AI驅動的機器人在廚房中用於自動化食物準備任務,例如翻轉漢堡,製作披薩或組裝SA

Python名稱空間和可變範圍的綜合指南Python名稱空間和可變範圍的綜合指南Apr 12, 2025 pm 12:00 PM

介紹 了解Python函數中變量的名稱空間,範圍和行為對於有效編寫和避免運行時錯誤或異常至關重要。在本文中,我們將研究各種ASP

視覺語言模型(VLMS)的綜合指南視覺語言模型(VLMS)的綜合指南Apr 12, 2025 am 11:58 AM

介紹 想像一下,穿過​​美術館,周圍是生動的繪畫和雕塑。現在,如果您可以向每一部分提出一個問題並獲得有意義的答案,該怎麼辦?您可能會問:“您在講什麼故事?

聯發科技與kompanio Ultra和Dimenty 9400增強優質陣容聯發科技與kompanio Ultra和Dimenty 9400增強優質陣容Apr 12, 2025 am 11:52 AM

繼續使用產品節奏,本月,Mediatek發表了一系列公告,包括新的Kompanio Ultra和Dimenty 9400。這些產品填補了Mediatek業務中更傳統的部分,其中包括智能手機的芯片

本週在AI:沃爾瑪在時尚趨勢之前設定了時尚趨勢本週在AI:沃爾瑪在時尚趨勢之前設定了時尚趨勢Apr 12, 2025 am 11:51 AM

#1 Google推出了Agent2Agent 故事:現在是星期一早上。作為AI驅動的招聘人員,您更聰明,而不是更努力。您在手機上登錄公司的儀表板。它告訴您三個關鍵角色已被採購,審查和計劃的FO

生成的AI遇到心理摩托車生成的AI遇到心理摩托車Apr 12, 2025 am 11:50 AM

我猜你一定是。 我們似乎都知道,心理障礙由各種chat不休,這些chat不休,這些chat不休,混合了各種心理術語,並且常常是難以理解的或完全荒謬的。您需要做的一切才能噴出fo

原型:科學家將紙變成塑料原型:科學家將紙變成塑料Apr 12, 2025 am 11:49 AM

根據本週發表的一項新研究,只有在2022年製造的塑料中,只有9.5%的塑料是由回收材料製成的。同時,塑料在垃圾填埋場和生態系統中繼續堆積。 但是有幫助。一支恩金團隊

AI分析師的崛起:為什麼這可能是AI革命中最重要的工作AI分析師的崛起:為什麼這可能是AI革命中最重要的工作Apr 12, 2025 am 11:41 AM

我最近與領先的企業分析平台Alteryx首席執行官安迪·麥克米倫(Andy Macmillan)的對話強調了這一在AI革命中的關鍵但不足的作用。正如Macmillan所解釋的那樣,原始業務數據與AI-Ready Informat之間的差距

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
3 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳圖形設置
3 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您聽不到任何人,如何修復音頻
3 週前By尊渡假赌尊渡假赌尊渡假赌
WWE 2K25:如何解鎖Myrise中的所有內容
4 週前By尊渡假赌尊渡假赌尊渡假赌

熱工具

MinGW - Minimalist GNU for Windows

MinGW - Minimalist GNU for Windows

這個專案正在遷移到osdn.net/projects/mingw的過程中,你可以繼續在那裡關注我們。 MinGW:GNU編譯器集合(GCC)的本機Windows移植版本,可自由分發的導入函式庫和用於建置本機Windows應用程式的頭檔;包括對MSVC執行時間的擴展,以支援C99功能。 MinGW的所有軟體都可以在64位元Windows平台上運作。

SAP NetWeaver Server Adapter for Eclipse

SAP NetWeaver Server Adapter for Eclipse

將Eclipse與SAP NetWeaver應用伺服器整合。

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

Dreamweaver Mac版

Dreamweaver Mac版

視覺化網頁開發工具

SublimeText3 Linux新版

SublimeText3 Linux新版

SublimeText3 Linux最新版