Meta FAIR 和 Samaya AI 團隊利用 AI 提高維基百科的可驗證性

編輯 | 白菜葉

可驗證性是維基百科的核心內容政策：聲明需要有引用的支持。維護和提高維基百科參考文獻的品質是一項重要的挑戰，迫切需要更好的工具來幫助人類完成這項工作。

在這裡，Samaya AI 和 Meta FAIR 的研究人員表明，可以藉助由資訊檢索系統和語言模型提供支援的人工智慧 (AI) 來解決改進參考的過程。

這個基於神經網路的系統（這裡稱之為 SIDE）可以識別不太可能支持其主張的維基百科引文，然後從網路上推薦更好的引文。該團隊在現有的維基百科參考資料上訓練這個模型，因此從數千名維基百科編輯的貢獻和綜合智慧中學習。透過眾包，研究人員觀察到，對於最有可能被該系統標記為無法驗證的前10% 的引用，與最初引用的參考文獻相比，人們在70% 的情況下更喜歡該系統提供的替代方案。

為了驗證系統的適用性，研究人員建立了一個演示來與英語維基百科社群互動，發現根據SIDE 的說法，對於相同的前10% 最有可能無法驗證的聲明，SIDE 的首次引用推薦的首選頻率是現有維基百科引用的兩倍。結果表明，基於人工智慧的系統可以與人類一起使用，以提高維基百科的可驗證性。

研究以「Improving Wikipedia verifiability with AI」為題，於 2023 年 10 月 19 日發佈在《Nature Machine Intelligence》。

維基百科是訪問量最大的網站之一，每年的頁面瀏覽量達到五萬億，是當今最重要的知識來源之一。因此，維基百科上的知識幾乎都是可驗證的，這一點至關重要：維基百科使用者應該能夠使用可靠的外部來源來尋找並確認維基百科上的聲明。為了促進這一點，維基百科文章提供了指向支持該主張的背景資料的內聯引用。質疑維基百科聲明的讀者可以遵循這些指示並自行驗證資訊。

然而，在實踐中，這個過程可能會失敗：引文可能不包含受質疑的主張，或其來源可能值得懷疑。這樣的說法可能仍然是正確的，但細心的讀者無法輕易地用引用來源中的資訊來驗證它們。假設維基百科的說法是真的，其驗證過程分為兩個階段：（1）檢查現有來源的一致性；（2）如果失敗，則尋找新的證據。

如上所述，維基百科聲明的驗證需要對語言的深入理解和對線上搜尋的掌握。機器可以在多大程度上學習這種行為？從基礎人工智慧進展的角度來看，這個問題很重要。例如，驗證需要能夠檢測自然語言中的邏輯蘊涵，並將主張及其上下文轉換為尋找證據的最佳搜尋字詞——這兩個長期存在的問題主要在某種程度上的綜合環境中進行了研究。

從實際角度來看，這同樣重要。機器驗證器可以幫助維基百科編輯標記哪些引文可能會觸發失敗的驗證，並建議用什麼來替換引文，以防它們目前不支援各自的主張。這可能很重要：搜尋潛在證據並仔細閱讀搜尋結果需要時間和大量的認知努力。將人工智慧助理整合到這個過程中可能有助於減少這兩種情況。

圖示：SIDE概述。 （資料來源：論文）

在最新的工作中，Samaya AI 和 Meta FAIR 的研究人員開發了 SIDE，一個基於人工智慧的維基百科引文驗證器。 SIDE 在 Wikipedia 上發現根據當前引文可能無法驗證的聲明，為此，掃描網路快照以尋找替代方案。

它的行為是透過維基百科本身來學習的：使用精心策劃的英語維基百科聲明及其當前引用的語料庫，研究人員訓練（1）一個檢索器組件，將聲明和上下文轉換為經過最佳化的符號和神經搜尋查詢，以在網路規模的語料庫中找到候選引用；（2) 一個驗證模型，根據現有的和檢索到的引文驗證給定聲明的可能性進行排名。

該團隊使用自動指標和人工註釋來評估他們的模型。為了自動測量該系統的準確性，他們檢查了 SIDE 在高品質文章中恢復現有維基百科引用的情況（如維基百科特色文章類所定義）。

研究人員發現，在近 50% 的情況下，SIDE 會準確地返回維基百科中使用的來源作為其最佳解決方案。值得注意的是，這並不意味著其他 50% 是錯誤的，只是他們不是目前的維基百科來源。

團隊也測試了 SIDE 作為引文助手的能力。在使用者研究中，他們將現有的維基百科引用放在 SIDE 產生的引用旁邊。然後，使用者評估所提供的引文在多大程度上支持該主張，以及 SIDE 或維基百科的哪個引文更適合驗證。

總體而言，超過60% 的時間使用者偏好SIDE 的引用而不是維基百科的引用，當SIDE 將非常低的驗證分數與維基百科的引用相關聯時，這一比例會增加到80% 以上。

論文連結：https://www.nature.com/articles/s42256-023-00726-1

以上是Meta FAIR 和 Samaya AI 團隊利用 AI 提高維基百科的可驗證性的詳細內容。更多資訊請關注PHP中文網其他相關文章！