搜尋
首頁科技週邊人工智慧帕累托排序學習:基於推薦系統公平性的排序學習

作者 | 汪昊

審校 | 孫淑娟

推薦系統公平性是 2017 年以來爆火的人工智慧研究領域。知名的人工智慧公司如 Twitter, Google, IBM和百度,都創立了人工智慧倫理團隊或研發了人工智慧倫理產品。然而讓人遺憾的是,人工智慧倫理研究在國內起步較晚,跟國外相比,目前仍有一定差距。

帕累托排序學習:基於推薦系統公平性的排序學習

排序學習是在 2010 年左右爆發的機器學習技術,在推薦系統和資訊檢索領域都得到了廣泛的應用。在最近幾年,排序學習成為了熱門的人工智慧倫理研究演算法基準。

本文將要介紹的是 2022 年在國際學術會議 CISAT 2022 (International Conference on Computer Information Science and Application Technology) 發表的論文 Pareto Pairwise Ranking for Fairness Enhancement of Recommender Systems。本文主要說明如何結合帕累托分佈和排序學習實現公平的排序學習推薦演算法。

帕累托排序學習:基於推薦系統公平性的排序學習

圖1. MovieLens 資料集觀影評分差機率分佈

我們根據觀察(圖1)和統計理論(齊夫分佈的統計估計)可以得到以下結論: 同一個使用者對不同物品的評分差的機率分佈正比於評分差。我們修改機率矩陣分解的損失函數,得到我們發明的新演算法帕累托排序學習(Pareto Pairwise Ranking)的損失函數公式:

帕累托排序學習:基於推薦系統公平性的排序學習

把我們剛才的觀察帶入損失函數公式中,我們得到以下損失函數公式:

帕累托排序學習:基於推薦系統公平性的排序學習

我們把L 取對數,得到以下公式:

帕累托排序學習:基於推薦系統公平性的排序學習

我們利用隨機梯度下降公式來解損失函數對數,得到以下公式:

帕累托排序學習:基於推薦系統公平性的排序學習

帕累托排序學習:基於推薦系統公平性的排序學習

帕累托排序學習:基於推薦系統公平性的排序學習

#帕累托排序學習的演算法流程如下:

帕累托排序學習:基於推薦系統公平性的排序學習

圖2和圖3顯示的是帕累托排序學習在MovieLens 1 Million Dataset 資料集上的測試結果。論文作者比較了 10 種推薦系統演算法,發現帕累托排序學習演算法在公平性指標上表現最佳。


圖4 和圖5 顯示的是帕累托排序學習在LDOS-CoMoDa 資料集上的測試結果。帕累托排序學習演算法在公平性指標上的表現依然最好。

#########帕累托排序學習演算法是國內少見的基於公平性的排序學習推薦系統演算法。演算法原理簡單,實作簡便,運行速度快。作者在 16G RAM 和 Intel Core i5 的聯想筆記本上測試,執行速度很快。人工智慧倫理研究在國際上目前是研究熱點,希望能引起大家的足夠重視。 ############作者簡介############汪昊,前Funplus 人工智慧實驗室負責人,在ThoughtWorks, 豆瓣,新浪,網易等公司有超過11 年的研發和管理經驗。在推薦系統、聊天機器人、風控反詐騙領域有豐富的技術經驗。在國際學術會議和期刊發表論文 30 篇,獲得最佳論文獎/最佳論文報告獎3次。 2006 年 ACM 區域賽金牌。本科和碩士畢業於美國猶他大學。對外經貿大學在職 MBA。 ##################

以上是帕累托排序學習:基於推薦系統公平性的排序學習的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:51CTO.COM。如有侵權,請聯絡admin@php.cn刪除
AI技能差距正在減慢供應鏈AI技能差距正在減慢供應鏈Apr 26, 2025 am 11:13 AM

經常使用“ AI-Ready勞動力”一詞,但是在供應鏈行業中確實意味著什麼? 供應鏈管理協會(ASCM)首席執行官安倍·埃什肯納齊(Abe Eshkenazi)表示,它表示能夠評論家的專業人員

一家公司如何悄悄地努力改變AI一家公司如何悄悄地努力改變AIApr 26, 2025 am 11:12 AM

分散的AI革命正在悄悄地獲得動力。 本週五在德克薩斯州奧斯汀,Bittensor最終遊戲峰會標誌著一個關鍵時刻,將分散的AI(DEAI)從理論轉變為實際應用。 與閃閃發光的廣告不同

NVIDIA釋放NEMO微服務以簡化AI代理開發NVIDIA釋放NEMO微服務以簡化AI代理開發Apr 26, 2025 am 11:11 AM

企業AI面臨數據集成挑戰 企業AI的應用面臨一項重大挑戰:構建能夠通過持續學習業務數據來保持準確性和實用性的系統。 NeMo微服務通過創建Nvidia所描述的“數據飛輪”來解決這個問題,允許AI系統通過持續接觸企業信息和用戶互動來保持相關性。 這個新推出的工具包包含五個關鍵微服務: NeMo Customizer 處理大型語言模型的微調,具有更高的訓練吞吐量。 NeMo Evaluator 提供針對自定義基準的AI模型簡化評估。 NeMo Guardrails 實施安全控制,以保持合規性和適當的

AI為藝術與設計的未來描繪了一幅新圖片AI為藝術與設計的未來描繪了一幅新圖片Apr 26, 2025 am 11:10 AM

AI:藝術與設計的未來畫卷 人工智能(AI)正以前所未有的方式改變藝術與設計領域,其影響已不僅限於業餘愛好者,更深刻地波及專業人士。 AI生成的藝術作品和設計方案正在迅速取代傳統的素材圖片和許多交易性設計活動中的設計師,例如廣告、社交媒體圖片生成和網頁設計。 然而,專業藝術家和設計師也發現AI的實用價值。他們將AI作為輔助工具,探索新的美學可能性,融合不同的風格,創造新穎的視覺效果。 AI幫助藝術家和設計師自動化重複性任務,提出不同的設計元素並提供創意輸入。 AI支持風格遷移,即將一種圖像的風格應用

Zoom如何徹底改變與Agent AI的合作:從會議到里程碑Zoom如何徹底改變與Agent AI的合作:從會議到里程碑Apr 26, 2025 am 11:09 AM

Zoom最初以其視頻會議平台而聞名,它通過創新使用Agentic AI來引領工作場所革命。 最近與Zoom的CTO XD黃的對話揭示了該公司雄心勃勃的願景。 定義代理AI 黃d

對大學的存在威脅對大學的存在威脅Apr 26, 2025 am 11:08 AM

AI會徹底改變教育嗎? 這個問題是促使教育者和利益相關者的認真反思。 AI融入教育既提出了機遇和挑戰。 正如科技Edvocate的馬修·林奇(Matthew Lynch)所指出的那樣

原型:美國科學家正在國外尋找工作原型:美國科學家正在國外尋找工作Apr 26, 2025 am 11:07 AM

美國科學研究和技術發展或將面臨挑戰,這或許是由於預算削減導致的。據《自然》雜誌報導,2025年1月至3月期間,美國科學家申請海外工作的數量比2024年同期增加了32%。此前一項民意調查顯示,75%的受訪研究人員正在考慮前往歐洲和加拿大尋找工作。 過去幾個月,數百項NIH和NSF的撥款被終止,NIH今年的新撥款減少了約23億美元,下降幅度接近三分之一。洩露的預算提案顯示,特朗普政府正在考慮大幅削減科學機構的預算,削減幅度可能高達50%。 基礎研究領域的動盪也影響了美國的一大優勢:吸引海外人才。 35

所有有關打開AI最新的GPT 4.1家庭的信息 - 分析Vidhya所有有關打開AI最新的GPT 4.1家庭的信息 - 分析VidhyaApr 26, 2025 am 10:19 AM

Openai推出了強大的GPT-4.1系列:一個專為現實世界應用設計的三種高級語言模型家族。 這種巨大的飛躍提供了更快的響應時間,增強的理解和大幅降低了成本

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

WebStorm Mac版

WebStorm Mac版

好用的JavaScript開發工具

mPDF

mPDF

mPDF是一個PHP庫,可以從UTF-8編碼的HTML產生PDF檔案。原作者Ian Back編寫mPDF以從他的網站上「即時」輸出PDF文件,並處理不同的語言。與原始腳本如HTML2FPDF相比,它的速度較慢,並且在使用Unicode字體時產生的檔案較大,但支援CSS樣式等,並進行了大量增強。支援幾乎所有語言,包括RTL(阿拉伯語和希伯來語)和CJK(中日韓)。支援嵌套的區塊級元素(如P、DIV),

EditPlus 中文破解版

EditPlus 中文破解版

體積小,語法高亮,不支援程式碼提示功能

DVWA

DVWA

Damn Vulnerable Web App (DVWA) 是一個PHP/MySQL的Web應用程序,非常容易受到攻擊。它的主要目標是成為安全專業人員在合法環境中測試自己的技能和工具的輔助工具,幫助Web開發人員更好地理解保護網路應用程式的過程,並幫助教師/學生在課堂環境中教授/學習Web應用程式安全性。 DVWA的目標是透過簡單直接的介面練習一些最常見的Web漏洞,難度各不相同。請注意,該軟體中

SublimeText3 英文版

SublimeText3 英文版

推薦:為Win版本,支援程式碼提示!