搜尋
首頁科技週邊人工智慧泊松矩陣分解:無需資料解決推薦系統冷啟動問題的矩陣分解演算法

作者 | 汪昊

審校 | 孫淑娟

推薦系統是目前網路產業最熱門的技術之一。在過去的十年中,互聯網產業誕生了數以百萬計的推薦系統模型迭代版本。儘管針對不同場景進行最佳化的推薦系統模型非常之多,但是經典的模型非常少。矩陣分解是推薦系統領域勃興早期,在 Netflix 競賽中展露頭角的推薦系統演算法,也是過去十年最為成功的推薦系統演算法。儘管到 2023 年的今天,推薦系統領域早已是深度學習的天下,矩陣分解仍然廣泛應用於各大公司研發過程中,並且仍有許多科研人員在從事相關演算法的研究工作。

泊松矩陣分解:無需資料解決推薦系統冷啟動問題的矩陣分解演算法

矩陣分解演算法最為經典的論文是 2007 年的 Probabilistic Matrix Factorization 。在此基礎上,後人進行了大量的擴展工作,例如2021 年的RankMat(論文下載地址:https://arxiv.org/abs/2204.13016)、ZeroMat (論文下載地址:https://arxiv.org /abs/2112.03084) 和2022 年的DotMat (論文下載網址:https://arxiv.org/abs/2206.00151)、KL-Mat(論文下載網址:https://arxiv.org/abs/2204.13583/ 代碼下載網址:https://arxiv.org/abs/2204.13583/ 代碼下載地址:https://arxiv.org/abs/2204.13583/ 代碼下載地址地址:https://github.com/haow85/KL-Mat)等。推薦系​​統因其簡單易用性,以及速度快等原因,深受網路產業廣大工程師的喜愛。

推薦系統冷啟動問題是今年來備受關注的另一個研究熱點。許多從業者解決推薦系統的想法都是遷移學習和元學習。然而這個思路有個致命的缺點,就是需要其他知識領域的數據。而許多公司是不具備這項條件的。真正不需要任何資料的冷啟動演算法,是在 2021 年 ZeroMat 提出以後出現的。代表演算法包括上一節提到的 ZeroMat 和 DotMat。本文將要介紹的泊松矩陣分解演算法(PoissonMat)是 2022 年國際學術會議MLISE 2022所發表的論文。論文的名稱是PoissonMat:Remodeling Matrix Factorization using Poisson Distribution and Solving the Cold Start Problem without Input Data(論文下載網址:https://arxiv.org/abs/2212.10460)。

我們先回顧一下Probabilistic Matrix Factorization的MAP定義:

泊松矩陣分解:無需資料解決推薦系統冷啟動問題的矩陣分解演算法

我們接著定義使用者為物品評分這一行為為泊松分佈。根據泊松分佈的定義,我們得到以下公式:

泊松矩陣分解:無需資料解決推薦系統冷啟動問題的矩陣分解演算法

#根據泊松公式中參數的定義,我們有:

泊松矩陣分解:無需資料解決推薦系統冷啟動問題的矩陣分解演算法

#根據齊夫分佈,我們可以得到以下公式:

泊松矩陣分解:無需資料解決推薦系統冷啟動問題的矩陣分解演算法

##綜合以上公式,我們得到泊松矩陣分解(PoissonMat)的解析形式:

泊松矩陣分解:無需資料解決推薦系統冷啟動問題的矩陣分解演算法

#採用隨機梯度下降演算法求解以上公式,我們得到如下演算法流程:

泊松矩陣分解:無需資料解決推薦系統冷啟動問題的矩陣分解演算法

作者隨後在MovieLens 1 Million Dataset 和LDOS-CoMoDa Dataset 上進行了演算法準確率和公平性的實驗對比:

泊松矩陣分解:無需資料解決推薦系統冷啟動問題的矩陣分解演算法

泊松矩陣分解:無需資料解決推薦系統冷啟動問題的矩陣分解演算法

#圖1 泊松矩陣分解在MovieLens 1 Million Dataset 上的對比實驗

泊松矩陣分解:無需資料解決推薦系統冷啟動問題的矩陣分解演算法

#

泊松矩陣分解:無需資料解決推薦系統冷啟動問題的矩陣分解演算法

圖2 泊松矩陣分解在LDOS-CoMoDa Dataset 上的對比實驗

根據實驗對比效果,我們可以得出以下結論:泊松矩陣分解(PoissonMat)在準確率和公平性指標方面都優於其他演算法。而且難能可貴的是,泊松矩陣分解演算法沒有用到任何輸入數據,是徹頭徹尾的零樣本學習演算法,很好的解決了冷啟動問題。

最後,作者是在 16G RAM 和 Intel Core i5 的聯想家用筆記本上做的實驗,演算法運行速度飛快,實現也非常簡單。

以解決推薦系統冷啟動問題為目標的零樣本學習演算法,目前是研究熱點。而不需要任何資料解決零樣本學習問題的真正的零樣本學習演算法,始自 2021 年的 ZeroMat 演算法。本文介紹的泊松矩陣分解演算法(PoissonMat)效能優於 ZeroMat 及其後續演算法 DotMat,是目前這一領域最優秀的演算法之一。由於相關研究仍處於起步階段,希望能引起廣大科技從業人員的注意與重視。

作者介紹

汪昊,前 Funplus 人工智慧實驗室負責人,前恆昌利通大數據部負責人。本科 (2008 年)和碩士(2010年)畢業於美國猶他大學(University of Utah)。對外經貿大學在職 MBA (2016年)。在推薦系統(公平性/基於場景的推薦/冷啟動/可解釋性/排序學習)、電腦圖形學(幾何建模/視覺化)、自然語言處理(工業界的落地應用)、風控反詐欺(金融/醫療)等方向有多年的經驗和獨特的見解。在網路(豆瓣、百度、新浪、網易等)、金融科技(恆昌利通)和遊戲公司(Funplus等)有 12 年的技術研發和管理經驗。在國際學術會議和期刊發表論文 30 篇,獲得國際會議最佳論文獎 / 最佳論文報告獎 3 次 (IEEE SMI 2008 Best Paper Award / ICBDT 2020 Best Oral Presentation Award / ICISCAE 2021 Best Oral Presentation Award)。 2006 年 ACM/ICPC 北美落磯山脈區域賽金牌。 2004 年全國大學生英語能力競賽口語決賽銅牌。 2003 年濟南市高考科英語狀元。

以上是泊松矩陣分解:無需資料解決推薦系統冷啟動問題的矩陣分解演算法的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:51CTO.COM。如有侵權,請聯絡admin@php.cn刪除
閱讀AI索引2025:AI是您的朋友,敵人還是副駕駛?閱讀AI索引2025:AI是您的朋友,敵人還是副駕駛?Apr 11, 2025 pm 12:13 PM

斯坦福大學以人為本人工智能研究所發布的《2025年人工智能指數報告》對正在進行的人工智能革命進行了很好的概述。讓我們用四個簡單的概念來解讀它:認知(了解正在發生的事情)、欣賞(看到好處)、接納(面對挑戰)和責任(弄清我們的責任)。 認知:人工智能無處不在,並且發展迅速 我們需要敏銳地意識到人工智能發展和傳播的速度有多快。人工智能係統正在不斷改進,在數學和復雜思維測試中取得了優異的成績,而就在一年前,它們還在這些測試中慘敗。想像一下,人工智能解決複雜的編碼問題或研究生水平的科學問題——自2023年

開始使用Meta Llama 3.2 -Analytics Vidhya開始使用Meta Llama 3.2 -Analytics VidhyaApr 11, 2025 pm 12:04 PM

Meta的Llama 3.2:多模式和移動AI的飛躍 Meta最近公佈了Llama 3.2,這是AI的重大進步,具有強大的視覺功能和針對移動設備優化的輕量級文本模型。 以成功為基礎

AV字節:Meta' llama 3.2,Google的雙子座1.5等AV字節:Meta' llama 3.2,Google的雙子座1.5等Apr 11, 2025 pm 12:01 PM

本週的AI景觀:進步,道德考慮和監管辯論的旋風。 OpenAI,Google,Meta和Microsoft等主要參與者已經釋放了一系列更新,從開創性的新車型到LE的關鍵轉變

與機器交談的人類成本:聊天機器人真的可以在乎嗎?與機器交談的人類成本:聊天機器人真的可以在乎嗎?Apr 11, 2025 pm 12:00 PM

連接的舒適幻想:我們在與AI的關係中真的在蓬勃發展嗎? 這個問題挑戰了麻省理工學院媒體實驗室“用AI(AHA)”研討會的樂觀語氣。事件展示了加油

了解Python的Scipy圖書館了解Python的Scipy圖書館Apr 11, 2025 am 11:57 AM

介紹 想像一下,您是科學家或工程師解決複雜問題 - 微分方程,優化挑戰或傅立葉分析。 Python的易用性和圖形功能很有吸引力,但是這些任務需要強大的工具

3種運行Llama 3.2的方法-Analytics Vidhya3種運行Llama 3.2的方法-Analytics VidhyaApr 11, 2025 am 11:56 AM

Meta's Llama 3.2:多式聯運AI強力 Meta的最新多模式模型Llama 3.2代表了AI的重大進步,具有增強的語言理解力,提高的準確性和出色的文本生成能力。 它的能力t

使用dagster自動化數據質量檢查使用dagster自動化數據質量檢查Apr 11, 2025 am 11:44 AM

數據質量保證:與Dagster自動檢查和良好期望 保持高數據質量對於數據驅動的業務至關重要。 隨著數據量和源的增加,手動質量控制變得效率低下,容易出現錯誤。

大型機在人工智能時代有角色嗎?大型機在人工智能時代有角色嗎?Apr 11, 2025 am 11:42 AM

大型機:AI革命的無名英雄 雖然服務器在通用應用程序上表現出色並處理多個客戶端,但大型機是專為關鍵任務任務而建立的。 這些功能強大的系統經常在Heavil中找到

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
3 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳圖形設置
3 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您聽不到任何人,如何修復音頻
3 週前By尊渡假赌尊渡假赌尊渡假赌
WWE 2K25:如何解鎖Myrise中的所有內容
3 週前By尊渡假赌尊渡假赌尊渡假赌

熱工具

WebStorm Mac版

WebStorm Mac版

好用的JavaScript開發工具

MantisBT

MantisBT

Mantis是一個易於部署的基於Web的缺陷追蹤工具,用於幫助產品缺陷追蹤。它需要PHP、MySQL和一個Web伺服器。請查看我們的演示和託管服務。

SecLists

SecLists

SecLists是最終安全測試人員的伙伴。它是一個包含各種類型清單的集合,這些清單在安全評估過程中經常使用,而且都在一個地方。 SecLists透過方便地提供安全測試人員可能需要的所有列表,幫助提高安全測試的效率和生產力。清單類型包括使用者名稱、密碼、URL、模糊測試有效載荷、敏感資料模式、Web shell等等。測試人員只需將此儲存庫拉到新的測試機上,他就可以存取所需的每種類型的清單。

VSCode Windows 64位元 下載

VSCode Windows 64位元 下載

微軟推出的免費、功能強大的一款IDE編輯器

Atom編輯器mac版下載

Atom編輯器mac版下載

最受歡迎的的開源編輯器