VLDB 2023國際會議已在加拿大溫哥華成功舉辦。 VLDB會議是資料庫領域歷史悠久的三大頂尖會議之一,其全稱為國際大型資料庫會議。每屆會議都集中展示了當前資料庫研究的前沿方向、工業界的最新技術以及各國的研發水平,吸引了全球頂尖研究機構的投稿
該會議對系統創新性、完整性、實驗設計等方面都有極高的要求。 VLDB 的論文接受率整體較低,約18%,只有貢獻很大的論文才有可能被錄用。今年的競爭更加激烈。根據官方數據顯示,今年VLDB 共有9篇論文獲得了最佳論文獎項,其中包括史丹佛大學、卡內基美隆大學、微軟研究院、VMware 研究院、Meta 等全球知名大學、研究機構和科技巨頭的身影
其中由第四範式、清華大學以及新加坡國立大學聯合完成的"FEBench: A Benchmark for Real-Time Relational Data Feature Extraction" 論文,獲得了最佳工業界論文Runner Up 獎項。
這篇論文是由第四範式、清華大學和新加坡國立大學合作完成的。論文提出了一個基於工業界真實場景累積的即時特徵計算測試基準,用於評估基於機器學習的即時決策系統
請點擊以下連結查看論文:https://github.com/decis-bench/febench/blob/main/report/febench.pdf
- ##計畫網址:https://github.com /decis-bench/febench 需要重寫的內容是:專案網址為https://github.com/decis-bench/febench
專案背景
基於人工智慧的決策系統在許多行業場景中已廣泛應用。其中,許多場景涉及基於即時數據的計算,例如金融業的反詐騙和零售業的即時線上推薦。機器學習驅動的即時決策系統通常包括兩個主要計算環節:特徵和模型。由於業務邏輯的多樣性以及線上低延遲和高並發的需求,特徵計算往往成為整個決策系統的瓶頸。因此,需要進行大量的工程實踐來建立一個可用、穩定和高效的即時特徵計算平台。下圖1展示了一個常見的反詐騙應用程式的即時特徵計算場景。透過基於原始的刷卡流水記錄表格進行特徵計算,產生新的特徵(例如最近10秒內的最大/最小/平均刷卡金額等特徵),然後將其輸入到下游模型進行即時推理重寫後的內容:圖1. 即時特徵運算在反詐騙應用程式中的應用程式
一般而言,即時特徵運算平台需要滿足以下兩個基本要求:- 線上線下一致性:由於機器學習應用一般會分為線上和線上兩個流程,即基於歷史資料的訓練和基於即時數據的推理。因此確保線上線下的特徵計算邏輯一致性,對於確保線上線下最終業務效果一致至關重要。
- 線上服務的高效率:線上服務針對即時資料和運算,滿足低延遲、高並發、高可用等需求。
圖2. 即時特徵計算平台架構及工作流程
如上圖2 列舉了一個常見的即時特徵計算平台的架構。簡單來說主要包含了離線計算引擎和線上計算引擎,其中的關鍵點是確保離線和線上計算引擎的計算邏輯一致性。目前市面上有許多特徵平台可以滿足上述要求,構成一個完整的即時特徵運算平台,包括通用系統如 Flink,或專用系統如 OpenMLDB、Tecton、Feast 等。但是,目前工業界缺少一個面向即時特徵的專用基準來對這類系統的性能進行嚴謹科學的評估。針對該需求,本論文作者建構了 FEBench,一個即時特徵計算基準測試,用於評估特徵計算平台的性能,分析系統的整體延遲、長尾延遲和並發性能等。技術原理
FEBench 的基準建構主要包括三個方面的工作:資料集收集、查詢產生的內容需要進行改寫和重寫內容時,需要選擇適當的模板資料集蒐集
研究團隊總共收集了118 個可以用於即時特徵計算場景的資料集,這些資料集來自Kaggle,Tianchi,UCI ML,KiltHub 等公開數據網站以及第四範式內部可公開數據,涵蓋了工業界的典型使用場景,如金融、零售、醫療、製造、交通等行業場景。研究小組進一步依照表格數量及資料集大小將收集到的資料集進行了歸類,如下圖 3 所示。
重寫內容:FEBench中資料集的表格數量和資料集大小的圖表如下:
##查詢產生的內容需要進行改寫
由於資料集數量較大,為每一個資料集人工產生特徵抽取的計算邏輯工作量十分巨大,因此研究人員利用瞭如AutoCross(參考論文: AutoCross: Automatic Feature Crossing for Tabular Data in Real-World Applications) 等自動機器學習技術,來為收集到的資料集自動化產生查詢。 FEBench 的特徵選擇和查詢產生的內容需要進行改寫過程包括以下四個步驟(如下圖4 所示):- 透過識別資料集中的主表(儲存串流數據)和輔助表(例如靜態/ 可追加/ 快照表),進行初始化。隨後,分析主表和輔助表中具有相似名稱或鍵關係的列,並枚舉列之間的一對一 / 一對多關係,這些關係對應不同的特徵操作模式。
- 將列關係對應到特徵運算子。
- 在提取所有候選特徵後,利用 Beam 搜尋演算法迭代生成有效的特徵集。
- 選擇的特徵被轉換為語意上等效的 SQL 查詢。
圖4. FEBench 中查詢的產生流程
重寫內容時,需要選擇適當的模板
在產生每個資料集的查詢後,研究人員進一步使用聚類演算法來選擇代表性的查詢作為查詢模板,以減少對相似任務的重複測試。針對收集到的118個資料集和特徵查詢,使用DBSCAN演算法對這些查詢進行聚類,具體步驟如下:- 將每個查詢的特徵劃分為五個部分:輸出列數、查詢運算子總數、複雜運算子的出現頻率、巢狀子查詢層數以及時間視窗中最大元組的數量。由於特徵工程查詢通常涉及時間窗口,查詢複雜性不受批次資料規模的影響,因此資料集大小沒有作為聚類特徵之一。
- 使用邏輯迴歸模型來評估查詢特徵與查詢執行特性之間的關係,將特徵作為模型的輸入,將特徵查詢的執行時間作為模型的輸出。透過使用每個特徵的迴歸權重作為其聚類權重,來考慮不同特徵對聚類結果的重要性
- 基於加權查詢特徵,使用DBSCAN 演算法將特徵查詢劃分為多個聚類。
圖5. 118 個特徵查詢透過聚類分析得到6 個集群,產生查詢模板(Q0 -5)
最終,根據聚類結果,將118 個特徵查詢分為6 個集群。對於每個集群,選擇質心附近的查詢作為候選模板。此外,考慮到不同應用場景下的人工智慧應用可能有不同的特徵工程需求,圍繞每個叢集的質心,嘗試選擇來自不同場景的查詢,以更好地覆蓋不同的特徵工程場景。最終,從 118 個特徵查詢中選擇了 6 個查詢模板,適用於不同場景,包括交通、醫療保健、能源、銷售,以及金融交易。這 6 個查詢模板最終構成了 FEBench 最為核心的資料集和查詢,用於進行即時特徵計算平台的效能測試。#需要重寫的內容是:基準評測(OpenMLDB與Flink)
在研究中,研究人員使用了FEBench來測試兩個典型的工業界系統,分別是Flink和OpenMLDB。 Flink是一個通用的批次和流處理一致性計算平台,而OpenMLDB則是一個專用的即時特徵計算平台。透過測試和分析,研究人員發現了這兩個系統各自的優缺點以及背後的原因。實驗結果顯示,由於架構設計的不同,Flink和OpenMLDB在效能上有差異。同時,這也說明了FEBench在分析目標系統能力上的重要性。總結來說,研究的主要結論如下
Flink 比 OpenMLDB 在延遲上慢兩個數量級(圖 6)。研究人員分析,其造成差距的主要原因在於兩者係統架構的不同實現方式,其中OpenMLDB 作為實時特徵計算的專用系統,包含了基於內存的雙層跳表等專門針對時序數據優化的數據結構,最終相比較於Flink,在特徵計算場景上有明顯的效能優勢。當然 Flink 作為一個通用系統,在可適用場景上比 OpenMLDB 更為廣泛。
#圖6. OpenMLDB 與Flink 的TP-50 延遲比較
OpenMLDB 表現出明顯的長尾延遲問題,而Flink 的尾延遲更穩定(圖7)。請注意,以下數字顯示均為歸一化到 OpenMLDB 和 Flink 各自的 TP-50 下的延遲效能,並不代表絕對效能的比較。 重寫為:OpenMLDB 在尾延遲方面有明顯的問題,而 Flink 的尾延遲更穩定(見圖7)。要注意的是,下面的數字是將延遲效能歸一化到OpenMLDB 和Flink 分別在TP-50 下的效能,而不是絕對效能的比較
- #圖7. OpenMLDB 與Flink 的尾延遲比較(歸一化到各自的TP-50 延遲) 研究人員對上述效能結果進行了更深入的分析:
- #圖8展示了OpenMLDB與Flink的微架構指標分析
執行計畫分析:以Q0 為例,下圖9 比較了Flink 和OpenMLDB 的執行計畫差異。 Flink 中的計算運算子花費最多的時間,而 OpenMLDB 透過最佳化視窗處理和使用自訂聚合函數等最佳化技術減少了執行延遲。
以上是VLDB 2023獎項公佈,清華、第四範式、NUS聯合論文獲最佳工業界論文獎的詳細內容。更多資訊請關注PHP中文網其他相關文章!

科學家已經廣泛研究了人類和更簡單的神經網絡(如秀麗隱桿線蟲中的神經網絡),以了解其功能。 但是,出現了一個關鍵問題:我們如何使自己的神經網絡與新穎的AI一起有效地工作

Google的雙子座高級:新的訂閱層即將到來 目前,訪問Gemini Advanced需要$ 19.99/月Google One AI高級計劃。 但是,Android Authority報告暗示了即將發生的變化。 最新的Google P中的代碼

儘管圍繞高級AI功能炒作,但企業AI部署中潛伏的巨大挑戰:數據處理瓶頸。首席執行官慶祝AI的進步時,工程師努力應對緩慢的查詢時間,管道超載,一個

處理文檔不再只是在您的AI項目中打開文件,而是將混亂變成清晰度。諸如PDF,PowerPoints和Word之類的文檔以各種形狀和大小淹沒了我們的工作流程。檢索結構化

利用Google的代理開發套件(ADK)的力量創建具有現實世界功能的智能代理!該教程通過使用ADK來構建對話代理,並支持Gemini和GPT等各種語言模型。 w

摘要: 小型語言模型 (SLM) 專為效率而設計。在資源匱乏、實時性和隱私敏感的環境中,它們比大型語言模型 (LLM) 更勝一籌。 最適合專注型任務,尤其是在領域特異性、控制性和可解釋性比通用知識或創造力更重要的情況下。 SLM 並非 LLMs 的替代品,但在精度、速度和成本效益至關重要時,它們是理想之選。 技術幫助我們用更少的資源取得更多成就。它一直是推動者,而非驅動者。從蒸汽機時代到互聯網泡沫時期,技術的威力在於它幫助我們解決問題的程度。人工智能 (AI) 以及最近的生成式 AI 也不例

利用Google雙子座的力量用於計算機視覺:綜合指南 領先的AI聊天機器人Google Gemini擴展了其功能,超越了對話,以涵蓋強大的計算機視覺功能。 本指南詳細說明瞭如何利用

2025年的AI景觀正在充滿活力,而Google的Gemini 2.0 Flash和Openai的O4-Mini的到來。 這些尖端的車型分開了幾週,具有可比的高級功能和令人印象深刻的基準分數。這個深入的比較


熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

Atom編輯器mac版下載
最受歡迎的的開源編輯器

Dreamweaver CS6
視覺化網頁開發工具

EditPlus 中文破解版
體積小,語法高亮,不支援程式碼提示功能

Dreamweaver Mac版
視覺化網頁開發工具

SublimeText3 英文版
推薦:為Win版本,支援程式碼提示!