搜尋
首頁科技週邊人工智慧VLDB 2023獎項公佈,清華、第四範式、NUS聯合論文獲最佳工業界論文獎

VLDB 2023國際會議已在加拿大溫哥華成功舉辦。 VLDB會議是資料庫領域歷史悠久的三大頂尖會議之一,其全稱為國際大型資料庫會議。每屆會議都集中展示了當前資料庫研究的前沿方向、工業界的最新技術以及各國的研發水平,吸引了全球頂尖研究機構的投稿

VLDB 2023奖项公布,清华、第四范式、NUS联合论文获最佳工业界论文奖

該會議對系統創新性、完整性、實驗設計等方面都有極高的要求。 VLDB 的論文接受率整體較低,約18%,只有貢獻很大的論文才有可能被錄用。今年的競爭更加激烈。根據官方數據顯示,今年VLDB 共有9篇論文獲得了最佳論文獎項,其中包括史丹佛大學、卡內基美隆大學、微軟研究院、VMware 研究院、Meta 等全球知名大學、研究機構和科技巨頭的身影

其中由第四範式、清華大學以及新加坡國立大學聯合完成的"FEBench: A Benchmark for Real-Time Relational Data Feature Extraction" 論文,獲得了最佳工業界論文Runner Up 獎項。

VLDB 2023奖项公布,清华、第四范式、NUS联合论文获最佳工业界论文奖

這篇論文是由第四範式、清華大學和新加坡國立大學合作完成的。論文提出了一個基於工業界真實場景累積的即時特徵計算測試基準,用於評估基於機器學習的即時決策系統

VLDB 2023奖项公布,清华、第四范式、NUS联合论文获最佳工业界论文奖

  • 請點擊以下連結查看論文:https://github.com/decis-bench/febench/blob/main/report/febench.pdf

  • ##計畫網址:https://github.com /decis-bench/febench 需要重寫的內容是:專案網址為https://github.com/decis-bench/febench

專案背景

基於人工智慧的決策系統在許多行業場景中已廣泛應用。其中,許多場景涉及基於即時數據的計算,例如金融業的反詐騙和零售業的即時線上推薦。機器學習驅動的即時決策系統通常包括兩個主要計算環節:特徵和模型。由於業務邏輯的多樣性以及線上低延遲和高並發的需求,特徵計算往往成為整個決策系統的瓶頸。因此,需要進行大量的工程實踐來建立一個可用、穩定和高效的即時特徵計算平台。下圖1展示了一個常見的反詐騙應用程式的即時特徵計算場景。透過基於原始的刷卡流水記錄表格進行特徵計算,產生新的特徵(例如最近10秒內的最大/最小/平均刷卡金額等特徵),然後將其輸入到下游模型進行即時推理

VLDB 2023奖项公布,清华、第四范式、NUS联合论文获最佳工业界论文奖

重寫後的內容:圖1. 即時特徵運算在反詐騙應用程式中的應用程式

一般而言,即時特徵運算平台需要滿足以下兩個基本要求:

  • 線上線下一致性:由於機器學習應用一般會分為線上和線上兩個流程,即基於歷史資料的訓練和基於即時數據的推理。因此確保線上線下的特徵計算邏輯一致性,對於確保線上線下最終業務效果一致至關重要。

  • 線上服務的高效率:線上服務針對即時資料和運算,滿足低延遲、高並發、高可用等需求。

VLDB 2023奖项公布,清华、第四范式、NUS联合论文获最佳工业界论文奖

圖2. 即時特徵計算平台架構及工作流程

如上圖2 列舉了一個常見的即時特徵計算平台的架構。簡單來說主要包含了離線計算引擎和線上計算引擎,其中的關鍵點是確保離線和線上計算引擎的計算邏輯一致性。目前市面上有許多特徵平台可以滿足上述要求,構成一個完整的即時特徵運算平台,包括通用系統如 Flink,或專用系統如 OpenMLDB、Tecton、Feast 等。但是,目前工業界缺少一個面向即時特徵的專用基準來對這類系統的性能進行嚴謹科學的評估。針對該需求,本論文作者建構了 FEBench,一個即時特徵計算基準測試,用於評估特徵計算平台的性能,分析系統的整體延遲、長尾延遲和並發性能等。

技術原理

FEBench 的基準建構主要包括三個方面的工作:資料集收集、查詢產生的內容需要進行改寫和重寫內容時,需要選擇適當的模板

資料集蒐集

研究團隊總共收集了118 個可以用於即時特徵計算場景的資料集,這些資料集來自Kaggle,Tianchi,UCI ML,KiltHub 等公開數據網站以及第四範式內部可公開數據,涵蓋了工業界的典型使用場景,如金融、零售、醫療、製造、交通等行業場景。研究小組進一步依照表格數量及資料集大小將收集到的資料集進行了歸類,如下圖 3 所示。

VLDB 2023奖项公布,清华、第四范式、NUS联合论文获最佳工业界论文奖

重寫內容:FEBench中資料集的表格數量和資料集大小的圖表如下:

##查詢產生的內容需要進行改寫

由於資料集數量較大,為每一個資料集人工產生特徵抽取的計算邏輯工作量十分巨大,因此研究人員利用瞭如AutoCross(參考論文: AutoCross: Automatic Feature Crossing for Tabular Data in Real-World Applications) 等自動機器學習技術,來為收集到的資料集自動化產生查詢。 FEBench 的特徵選擇和查詢產生的內容需要進行改寫過程包括以下四個步驟(如下圖4 所示):

  • 透過識別資料集中的主表(儲存串流數據)和輔助表(例如靜態/ 可追加/ 快照表),進行初始化。隨後,分析主表和輔助表中具有相似名稱或鍵關係的列,並枚舉列之間的一對一 / 一對多關係,這些關係對應不同的特徵操作模式。

  • 將列關係對應到特徵運算子。

  • 在提取所有候選特徵後,利用 Beam 搜尋演算法迭代生成有效的特徵集。

  • 選擇的特徵被轉換為語意上等效的 SQL 查詢。

VLDB 2023奖项公布,清华、第四范式、NUS联合论文获最佳工业界论文奖

圖4. FEBench 中查詢的產生流程

重寫內容時,需要選擇適當的模板

在產生每個資料集的查詢後,研究人員進一步使用聚類演算法來選擇代表性的查詢作為查詢模板,以減少對相似任務的重複測試。針對收集到的118個資料集和特徵查詢,使用DBSCAN演算法對這些查詢進行聚類,具體步驟如下:

  • 將每個查詢的特徵劃分為五個部分:輸出列數、查詢運算子總數、複雜運算子的出現頻率、巢狀子查詢層數以及時間視窗中最大元組的數量。由於特徵工程查詢通常涉及時間窗口,查詢複雜性不受批次資料規模的影響,因此資料集大小沒有作為聚類特徵之一。

  • 使用邏輯迴歸模型來評估查詢特徵與查詢執行特性之間的關係,將特徵作為模型的輸入,將特徵查詢的執行時間作為模型的輸出。透過使用每個特徵的迴歸權重作為其聚類權重,來考慮不同特徵對聚類結果的重要性

  • 基於加權查詢特徵,使用DBSCAN 演算法將特徵查詢劃分為多個聚類。

以下圖表顯示了118個資料集在各個考量指標下的分佈。圖(a)顯示了統計性質的指標,包括輸出列數、查詢操作符總數和嵌套子查詢層數;圖(b)顯示了與查詢執行時間相關性最高的指標,包括聚合操作個數、嵌套子查詢層數與時間視窗個數

VLDB 2023奖项公布,清华、第四范式、NUS联合论文获最佳工业界论文奖

圖5. 118 個特徵查詢透過聚類分析得到6 個集群,產生查詢模板(Q0 -5)

最終,根據聚類結果,將118 個特徵查詢分為6 個集群。對於每個集群,選擇質心附近的查詢作為候選模板。此外,考慮到不同應用場景下的人工智慧應用可能有不同的特徵工程需求,圍繞每個叢集的質心,嘗試選擇來自不同場景的查詢,以更好地覆蓋不同的特徵工程場景。最終,從 118 個特徵查詢中選擇了 6 個查詢模板,適用於不同場景,包括交通、醫療保健、能源、銷售,以及金融交易。這 6 個查詢模板最終構成了 FEBench 最為核心的資料集和查詢,用於進行即時特徵計算平台的效能測試。

#需要重寫的內容是:基準評測(OpenMLDB與Flink)

在研究中,研究人員使用了FEBench來測試兩個典型的工業界系統,分別是Flink和OpenMLDB。 Flink是一個通用的批次和流處理一致性計算平台,而OpenMLDB則是一個專用的即時特徵計算平台。透過測試和分析,研究人員發現了這兩個系統各自的優缺點以及背後的原因。實驗結果顯示,由於架構設計的不同,Flink和OpenMLDB在效能上有差異。同時,這也說明了FEBench在分析目標系統能力上的重要性。總結來說,研究的主要結論如下

  • Flink 比 OpenMLDB 在延遲上慢兩個數量級(圖 6)。研究人員分析,其造成差距的主要原因在於兩者係統架構的不同實現方式,其中OpenMLDB 作為實時特徵計算的專用系統,包含了基於內存的雙層跳表等專門針對時序數據優化的數據結構,最終相比較於Flink,在特徵計算場景上有明顯的效能優勢。當然 Flink 作為一個通用系統,在可適用場景上比 OpenMLDB 更為廣泛。

VLDB 2023奖项公布,清华、第四范式、NUS联合论文获最佳工业界论文奖

#圖6. OpenMLDB 與Flink 的TP-50 延遲比較

  • OpenMLDB 表現出明顯的長尾延遲問題,而Flink 的尾延遲更穩定(圖7)。請注意,以下數字顯示均為歸一化到 OpenMLDB 和 Flink 各自的 TP-50 下的延遲效能,並不代表絕對效能的比較。 重寫為:OpenMLDB 在尾延遲方面有明顯的問題,而 Flink 的尾延遲更穩定(見圖7)。要注意的是,下面的數字是將延遲效能歸一化到OpenMLDB 和Flink 分別在TP-50 下的效能,而不是絕對效能的比較

VLDB 2023奖项公布,清华、第四范式、NUS联合论文获最佳工业界论文奖

VLDB 2023奖项公布,清华、第四范式、NUS联合论文获最佳工业界论文奖

  • #圖7. OpenMLDB 與Flink 的尾延遲比較(歸一化到各自的TP-50 延遲)

  • 研究人員對上述效能結果進行了更深入的分析:

VLDB 2023奖项公布,清华、第四范式、NUS联合论文获最佳工业界论文奖

根據執行時間進行拆解分析,微架構指標包括指令完成、錯誤分支預測、後端依賴和前端相依性等。不同查詢模板在微觀結構層面的效能瓶頸有所不同。如圖8所示,Q0-Q2的效能瓶頸主要在前端依賴,佔整個運作時間的45%以上。在這種情況下,執行的操作相對簡單,大部分時間花在處理使用者請求和特徵提取指令的切換。而對於Q3-Q5,後端依賴(如快取失效)和指令運作(包含更多複雜指令)成為更主要的因素。 OpenMLDB透過針對性最佳化使其在效能上更加出色

  • #圖8展示了OpenMLDB與Flink的微架構指標分析

  • 執行計畫分析:以Q0 為例,下圖9 比較了Flink 和OpenMLDB 的執行計畫差異。 Flink 中的計算運算子花費最多的時間,而 OpenMLDB 透過最佳化視窗處理和使用自訂聚合函數等最佳化技術減少了執行延遲。

### 第九張圖展示了OpenMLDB和Flink在執行計畫(Q0)的對比######## #如果使用者期望復現以上實驗結果,或在本地系統上進行基準測試(論文作者也鼓勵將測試結果在社區提交共享),可以訪問FEBench 的專案主頁,獲得更多資訊。 ############FEBench 專案:https://github.com/decis-bench/febench############Flink 專案:https://github.com /apache/flink############OpenMLDB 專案:https://github.com/4paradigm/OpenMLDB#########

以上是VLDB 2023獎項公佈,清華、第四範式、NUS聯合論文獲最佳工業界論文獎的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:机器之心。如有侵權,請聯絡admin@php.cn刪除
4090生成器:与A100平台相比,token生成速度仅低于18%,上交推理引擎赢得热议4090生成器:与A100平台相比,token生成速度仅低于18%,上交推理引擎赢得热议Dec 21, 2023 pm 03:25 PM

PowerInfer提高了在消费级硬件上运行AI的效率上海交大团队最新推出了超强CPU/GPULLM高速推理引擎PowerInfer。PowerInfer和llama.cpp都在相同的硬件上运行,并充分利用了RTX4090上的VRAM。这个推理引擎速度有多快?在单个NVIDIARTX4090GPU上运行LLM,PowerInfer的平均token生成速率为13.20tokens/s,峰值为29.08tokens/s,仅比顶级服务器A100GPU低18%,可适用于各种LLM。PowerInfer与

思维链CoT进化成思维图GoT,比思维树更优秀的提示工程技术诞生了思维链CoT进化成思维图GoT,比思维树更优秀的提示工程技术诞生了Sep 05, 2023 pm 05:53 PM

要让大型语言模型(LLM)充分发挥其能力,有效的prompt设计方案是必不可少的,为此甚至出现了promptengineering(提示工程)这一新兴领域。在各种prompt设计方案中,思维链(CoT)凭借其强大的推理能力吸引了许多研究者和用户的眼球,基于其改进的CoT-SC以及更进一步的思维树(ToT)也收获了大量关注。近日,苏黎世联邦理工学院、Cledar和华沙理工大学的一个研究团队提出了更进一步的想法:思维图(GoT)。让思维从链到树到图,为LLM构建推理过程的能力不断得到提升,研究者也通

复旦NLP团队发布80页大模型Agent综述,一文纵览AI智能体的现状与未来复旦NLP团队发布80页大模型Agent综述,一文纵览AI智能体的现状与未来Sep 23, 2023 am 09:01 AM

近期,复旦大学自然语言处理团队(FudanNLP)推出LLM-basedAgents综述论文,全文长达86页,共有600余篇参考文献!作者们从AIAgent的历史出发,全面梳理了基于大型语言模型的智能代理现状,包括:LLM-basedAgent的背景、构成、应用场景、以及备受关注的代理社会。同时,作者们探讨了Agent相关的前瞻开放问题,对于相关领域的未来发展趋势具有重要价值。论文链接:https://arxiv.org/pdf/2309.07864.pdfLLM-basedAgent论文列表:

吞吐量提升5倍,联合设计后端系统和前端语言的LLM接口来了吞吐量提升5倍,联合设计后端系统和前端语言的LLM接口来了Mar 01, 2024 pm 10:55 PM

大型语言模型(LLM)被广泛应用于需要多个链式生成调用、高级提示技术、控制流以及与外部环境交互的复杂任务。尽管如此,目前用于编程和执行这些应用程序的高效系统却存在明显的不足之处。研究人员最近提出了一种新的结构化生成语言(StructuredGenerationLanguage),称为SGLang,旨在改进与LLM的交互性。通过整合后端运行时系统和前端语言的设计,SGLang使得LLM的性能更高、更易控制。这项研究也获得了机器学习领域的知名学者、CMU助理教授陈天奇的转发。总的来说,SGLang的

大模型也有小偷?为保护你的参数,上交大给大模型制作「人类可读指纹」大模型也有小偷?为保护你的参数,上交大给大模型制作「人类可读指纹」Feb 02, 2024 pm 09:33 PM

将不同的基模型象征为不同品种的狗,其中相同的「狗形指纹」表明它们源自同一个基模型。大模型的预训练需要耗费大量的计算资源和数据,因此预训练模型的参数成为各大机构重点保护的核心竞争力和资产。然而,与传统软件知识产权保护不同,对预训练模型参数盗用的判断存在以下两个新问题:1)预训练模型的参数,尤其是千亿级别模型的参数,通常不会开源。预训练模型的输出和参数会受到后续处理步骤(如SFT、RLHF、continuepretraining等)的影响,这使得判断一个模型是否基于另一个现有模型微调得来变得困难。无

FATE 2.0发布:实现异构联邦学习系统互联FATE 2.0发布:实现异构联邦学习系统互联Jan 16, 2024 am 11:48 AM

FATE2.0全面升级,推动隐私计算联邦学习规模化应用FATE开源平台宣布发布FATE2.0版本,作为全球领先的联邦学习工业级开源框架。此次更新实现了联邦异构系统之间的互联互通,持续增强了隐私计算平台的互联互通能力。这一进展进一步推动了联邦学习与隐私计算规模化应用的发展。FATE2.0以全面互通为设计理念,采用开源方式对应用层、调度、通信、异构计算(算法)四个层面进行改造,实现了系统与系统、系统与算法、算法与算法之间异构互通的能力。FATE2.0的设计兼容了北京金融科技产业联盟的《金融业隐私计算

220亿晶体管,IBM机器学习专用处理器NorthPole,能效25倍提升220亿晶体管,IBM机器学习专用处理器NorthPole,能效25倍提升Oct 23, 2023 pm 03:13 PM

IBM再度发力。随着AI系统的飞速发展,其能源需求也在不断增加。训练新系统需要大量的数据集和处理器时间,因此能耗极高。在某些情况下,执行一些训练好的系统,智能手机就能轻松胜任。但是,执行的次数太多,能耗也会增加。幸运的是,有很多方法可以降低后者的能耗。IBM和英特尔已经试验过模仿实际神经元行为设计的处理器。IBM还测试了在相变存储器中执行神经网络计算,以避免重复访问RAM。现在,IBM又推出了另一种方法。该公司的新型NorthPole处理器综合了上述方法的一些理念,并将其与一种非常精简的计算运行

制作莫比乌斯环,最少需要多长纸带?50年来的谜题被解开了制作莫比乌斯环,最少需要多长纸带?50年来的谜题被解开了Oct 07, 2023 pm 06:17 PM

自己动手做过莫比乌斯带吗?莫比乌斯带是一种奇特的数学结构。要构造一个这样美丽的单面曲面其实非常简单,即使是小孩子也可以轻松完成。你只需要取一张纸带,扭曲一次,然后将两端粘在一起。然而,这样容易制作的莫比乌斯带却有着复杂的性质,长期吸引着数学家们的兴趣。最近,研究人员一直被一个看似简单的问题困扰着,那就是关于制作莫比乌斯带所需纸带的最短长度?布朗大学RichardEvanSchwartz谈到,对于莫比乌斯带来说,这个问题没有解决,因为它们是「嵌入的」而不是「浸入的」,这意味着它们不会相互渗透或自我

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
3 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳圖形設置
3 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您聽不到任何人,如何修復音頻
3 週前By尊渡假赌尊渡假赌尊渡假赌

熱工具

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

MantisBT

MantisBT

Mantis是一個易於部署的基於Web的缺陷追蹤工具,用於幫助產品缺陷追蹤。它需要PHP、MySQL和一個Web伺服器。請查看我們的演示和託管服務。

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

強大的PHP整合開發環境

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

DVWA

DVWA

Damn Vulnerable Web App (DVWA) 是一個PHP/MySQL的Web應用程序,非常容易受到攻擊。它的主要目標是成為安全專業人員在合法環境中測試自己的技能和工具的輔助工具,幫助Web開發人員更好地理解保護網路應用程式的過程,並幫助教師/學生在課堂環境中教授/學習Web應用程式安全性。 DVWA的目標是透過簡單直接的介面練習一些最常見的Web漏洞,難度各不相同。請注意,該軟體中