資料庫迎來AI快車道，阿里雲發布全新開源技術PilotScope

來源 | 新言科技

文 | 賈寧宇

#12月20日，資料庫國際頂會VLDB2024公佈新一批論文，阿里雲新技術PilotScope成功入圍，該平台技術可實現AI演算法在資料庫的“一鍵部署”，極大降低資料庫中AI演算法的應用門檻，為資料庫智慧化開闢了全新道路。 On December 20th, the international top conference for databases VLDB2024 announced a new batch of papers, and Alibaba Cloud's new technology PilotScope successfully made it to the list. The platform's technnology incicou evenology of the list. the application threshold of AI algorithms in databases and opening up a brand new path for database intelligence.

阿里雲宣布同一天將PilotScope的所有技術免費開源

資料庫智能化為何難？

資料庫是對國家經濟和人民生活至關重要的基礎軟體技術。資料庫技術的不斷更新對數位時代的各行各業產生著重要影響，其中一個前沿領域就是資料庫智慧化（AI4DB，即資料庫智慧化）

目前的資料庫系統非常複雜，對穩定性要求非常高。即使只是將一個AI演算法與一個資料庫進行配對調試，也需要兩方工程師密切合作數週甚至數月，效率低下，效果不佳

更常見的情況是，AI工程師不懂資料庫細節，資料庫開發者用不明白AI，兩個領域連程式語言都不通（AI開發多用Python，資料庫多是C/Java），很容易造成割裂。

一般來說，工業界的公司通常會選擇將一些AI演算法直接嵌入資料庫中，以取代資料庫的某些功能模組，例如智慧查詢最佳化模組。然而，這種客製化的方法會導致開發、維護和升級的成本非常高。每次升級和更換AI演算法時，都需要重新進行開發流程。同時，改動資料庫的程式碼庫也會帶來額外的風險

正因為如此，儘管人工智慧的發展日新月異，但在資料庫領域，相關成果的實際應用仍然尚未普及

是否存在一種通用的平台技術，可以更有效地將人工智慧演算法應用於資料庫中？

這成為阿里巴巴PilotScope專案團隊思考的起點

PilotScope專案負責人朱鎔介紹說：「AI4DB，AI和DB兩端都有人做，但是這個連接處的橋，卻一直沒做好。我們想要為AI演算法和資料庫之間搭一座公共的橋，使得雙方的溝通更加順暢。」

從0到1的交叉技術創新

#朱鎔將PilotScope描述為資料庫AI的“超級管理員”，透過PilotScope平台，AI工程師只需專注於設計通用的AI演算法，就能夠實現對不同資料庫的部署和應用；而資料庫使用者可以像呼叫API一樣，方便又有效率地使用AI

這個想法從構思到實施，花費了大約2年的時間。朱鎔表示：「涉及演算法和系統的交叉、AI和資料庫的交叉、研究和開發的交叉、學界和業界的交叉，是真正的交叉技術。」

#根據他的介紹，項目團隊經過多次打磨，最終開發出一個全新的中間件系統平台，透過在資料庫和AI系統層級進行抽象化和通用化模組及介面定義，實現了AI演算法在數小時乃至數分鐘內在資料庫內實現「一鍵部署”，這就是現在的PilotScope

重新編寫內容如下：阿里雲PilotScope架構圖的圖註

PilotScope對於參數調優、索引推薦、基數估計、查詢優化等資料庫主流任務，提供了10多種AI演算法，並成功適配了PostgreSQL和Spark等兩個主流開源資料庫

根據實驗資料顯示，使用PilotScope將AI演算法嵌入資料庫相較於傳統的「硬植入」方法，在查詢優化等任務上可以提速1到2倍不等。此外，PilotScope本身對部署產生的額外代價基本上可忽略，表現出色

圖片說明：PilotScope效果圖

PilotScope對資料庫進行了“微侵入”，並引入了智慧檢測、回退、隔離等機制，以降低AI幻覺風險，並在確保資料庫穩定性的前提下實現智慧化提升

朱鎔介紹說，以前，人工智能工程師和數據庫開發者需要不斷協作和精磨，可能需要數周甚至數個月才能確保穩定性。"借助我們的PilotScope，只需幾小時甚至幾十分鐘，就能直接上線測試。這項從零到一的技術創新，大大提高了開發效率。"

开源撬动AI4DB产业化进程

PilotScope论文成果已被VLDB收录。VLDB评议认为，PilotScope基于应用场景开创性的系统设计，将开启数据库智能化的全新方向

根据了解，VLDB是数据库三大国际顶级会议之一，每年只收录对学术界和产业实践有重要影响的新成果。它是数据库技术的权威指标，第50届VLDB大会计划于2024年8月在中国广州举办

图注：数据库顶会VLDB2024

朱鎔介绍说，PilotScope相关技术已经在GitHub和Modelscope魔搭社区上免费开源。团队希望通过开源社区的力量，将更多的AI算法和更广泛的数据库纳入到PilotScope中，与开发者一同探索更多的AI4DB创新

在此同时，PilotScope已经开始在阿里云内部进行试点应用，以便对产业化部署进行相应的测试

朱鎔表示，AI4DB只有在真實的生產環境中才能產生價值，我們希望PilotScope能夠真正實現這一點，幫助各行各業的數據庫實現智能化的效率和效果提升

请附上开源地址：

https://github.com/alibaba/pilotscope

以上是資料庫迎來AI快車道，阿里雲發布全新開源技術PilotScope的詳細內容。更多資訊請關注PHP中文網其他相關文章！