首頁  >  文章  >  科技週邊  >  騰訊發布開源資料元件 Fast-Causal-Inference,支持分散式向量化統計分析和因果推斷

騰訊發布開源資料元件 Fast-Causal-Inference,支持分散式向量化統計分析和因果推斷

WBOY
WBOY轉載
2023-09-18 16:57:021168瀏覽

騰訊在其公眾號「騰訊開源」上宣布,旗下的開源分散式資料科學元件專案Fast-Causal-Inference已經在GitHub上公開發布

腾讯发布开源数据组件 Fast-Causal-Inference,支持分布式向量化统计分析和因果推断▲ 圖來源「騰訊開源」公眾號

據悉,這是由騰訊微信研發,採用SQL 互動的,基於分散式向量化的統計分析、因果推斷計算庫,據稱「解決已有統計模型庫(R / Python) 在大數據下的效能瓶頸,提供百億級資料秒級執行的Causal inference 能力,同時透過SQL 語言降低統計模型使用門檻,易用於生產環境中,目前已在微信視訊號碼、微信搜一搜等微信內部多個業務進行了應用。」

#官方介紹:

提供海量資料秒級執行的Causal inference能力 

透過利用向量化OLAP執行引擎ClickHouse / StarRocks,可以進一步提升使用者體驗的速度,使其達到極致化程度

腾讯发布开源数据组件 Fast-Causal-Inference,支持分布式向量化统计分析和因果推断


極簡的SQL 使用方式

SQLGateway WebServer 透過SQL 語言降低統計模型使用門檻,並在上層提供極簡的SQL 使用方式,透明做引擎相關的SQL 展開和最佳化。

腾讯发布开源数据组件 Fast-Causal-Inference,支持分布式向量化统计分析和因果推断

提供基礎算子、高階算子的因果推論能力,及上層的應用封裝

支援ttest, OLS, Lasso, Tree-based model, matching, bootstrap, DML 等。

腾讯发布开源数据组件 Fast-Causal-Inference,支持分布式向量化统计分析和因果推断

本站同時得知,官方表示,首個版本已經支援以下特性:

基礎因果推論工具

  • 基於deltamethod 的ttest,支援CUPED
  • OLS,億行數據,亞秒級

進階因果推斷工具

  • #以OLS 為基礎的IV,WLS,以及其他GLS,DID,合成控制,CUPED,mediation 正在孵化
  • uplift:千萬數據分鐘級別運算
  • bootstrap / permutation 等數據模擬框架,解決沒有顯示解的變異數估計問題

為了保持原意不變,需要將內容改寫成中文。沒有必要出現原句

#

以上是騰訊發布開源資料元件 Fast-Causal-Inference,支持分散式向量化統計分析和因果推斷的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述:
本文轉載於:51cto.com。如有侵權,請聯絡admin@php.cn刪除