你要了解數據科學團隊中的這些角色

譯者| 李睿

審校| 孫淑娟

全球知名的串流媒體服務商Netflix公司在2017年將其五星級評級系統更改為“拇指向上” （喜歡）和「拇指向下」（不喜歡）簡單的評價系統。該系統可以根據百分比匹配來推薦電影，但也有人對這一做法很反感。那麼如何將電影藝術中所有的細微差別簡化為一種原始的二元反應?    

#實際上，Netflix公司發現人們對那些他們認為很好的電影給予了很高的評價，但不一定是他們真正喜歡觀看的電影。至少數據是這麼描述的。那麼數據分析在像Netflix這樣的公司是如何運作的呢？數據科學團隊的角色是什麼？ 

Netflix回饋系統  

Gibson Biddle是Netflix公司的前副總裁兼首席產品長。在談到消費者洞察時，他對導致整個評級系統變化的意外客戶行為進行了解釋。在轉換成百分比匹配時，Netflix表示雖然觀眾可能喜歡觀看亞當桑德勒主演的喜劇，但給出的評價可能只有三顆星；而觀眾對觀看《辛德勒的名單》這部電影感覺很好，並給出五顆星的評價，但這並不會增加其整體樂趣，讓訂閱者滿意對Netflix來說是至關重要的。因此，他們簡化了回饋系統以避免偏差。但是這些對客戶的洞察本身就令人印象深刻，如果沒有促進數據使用的文化和強大的數據基礎設施這個因素，它們是不可能實現的。用技術術語來說，這被稱為數據驅動的組織。   

資料驅動的組織

人們可能多次聽到「資料驅動」這個流行術語，但它的真正意義是什麼？光是Netflix公司每天就記錄超過7000億個事件，從登入和點擊電影縮圖到暫停影片和開啟字幕。所有這些數據都可供用戶使用。任何人都可以使用tableau或Jupiter等視覺化工具來存取它，或者他們可以透過大數據入口網站存取它——這是一個允許用戶檢查報告、產生報告或查詢他們需要的任何資訊的環境。然後，這些數據用於制定業務決策，從較小的縮圖（例如展示哪些縮圖）到企業的決策（例如Netflix公司下一步應該投資和推出哪些節目）。 

資料驅動的組織並非只有Netflix公司一家。據估計，財富1000強企業中約有97%的企業投資於人工智慧和大數據等項目。以下了解真正的資料基礎設施技術和使其運作的資料工程師。

資料基礎設施技術

為了描述資料基礎設施的工作原理，技術人員借用了通常運輸液體或氣體的「管道」這個術語。數據管道有自己的起點、終點和中間站。所以這是一個非常貼切的比喻。資料的來源可能是任何事務，從點擊保留按鈕和刷新頁面到與客戶支援的對話記錄，從車輛追蹤設備到發電廠的渦輪振動感測器。在當今世界，實際上很難說有什麼不能產生數據，即使沒有數據也能告訴人們一些事情。

一旦產生資料項，它就會沿著管道到達暫存區域。這是保存所有原始資料的地方。原始數據尚未準備好使用。你必須做好準備。如果沒有做，必須填補空白，更改其格式或合併來自不同來源的數據，以獲得更細緻的觀察。一旦完成這些操作，就會獲得結構化和乾淨的數據。所有這些操作都是自動進行的。它們用兩個詞語來描述。

• 提取：從資料來源中提取資料並將其送到暫存區域。
• 轉換：準備資料以供使用並載入將準備好的資料進一步推入ETL。

所有準備好的資料都進入另一個記憶體，即資料倉儲。

資料倉儲

與暫存區域不同，資料倉儲是所有儲存記錄都進行結構化並準備使用的地方。就像圖書館的分類系統一樣，可以查詢、視覺化和下載倉庫的資訊。為此，必須擁有商業智慧（BI）軟體。它將數據呈現給最終用戶。 

資料清單和業務分析師

資料清單和業務分析師是執行基本任務的人員。他們存取數據、探索數據、將其視覺化，並嘗試使其具有商業意義。例如，企業的行銷活動成功嗎？表現最差的管道是什麼？它們就像一個感官系統，透過歷史數據為企業提供支持，並為管理階層以及最終決策者提供見解。

資料工程師

資料工程師負責建立整個管道。大多數技術人員都精通所謂的「管道」。透過管道將資料從來源移動到目的地，並在途中轉換。他們設計管道架構、設定ETL流程、配置倉庫，並將其與報告工具連接。例如，Airbnb公司擁有約50名資料工程師。該公司有時可能會遇到涉及一些額外規則的更精細的方法。例如，資料品質工程師確保正確捕獲和轉換資料。當試圖從中得出決策時，擁有偏見或不正確的數據代價太高。可能有單獨的工程師僅負責ETL。此外，商業智慧開發人員只專注於整合報告和視覺化工具。然而，報告工具並不會成為頭條新聞，資料工程師也不是21世紀的最佳工作，但機器學習和資料科學家可能是。 

機器學習與資料科學家

眾所周知的是，資料科學家特別擅長收集資料並回答有關資料的複雜問題，例如企業下個季度的收入是多少？優步預約的汽車什麼時候到達？喜歡《辛德勒名單》和《原鑽》的可能性有多高？

其實有兩種方法可以回答這些問題。資料科學家像業務分析師和資料分析師一樣使用商業智慧工具和倉庫資料。所以，他們會從倉庫中取得資料。有時資料科學家會使用資料湖：另一種儲存非結構化詐騙資料的儲存類型。他們將創建一個預測模型，並提出可供管理層使用的預測。它適用於收入估算的一次性報告，但對預測優步預約汽車的到達時間沒有幫助。

機器學習的真正價值在於生產模型可以自動工作，並定期產生複雜問題的答案，有時每秒生成數千次，用它們處理的事情要複雜得多。

生產機器學習模型

為了讓模型運作，還需要基礎設施。有時這是一個很大的問題。資料科學家探索資料倉儲和資料湖中的數據，對其進行實驗，選擇演算法，並訓練模型以產生最終的機器學習程式碼。這需要對統計資料庫、機器學習演算法和學科領域有深入的理解。

SLAC公司前資料工程負責人Josh Wills在推特上表示，「資料科學家是比任何軟體工程都更擅長統計學的人。」

例如訂餐者使用ubereats 軟體點餐。用戶一旦確認訂單，該應用程式必須估計交付時間、訂餐者的位置、餐廳和訂單資料發送到部署了交付預測機器學習模型的伺服器。但這些數據還不足夠。該模型還從一個單獨的資料庫中獲取額外數據，其中包含餐廳準備的平均時間和其他詳細資訊。一旦有了所有的數據，模型會向訂餐者傳回預測。然而，這過程並沒有就此結束。預測本身保存在一個單獨的資料庫中。它將針對監控模型效能，並透過分析工具探索模型，以便稍後對其進行更新。所有這些資料最終都會出現在資料湖和資料倉儲中。 

實際上，光是ubereats訂餐服務就使用了數百種不同的模型同時工作，對推薦進行評分，對餐廳進行搜尋排名，並估計送貨時間。

結論

Foursquare公司核心技術負責人Adam Waxman認為，未來將不再有資料科學家或機器學習工程師這些職位，因為隨著模型訓練的自動化和持續建立生產環境，許多資料科學家的工作將成為軟體開發的常見功能。

原文標題：Roles in Data Science Teams#，作者：Anomi Ragendran

#

以上是你要了解數據科學團隊中的這些角色的詳細內容。更多資訊請關注PHP中文網其他相關文章！