如何在 Google Cloud Platform 免費層上建立現代資料平台

我在 Medium.com 上發布了一系列七篇免費公開文章「如何在 Google Cloud Platform 免費層上建立現代資料平台」。 主要文章位於：https://medium.com/@markwkiehl/building-a-data-platform-on-gcp-0427500f62e8

第一部分「在GCP上建立資料平台」定義了功能要求，並詳細說明如何安裝所需的軟體。

第二部分「GCP 基礎架構和驗證」說明如何使用 Google 應用程式預設憑證 (ADC) 來對使用者管理的服務帳戶進行驗證。

第三部分「Google Cloud Pub/Sub 訊息傳遞」展示如何使用 Python 腳本產生和訂閱 Google Pub/Sub 訊息傳遞服務。

第四部分「使用 Docker 進行容器化」介紹如何為 Python 腳本建立本機 Docker 映像，在本地運行它，然後將其推送到 Google ArtifactRegistry（儲存庫）。

第五部分「Google Cloud Run 作業和排程器」示範如何使用Google CLI 設定Google Cloud Run 作業和Cloud Scheduler 作業，以從任何Google 區域以指定的時間間隔執行儲存在Google Artifact 註冊表中的Python 腳本。

第六部分「Google BigQuery 雲端資料庫」使用 Google CLI 設定 Google BigQuery 資料集和資料表，然後使用 Python 腳本透過 SQL 寫入和查詢資料。

第七部分「Google Cloud Analytics」探索如何從 Google BigQuery 表中提取數據，將其載入到 Pandas DataFrame 中，並輕鬆執行分析和視覺化 - 所有這些都來自 Python 腳本。

以上是如何在 Google Cloud Platform 免費層上建立現代資料平台的詳細內容。更多資訊請關注PHP中文網其他相關文章！