GenAI の高速化: MySQL から Kafka へのデータのストリーミング
- Mary-Kate Olsenオリジナル
- 2024-11-03 03:24:29168ブラウズ
AI の時代において、Apache Kafka はリアルタイムのデータ ストリーミングと処理における高いパフォーマンスにより極めて重要な役割を果たしています。多くの組織は、効率とビジネスの機敏性を高めるためにデータを Kafka に統合しようとしています。この場合、データ移動のための強力なツールが非常に重要になります。 BladePipe は優れた選択肢の 1 つです。
このチュートリアルでは、デフォルトで CloudCanal Json 形式を使用して、BladePipe を使用して MySQL から Kafka にデータを移動する方法について説明します。パイプラインの主な機能は次のとおりです:
- 複数のメッセージ形式をサポートします。
- DDL 同期をサポートします。 DDL 操作が書き込まれるトピックを構成できます。
- トピックの自動作成をサポートします。
ハイライト
トピックの自動作成
トピックは、DataJob の作成中にターゲット Kafka に自動的に作成できます。さらに、ニーズに基づいてパーティションの数を構成できます。
データの一括書き込み
BladePipe では、同じテーブル上の同じ種類の操作が 1 つのメッセージにマージされ、データのバッチ書き込みが可能になり、帯域幅の使用量が削減されます。これにより、データ処理効率が大幅に向上します。
再開可能なデータジョブ
数十億のレコードを含む大規模なテーブルの同期には、再開可能性が不可欠です。
BladePipe ではオフセットを定期的に記録することで、完全データタスクと増分データタスクを再起動後に最後のオフセットから再開できるため、予期せぬ一時停止による進行への影響を最小限に抑えることができます。
手順
ステップ 1: BladePipe をインストールする
「ワーカーのインストール (Docker)」または「ワーカーのインストール (バイナリ)」の手順に従って、BladePipe ワーカーをダウンロードしてインストールします。
ステップ 2: データソースを追加する
- BladePipe Cloud にログインします。
- データソース をクリックします。 データソースを追加.
- ソースとターゲットのデータソース タイプを選択し、セットアップ フォームに記入します。
ステップ 3: データジョブを作成する
- データジョブ > をクリックします。 データジョブを作成します.
ソースとターゲットのデータソースを選択し、接続のテストをクリックして、ソースとターゲットのデータソースへの接続が両方とも成功していることを確認します。
ターゲット データソースの 詳細 設定で、メッセージ形式として CloudCanal Json Format を選択します。
DataJob Type として Incremental を選択し、Full Data オプションを選択します。
レプリケートするテーブルと列を選択します。列を選択するときに、ターゲット トピック内のパーティションの数を構成できます。
DataJob の作成を確認します。
-
これで、DataJob が作成され、開始されました。 BladePipe は次の DataTasks を自動的に実行します:
- スキーマ移行: ソース テーブルのスキーマはターゲット データベースに移行されます。
- 完全なデータ移行: ソース テーブルの既存のデータはすべてターゲット データベースに完全に移行されます。
-
増分データ同期: 進行中のデータ変更はターゲット インスタンスに継続的に同期されます。
よくある質問
BladePipe は他にどのようなソース DataSource をサポートしていますか?
現在、MySQL、Oracle、SQL Server、PostgreSQL、MongoDB から Kafka への接続を作成できます。他にご要望がございましたら、コミュニティでフィードバックをお寄せください。
興味があり、試してみたい場合は、https://www.bladepipe.com にアクセスして無料トライアルを行ってください。
以上がGenAI の高速化: MySQL から Kafka へのデータのストリーミングの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。