PHP implementiert Open-Source-Flink-Echtzeit-Computing

Mit dem Aufkommen des Big-Data-Zeitalters hat die kontinuierliche Aktualisierung und Verbesserung groß angelegter Echtzeit-Datenverarbeitungsmethoden große Aufmerksamkeit und Bedeutung auf sich gezogen. Mit der kontinuierlichen Weiterentwicklung von Cloud Computing und Container-Technologie hat sich Apache Flink zu einer Echtzeit-Computing-Engine entwickelt, die Streaming-Daten schnell verarbeitet (z. B. einen Algorithmus zwischen Spark und Storm) und auch Stapelverarbeitungsunterstützung bietet.

Flink ist eine ereignisgesteuerte Verarbeitungs-Engine, die die unbegrenzte und begrenzte Datenstromverarbeitung unterstützt. Es bietet nicht nur Vorteile in Bezug auf Geschwindigkeit und Durchsatz der Stream-Verarbeitung, sondern wird auch häufig in der Analyse komplexer Ereignisse, beim maschinellen Lernen, bei der Grafikverarbeitung und -analyse usw. eingesetzt.

In diesem Artikel wird erläutert, wie Sie mithilfe der PHP-Sprache Flink-Echtzeit-Computing implementieren.

1. Für die Installation von Flink ist Java JDK 8 oder höher erforderlich. Stellen Sie vor der Installation sicher, dass Java JDK installiert ist. Jetzt installieren wir Flink:

Laden Sie das komprimierte Apache Flink-Binärpaket herunter

1. Gehen Sie zur offiziellen Flink-Website, um Flink herunterzuladen, und wählen Sie die neueste Flink-Version 1.14.0 aus. Sie können zum Herunterladen auch den folgenden Befehl verwenden:

$ wget https://archive.apache.org/dist/flink/flink-1.14.0/flink-1.14.0-bin-scala_2.11.tgz

Entpacken Sie das Installationspaket

2. Verwenden Sie den folgenden Befehl, um das heruntergeladene Flink-Installationspaket zu dekomprimieren:

$ tar -xvzf flink-1.14.0-bin-scala_2.11.tgz

Starten Sie den Flink-Cluster

3. Verwenden Sie zum Starten den folgenden Befehl der Flink-Cluster:

$ cd flink-1.14.0/bin/
$ ./start-cluster.sh

Verwenden Sie den folgenden Befehl, um zu überprüfen, ob der Flink-Cluster gestartet ist:

$ ./flink list

2. PHP implementiert die Flink-Echtzeitberechnung

Zuvor müssen Sie verstehen, wie Flink Daten verarbeitet. Flink verwendet die DataStream-API zur Verarbeitung von Datenströmen. Benutzer können die DataStream-API verwenden, um Anwendungen zur Datenstromverarbeitung zu erstellen.

Im Folgenden verwenden wir die PHP-Sprache, um die Flink-Anwendung zur Datenstromverarbeitung zu implementieren.

PHP-Code schreiben

1. Verwenden Sie den folgenden Code, um einen einfachen Datenfluss zu generieren:

require_once 'vendor/autoload.php';

use FlinkDataStream;

$env = new FlinkEnvironment();

$stream = $env->fromCollection([
    [1, 'apple'],
    [2, 'banana'],
    [3, 'cherry']
]);

$stream->print();

Verwenden Sie den folgenden Befehl, um den PHP-Code auszuführen:

$ php myDataStream.php

Die Ausgabe lautet wie folgt:

1, apple
2, banana
3, cherry

Flink-Job erstellen

2. Der Flink-Job besteht aus Flink, der aus DataSource (Datenquelle) und DataSink (Datensenke) besteht.

In der DataStream-API wird DataSource durch die Methode der StreamExecutionEnvironment-Klasse erstellt, die Daten aus einer In-Memory-Sammlung, einem Dateisystem oder einer Datenquelle wie Kafka abrufen kann.

Verwenden Sie den folgenden Code, um die Daten im DataStream in eine Textdatei zu schreiben:

require_once 'vendor/autoload.php';

use FlinkEnvironment;
use FlinkDataStreamStreamExecutionEnvironment;

$env = new Environment();
$stream = $env->fromCollection([
    [1, 'apple'],
    [2, 'banana'],
    [3, 'cherry']
]);

$stream->writeAsCsv('/path/to/file.csv');

$env->execute();

Nach der Ausführung des obigen Codes wird eine Datei mit dem Namen file.csv unter dem angegebenen Pfad generiert und die DataStream-Daten werden in die Datei geschrieben Der Inhalt der Datei lautet wie folgt:

1,apple
2,banana
3,cherry

3. Fazit

Dieser Artikel stellt vor, wie man die PHP-Sprache zur Implementierung von Flink-Echtzeit-Computing verwendet. Wir haben Flink installiert, einen einfachen Datenfluss mit PHP-Code geschrieben und ihn in eine Textdatei geschrieben. Flink bietet eine leistungsstarke Event Processing Engine und eine DataStream-API, die zur Verarbeitung von Echtzeit-Datenströmen verwendet werden können. Flink bietet Geschwindigkeits- und Durchsatzvorteile beim Echtzeit-Computing und wird zunehmend beim maschinellen Lernen, der Grafikverarbeitung und der Analyse eingesetzt.

Das obige ist der detaillierte Inhalt vonPHP implementiert Open-Source-Flink-Echtzeit-Computing. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!