PHP implémente le calcul en temps réel open source Flink

Avec l'avènement de l'ère du Big Data, la mise à jour et l'amélioration continues des méthodes de traitement des données en temps réel à grande échelle ont attiré beaucoup d'attention et d'importance. Avec le développement continu du cloud computing et de la technologie des conteneurs, Apache Flink est devenu un moteur informatique en temps réel qui traite rapidement les données en streaming (comme un algorithme entre Spark et Storm) et fournit également une prise en charge du traitement par lots.

Flink est un moteur de traitement piloté par événements qui prend en charge le traitement de flux de données illimités et limités. Il présente non seulement des avantages en termes de vitesse et de débit de traitement des flux, mais a également été largement utilisé dans l'analyse d'événements complexes, l'apprentissage automatique, le traitement et l'analyse graphiques, etc.

Cet article présentera comment utiliser le langage PHP pour implémenter l'informatique en temps réel Flink.

1. Installez Flink

Flink nécessite Java JDK 8 ou supérieur pour fonctionner. Avant l'installation, assurez-vous que Java JDK est installé. Installons Flink :

1. Téléchargez le package de compression binaire Apache Flink

Accédez au site officiel de Flink pour télécharger Flink et sélectionnez la dernière version de Flink 1.14. Version .0. Vous pouvez également utiliser la commande suivante pour télécharger :

$ wget https://archive.apache.org/dist/flink/flink-1.14.0/flink-1.14.0-bin-scala_2.11.tgz

2. Décompressez le package d'installation

Utilisez la commande suivante pour décompresser le package d'installation Flink téléchargé :

$ tar -xvzf flink-1.14.0-bin-scala_2.11.tgz

3. Démarrer le cluster Flink

Utilisez la commande suivante pour démarrer le cluster Flink :

$ cd flink-1.14.0/bin/
$ ./start-cluster.sh

Utilisez le commande suivante pour vérifier si le cluster Flink est démarré :# 🎜🎜#

$ ./flink list

2. PHP implémente le calcul en temps réel Flink

Avant de faire cela, vous devez comprendre comment Flink traite les données. Flink utilise l'API DataStream pour gérer les flux de données. Les utilisateurs peuvent utiliser l'API DataStream pour créer des applications de traitement de flux de données.

Ci-dessous, nous utiliserons le langage PHP pour implémenter l'application de traitement de flux de données Flink.

Écrire du code PHP

Utilisez le code suivant pour générer un flux de données simple :

require_once 'vendor/autoload.php';

use FlinkDataStream;

$env = new FlinkEnvironment();

$stream = $env->fromCollection([
    [1, 'apple'],
    [2, 'banana'],
    [3, 'cherry']
]);

$stream->print();

Utilisez ce qui suit commande pour exécuter du code PHP :

$ php myDataStream.php

Le résultat de sortie est le suivant :

1, apple
2, banana
3, cherry

Create Flink job

Le travail Flink a Flink. Il se compose de DataSource (source de données) et de DataSink (absorption de données).

Dans l'API DataStream, une DataSource est créée par la méthode de la classe StreamExecutionEnvironment et peut obtenir des données à partir d'une collection en mémoire, d'un système de fichiers ou d'une source de données telle que Kafka.

Utilisez le code suivant pour écrire les données du DataStream dans un fichier texte :

require_once 'vendor/autoload.php';

use FlinkEnvironment;
use FlinkDataStreamStreamExecutionEnvironment;

$env = new Environment();
$stream = $env->fromCollection([
    [1, 'apple'],
    [2, 'banana'],
    [3, 'cherry']
]);

$stream->writeAsCsv('/path/to/file.csv');

$env->execute();

Après avoir exécuté le code ci-dessus, un fichier nommé file.csv sera généré sous le chemin spécifié et écrivez les données de DataStream dans le fichier, le contenu est le suivant :

1,apple
2,banana
3,cherry

3. Conclusion

Cet article présente comment utiliser le langage PHP pour mettre en œuvre le calcul en temps réel Flink. Nous avons installé Flink, écrit un flux de données simple en utilisant du code PHP et l'avons écrit dans un fichier texte. Flink fournit un puissant moteur de traitement d'événements et une API DataStream qui peuvent être utilisés pour traiter des flux de données en temps réel. Flink présente des avantages en termes de vitesse et de débit par rapport à l'informatique en temps réel et est de plus en plus utilisé dans l'apprentissage automatique, le traitement graphique et l'analyse.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!