So entwickeln Sie mit Java eine Stream- und Batch-Verarbeitungsanwendung basierend auf Apache Flink

So verwenden Sie Java, um eine Stream-Verarbeitungs- und Stapelverarbeitungsanwendung basierend auf Apache Flink zu entwickeln

Einführung:
Apache Flink ist ein leistungsstarkes Open-Source-Stream-Verarbeitungs- und Stapelverarbeitungs-Framework mit hohem Durchsatz, hoher Zuverlässigkeit und geringen Verzögerungskosten Eigenschaften. In diesem Artikel wird die Verwendung von Java zum Entwickeln einer Stream-Verarbeitungs- und Stapelverarbeitungsanwendung basierend auf Apache Flink vorgestellt und detaillierte Codebeispiele gegeben.

1. Umgebungsvorbereitung

1. JDK installieren: Stellen Sie sicher, dass auf Ihrem Computer das Java Development Kit (JDK) installiert ist. Sie können das JDK von der offiziellen Website von Oracle herunterladen und gemäß der offiziellen Anleitung installieren.
2. Apache Flink herunterladen: Sie können die neueste Version von Flink von der offiziellen Apache Flink-Website herunterladen. Entpacken Sie die heruntergeladene ZIP-Datei an einen geeigneten Speicherort.
3. IDE installieren: Sie können eine IDE auswählen, die für die Entwicklung zu Ihnen passt. Es wird empfohlen, Eclipse oder IntelliJ IDEA zu verwenden.

2. Projekterstellung

1. Erstellen Sie ein neues Java-Projekt in der IDE und nennen Sie es „flink-demo“.
2. Kopieren Sie die heruntergeladene und entpackte Apache Flink-Datei in das Stammverzeichnis des Projekts.

3. Abhängigkeiten einführen

1. Fügen Sie die folgenden Abhängigkeiten in der build.gradle-Datei des Projekts hinzu:

   dependencies {
    compileOnly project(":flink-dist")
    compile group: 'org.apache.flink', name: 'flink-core', version: '1.12.2'
    compile group: 'org.apache.flink', name: 'flink-streaming-java', version: '1.12.2'
    compile group: 'org.apache.flink', name: 'flink-clients', version: '1.12.2'
   }

2. Klicken Sie in der IDE mit der rechten Maustaste auf das Projektstammverzeichnis und wählen Sie „Gradle-Projekt aktualisieren“, um die Abhängigkeiten des Projekts zu aktualisieren .

4. Implementieren Sie die Flink-Stream-Verarbeitungsanwendung. Erstellen Sie ein neues Paket im Verzeichnis src/main/java und nennen Sie es „com.flinkdemo.stream“.

1. Erstellen Sie eine Java-Klasse mit dem Namen „StreamProcessingJob“ und implementieren Sie darin die Stream-Verarbeitungslogik.

package com.flinkdemo.stream;

import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

public class StreamProcessingJob {

 public static void main(String[] args) throws Exception {
     // 创建一个执行环境
     final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

     // 从socket接收数据流
     DataStream<String> text = env.socketTextStream("localhost", 9999);

     // 打印接收到的数据
     text.print();

     // 启动执行环境
     env.execute("Stream Processing Job");
 }
}

2. Klicken Sie in der IDE mit der rechten Maustaste auf die StreamProcessingJob-Klasse und wählen Sie „Ausführen als“ -> „Java-Anwendung“, um die Anwendung zu starten.

3. 5. Implementieren Sie die Flink-Stapelverarbeitungsanwendung.

Erstellen Sie ein neues Paket im Verzeichnis src/main/java und nennen Sie es „com.flinkdemo.batch“.

1. Erstellen Sie eine Java-Klasse mit dem Namen „BatchProcessingJob“ und implementieren Sie darin die Stapelverarbeitungslogik.

package com.flinkdemo.batch;

import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.api.java.DataSet;
import org.apache.flink.api.java.tuple.Tuple2;

public class BatchProcessingJob {

 public static void main(String[] args) throws Exception {
     // 创建一个执行环境
     final ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();

     // 从集合创建DataSet
     DataSet<Tuple2<String, Integer>> dataSet = env.fromElements(
             new Tuple2<>("A", 1),
             new Tuple2<>("A", 2),
             new Tuple2<>("B", 3),
             new Tuple2<>("B", 4),
             new Tuple2<>("C", 5)
     );

     // 根据key进行分组，并计算每组的元素个数
     DataSet<Tuple2<String, Integer>> result = dataSet
             .groupBy(0)
             .sum(1);

     // 打印结果
     result.print();

     // 执行任务
     env.execute("Batch Processing Job");
 }
}

2. Klicken Sie in der IDE mit der rechten Maustaste auf die Klasse BatchProcessingJob und wählen Sie „Ausführen als“ -> „Java-Anwendung“, um die Anwendung zu starten.

3. Fazit:
Durch die Einleitung dieses Artikels haben Sie gelernt, wie Sie mit Java eine Stream-Verarbeitungs- und Stapelverarbeitungsanwendung basierend auf Apache Flink entwickeln. Sie können Ihren Streaming- und Stapelverarbeitungsanwendungen je nach Bedarf mehr Logik hinzufügen und weitere Features und Funktionen von Flink erkunden. Ich wünsche Ihnen gute Ergebnisse bei Ihrer Flink-Entwicklungsreise!

Das obige ist der detaillierte Inhalt vonSo entwickeln Sie mit Java eine Stream- und Batch-Verarbeitungsanwendung basierend auf Apache Flink. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!