Comment utiliser Apache Hadoop pour l'informatique distribuée et le stockage de données dans le développement PHP

Avec l'expansion continue de l'échelle d'Internet et de la quantité de données, l'informatique et le stockage sur une seule machine ne peuvent plus répondre aux besoins du traitement des données à grande échelle. À l’heure actuelle, l’informatique distribuée et le stockage de données deviennent des solutions nécessaires. En tant que framework informatique distribué open source, Apache Hadoop est devenu le premier choix pour de nombreux projets de traitement de Big Data.

Comment utiliser Apache Hadoop pour le calcul distribué et le stockage de données dans le développement PHP ? Cet article le présentera en détail sous trois aspects : installation, configuration et pratique.

1. Installation

L'installation d'Apache Hadoop nécessite les étapes suivantes :

1. Téléchargez le package de fichiers binaires d'Apache Hadoop

Vous pouvez le télécharger depuis le site officiel d'Apache Hadoop (http://hadoop.apache.org /releases.html ) pour télécharger la dernière version.

2. Installer Java

Apache Hadoop est écrit sur la base de Java, vous devez donc d'abord installer Java.

3. Configurer les variables d'environnement

Après avoir installé Java et Hadoop, vous devez configurer les variables d'environnement. Dans les systèmes Windows, ajoutez les chemins du répertoire bin de Java et Hadoop aux variables d'environnement système. Dans les systèmes Linux, vous devez ajouter les chemins PATH de Java et Hadoop dans .bashrc ou .bash_profile.

2. Configuration

Après l'installation de Hadoop, une certaine configuration est requise pour l'utiliser normalement. Voici quelques configurations importantes :

1. core-site.xml

Chemin du fichier de configuration : $HADOOP_HOME/etc/hadoop/core-site.xml

Dans ce fichier, vous devez définir l'URI du système de fichiers par défaut et HDFS Le chemin de stockage des fichiers temporaires générés lors de l'exécution de Hadoop.

Exemple de configuration (pour référence uniquement) :

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/tmp</value>
  </property>
</configuration>

2. hdfs-site.xml

Chemin du fichier de configuration : $HADOOP_HOME/etc/hadoop/hdfs-site.xml

Dans ce fichier, une copie de HDFS doit être défini des informations telles que le nombre et la taille du bloc.

Exemple de configuration (pour référence uniquement) :

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
  <property>
    <name>dfs.blocksize</name>
    <value>128M</value>
  </property>
</configuration>

3. yarn-site.xml

Chemin du fichier de configuration : $HADOOP_HOME/etc/hadoop/yarn-site.xml

Dans ce fichier, vous devez définir les paramètres liés à YARN. Informations de configuration, telles que l'adresse du gestionnaire de ressources, le nombre de gestionnaires de nœuds, etc.

Exemple de configuration (pour référence uniquement) :

<configuration>
  <property>
    <name>yarn.resourcemanager.address</name>
    <value>localhost:8032</value>
  </property>
  <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>8192</value>
  </property>
  <property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>4</value>
  </property>
</configuration>

4. mapred-site.xml

Chemin du fichier de configuration : $HADOOP_HOME/etc/hadoop/mapred-site.xml

Configurez les informations pertinentes du framework MapReduce dans ce déposer.

Exemple de configuration (pour référence uniquement) :

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>yarn.app.mapreduce.am.env</name>
    <value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>
  </property>
</configuration>

3. Pratique

Après avoir terminé le travail d'installation et de configuration ci-dessus, vous pouvez commencer à utiliser Apache Hadoop pour l'informatique distribuée et le stockage de données dans le développement PHP.

1. Stockage des données

Dans Hadoop, les données sont stockées dans HDFS. Vous pouvez utiliser la classe Hdfs (https://github.com/vladko/Hdfs) fournie par PHP pour faire fonctionner HDFS.

Exemple de code :

require_once '/path/to/hdfs/vendor/autoload.php';

use AliyunHdfsHdfsClient;

$client = new HdfsClient(['host' => 'localhost', 'port' => 9000]);

// 上传本地文件到HDFS
$client->copyFromLocal('/path/to/local/file', '/path/to/hdfs/file');

// 下载HDFS文件到本地
$client->copyToLocal('/path/to/hdfs/file', '/path/to/local/file');

2. Distributed Computing

Hadoop utilise généralement le modèle MapReduce pour l'informatique distribuée. Les calculs MapReduce peuvent être implémentés à l'aide de la classe HadoopStreaming (https://github.com/andreas-glaser/php-hadoop-streaming) fournie par PHP.

Exemple de code :

(Remarque : le code suivant simule l'opération de comptage de mots dans Hadoop.)

Code PHP Mapper :

#!/usr/bin/php
<?php

while (($line = fgets(STDIN)) !== false) {
    // 对每一行数据进行处理操作
    $words = explode(' ', strtolower($line));
    foreach ($words as $word) {
        echo $word."    1
";  // 将每个单词按照‘单词    1’的格式输出
    }
}

Code PHPReducer :

#!/usr/bin/php
<?php

$counts = [];
while (($line = fgets(STDIN)) !== false) {
    list($word, $count) = explode("    ", trim($line));
    if (isset($counts[$word])) {
        $counts[$word] += $count;
    } else {
        $counts[$word] = $count;
    }
}

// 将结果输出
foreach ($counts as $word => $count) {
    echo "$word: $count
";
}

Commande d'exécution :

$ cat input.txt | ./mapper.php | sort | ./reducer.php

La commande d'exécution ci-dessus Les données input.txt sont acheminées vers mapper.php pour le traitement, puis triées, et enfin les résultats de sortie sont acheminés vers réducteur.php pour le traitement, et enfin le nombre d'occurrences de chaque mot est affiché.

La classe HadoopStreaming implémente la logique de base du modèle MapReduce, convertit les données en paires clé-valeur, appelle la fonction map pour le mappage, génère de nouvelles paires clé-valeur et appelle la fonction de réduction pour le traitement de fusion.

Exemple de code :

<?php

require_once '/path/to/hadoop/vendor/autoload.php';

use HadoopStreamingTokenizerTokenizerMapper;
use HadoopStreamingCountCountReducer;
use HadoopStreamingHadoopStreaming;

$hadoop = new HadoopStreaming();
$hadoop->setMapper(new TokenizerMapper());
$hadoop->setReducer(new CountReducer());
$hadoop->run();

Étant donné qu'Apache Hadoop est un framework informatique distribué open source, il fournit également de nombreuses autres API et outils, tels que HBase, Hive, Pig, etc., qui peuvent être sélectionnés en fonction des besoins d'applications spécifiques.

Résumé :

Cet article explique comment utiliser Apache Hadoop pour l'informatique distribuée et le stockage de données dans le développement PHP. Il décrit d'abord les étapes détaillées de l'installation et de la configuration d'Apache Hadoop, puis présente comment utiliser PHP pour faire fonctionner HDFS afin d'implémenter des opérations de stockage de données, et enfin utilise l'exemple de la classe HadoopStreaming pour décrire comment implémenter l'informatique distribuée MapReduce dans le développement PHP.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!