PHP 개발에서 분산 컴퓨팅 및 데이터 저장을 위해 Apache Hadoop을 사용하는 방법

인터넷 규모와 데이터 양이 지속적으로 확장됨에 따라 단일 시스템 컴퓨팅 및 스토리지는 더 이상 대규모 데이터 처리 요구를 충족할 수 없습니다. 이때 분산 컴퓨팅과 데이터 스토리지는 꼭 필요한 솔루션이 되었습니다. 오픈 소스 분산 컴퓨팅 프레임워크인 Apache Hadoop은 많은 빅 데이터 처리 프로젝트에서 첫 번째 선택이 되었습니다.

PHP 개발에서 분산 컴퓨팅 및 데이터 저장을 위해 Apache Hadoop을 사용하는 방법은 무엇입니까? 이번 글에서는 설치, 설정, 실습 3가지 측면에서 자세히 소개하겠습니다.

1. 설치

Apache Hadoop을 설치하려면 다음 단계가 필요합니다.

1. Apache Hadoop 바이너리 파일 패키지를 다운로드하세요

Apache Hadoop 공식 웹사이트(http://hadoop.apache.org)에서 다운로드할 수 있습니다. /releases.html ) 최신 버전을 다운로드하세요.

2. Java 설치

Apache Hadoop은 Java 기반으로 작성되었으므로 먼저 Java를 설치해야 합니다.

3. 환경 변수 구성

Java 및 Hadoop을 설치한 후에는 환경 변수를 구성해야 합니다. Windows 시스템에서는 Java 및 Hadoop의 bin 디렉터리 경로를 시스템 환경 변수에 추가합니다. Linux 시스템에서는 .bashrc 또는 .bash_profile에 Java 및 Hadoop의 PATH 경로를 추가해야 합니다.

2. 구성

Hadoop을 설치한 후 정상적으로 사용하기 위해서는 몇 가지 구성이 필요합니다. 다음은 몇 가지 중요한 구성입니다.

1. core-site.xml

구성 파일 경로: $HADOOP_HOME/etc/hadoop/core-site.xml

이 파일에서는 기본 파일 시스템 URI와 HDFS Hadoop 실행 시 생성되는 임시 파일의 저장 경로입니다.

구성 예(참조용):

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/tmp</value>
  </property>
</configuration>

2. hdfs-site.xml

구성 파일 경로: $HADOOP_HOME/etc/hadoop/hdfs-site.xml

이 파일에서 HDFS 사본이 필요합니다. 수, 블록 크기 등의 정보를 정의할 수 있습니다.

샘플 구성(참조용):

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
  <property>
    <name>dfs.blocksize</name>
    <value>128M</value>
  </property>
</configuration>

3. yarn-site.xml

구성 파일 경로: $HADOOP_HOME/etc/hadoop/yarn-site.xml

이 파일에는 YARN을 정의해야 합니다. 구성 리소스 관리자 주소, 노드 관리자 수 등의 정보

샘플 구성(참고용):

<configuration>
  <property>
    <name>yarn.resourcemanager.address</name>
    <value>localhost:8032</value>
  </property>
  <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>8192</value>
  </property>
  <property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>4</value>
  </property>
</configuration>

4. mapred-site.xml

구성 파일 경로: $HADOOP_HOME/etc/hadoop/mapred-site.xml

여기에서 MapReduce 프레임워크 관련 정보를 구성하세요. 파일.

구성 예(참고용):

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>yarn.app.mapreduce.am.env</name>
    <value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>
  </property>
</configuration>

3. 연습

위의 설치 및 구성 작업을 완료한 후 PHP 개발에서 분산 컴퓨팅 및 데이터 저장을 위해 Apache Hadoop을 사용할 수 있습니다.

1. 데이터 저장

Hadoop에서는 데이터가 HDFS에 저장됩니다. HDFS를 동작시키기 위해서는 PHP에서 제공하는 Hdfs 클래스(https://github.com/vladko/Hdfs)를 이용하면 됩니다.

샘플 코드:

require_once '/path/to/hdfs/vendor/autoload.php';

use AliyunHdfsHdfsClient;

$client = new HdfsClient(['host' => 'localhost', 'port' => 9000]);

// 上传本地文件到HDFS
$client->copyFromLocal('/path/to/local/file', '/path/to/hdfs/file');

// 下载HDFS文件到本地
$client->copyToLocal('/path/to/hdfs/file', '/path/to/local/file');

2. 분산 컴퓨팅

Hadoop은 일반적으로 분산 컴퓨팅을 위해 MapReduce 모델을 사용합니다. MapReduce 계산은 PHP에서 제공하는 HadoopStreaming 클래스(https://github.com/andreas-glaser/php-hadoop-streaming)를 사용하여 구현할 수 있습니다.

샘플 코드:

(참고: 다음 코드는 Hadoop의 단어 계산 작업을 시뮬레이션합니다.)

Mapper PHP 코드:

#!/usr/bin/php
<?php

while (($line = fgets(STDIN)) !== false) {
    // 对每一行数据进行处理操作
    $words = explode(' ', strtolower($line));
    foreach ($words as $word) {
        echo $word."    1
";  // 将每个单词按照‘单词    1’的格式输出
    }
}

Reducer PHP 코드:

#!/usr/bin/php
<?php

$counts = [];
while (($line = fgets(STDIN)) !== false) {
    list($word, $count) = explode("    ", trim($line));
    if (isset($counts[$word])) {
        $counts[$word] += $count;
    } else {
        $counts[$word] = $count;
    }
}

// 将结果输出
foreach ($counts as $word => $count) {
    echo "$word: $count
";
}

실행 명령:

$ cat input.txt | ./mapper.php | sort | ./reducer.php

위의 실행 명령은 input.txt 데이터는 처리를 위해 mapper.php로 파이프된 후 정렬되고, 마지막으로 출력 결과는 처리를 위해 Reducer.php로 파이프되고 마지막으로 각 단어의 발생 횟수가 출력됩니다.

HadoopStreaming 클래스는 MapReduce 모델의 기본 논리를 구현하고, 데이터를 키-값 쌍으로 변환하고, 매핑을 위한 맵 함수를 호출하고, 새로운 키-값 쌍을 생성하고, 병합 처리를 위한 축소 함수를 호출합니다.

샘플 코드:

<?php

require_once '/path/to/hadoop/vendor/autoload.php';

use HadoopStreamingTokenizerTokenizerMapper;
use HadoopStreamingCountCountReducer;
use HadoopStreamingHadoopStreaming;

$hadoop = new HadoopStreaming();
$hadoop->setMapper(new TokenizerMapper());
$hadoop->setReducer(new CountReducer());
$hadoop->run();

Apache Hadoop은 오픈 소스 분산 컴퓨팅 프레임워크이므로 특정 애플리케이션의 필요에 따라 선택할 수 있는 HBase, Hive, Pig 등과 같은 다른 많은 API 및 도구도 제공합니다.

요약:

이 기사에서는 PHP 개발에서 분산 컴퓨팅 및 데이터 저장을 위해 Apache Hadoop을 사용하는 방법을 소개합니다. 먼저 Apache Hadoop 설치 및 구성의 세부 단계를 설명한 다음 PHP를 사용하여 HDFS를 작동하여 데이터 저장 작업을 구현하는 방법을 소개하고 마지막으로 HadoopStreaming 클래스의 예를 사용하여 PHP 개발에서 MapReduce 분산 컴퓨팅을 구현하는 방법을 설명합니다.

위 내용은 PHP 개발에서 분산 컴퓨팅 및 데이터 저장을 위해 Apache Hadoop을 사용하는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!