ThinkPHP6에서 대량 데이터 가져오기를 위해 Mysql 사용

데이터의 양이 계속 증가함에 따라 많은 기업에서는 많은 양의 데이터를 데이터베이스로 가져와야 합니다. 그러나 개발자의 경우 데이터를 효율적으로 가져오는 방법은 살펴볼 가치가 있는 질문입니다. 이 기사에서는 대량 데이터 가져오기를 위해 ThinkPHP6 프레임워크에서 Mysql을 사용하는 방법을 소개합니다.

1. 데이터 준비

가져오기를 시작하기 전에 데이터를 준비해야 합니다. 데이터는 CSV, Excel과 같은 형식으로 내보내거나 코드에서 직접 생성할 수 있습니다. 이 기사에서는 코드를 사용하여 데이터를 생성합니다.

먼저 데이터 테이블 user를 생성합니다: user：

CREATE TABLE `user` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `name` varchar(255) DEFAULT NULL,
  `age` int(11) DEFAULT NULL,
  `created_at` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
  `updated_at` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4;

然后编写以下代码生成1000条数据：

use thinkacadeDb;

// 生成测试数据
$data = [];
for ($i = 1; $i <= 1000; $i++) {
    $data[] = [
        'name' => 'User' . $i,
        'age' => mt_rand(18, 60),
    ];
}

// 批量插入数据
Db::name('user')->insertAll($data);

2. 使用Mysql的LOAD DATA功能导入数据

Mysql提供了一个非常方便的功能LOAD DATA，可以将数据从文件导入到表中。我们只需要将数据保存到一个CSV文件中，然后使用LOAD DATA命令将数据导入到表中。

首先，将所有数据保存到CSV文件中。在本例中，我们将数据保存到user.csv文件中：

use thinkacadeDb;

$data = Db::name('user')->select();

$fp = fopen('user.csv', 'w');

//写数据到CSV文件中
foreach ($data as $item) {
    fputcsv($fp, [$item['name'], $item['age']]);
}

fclose($fp);

然后使用以下代码将数据导入到数据库中：

use thinkacadeDb;

$filename = 'user.csv';

$sql = <<<EOF
    LOAD DATA LOCAL INFILE '{$filename}'
     INTO TABLE `user` CHARACTER SET utf8mb4 FIELDS TERMINATED BY ',' ENCLOSED BY '"' LINES TERMINATED BY '
'
     (`name`, `age`)
EOF;

Db::query($sql);

在上述代码中，我们首先指定要导入的文件路径，然后编写SQL语句，使用LOAD DATA将数据导入到数据库中。需要注意的是，在导入之前需要确保Mysql的local_infile选项已经开启。

3. 使用TP6自带的批量插入功能导入数据

Mysql的LOAD DATA功能虽然方便快捷，但是需要将数据保存为文件，而且需要手动编写SQL语句，操作起来较为繁琐。在TP6中，我们可以使用自带的批量插入功能，一次性插入大量数据。

在上面的例子中，我们使用以下代码将数据插入到数据库中：

use thinkacadeDb;

$data = Db::name('user')->select();

$result = Db::name('user')->insertAll($data);

在上述代码中，我们首先查询所有数据，然后使用insertAll方法批量插入数据。需要注意的是，insertAll方法默认一次性最多插入1000条数据。如果要插入更多数据，需要在insertAll方法中指定$limit

use thinkacadeDb;

$data = Db::name('user')->select();

$limit = 500;
$total = count($data);
for ($i = 0; $i < $total; $i += $limit) {
    $result = Db::name('user')->insertAll(array_slice($data, $i, $limit));
}

그런 다음 다음 코드를 작성하여 1000개의 데이터를 생성합니다:

rrreee

Mysql의 LOAD DATA 함수를 사용하여 데이터 가져오기

Mysql은 파일에서 테이블로 데이터를 가져올 수 있는 매우 편리한 LOAD DATA 기능을 제공합니다. 데이터를 CSV 파일에 저장한 다음 LOAD DATA 명령을 사용하여 데이터를 테이블로 가져오기만 하면 됩니다.

🎜먼저 모든 데이터를 CSV 파일로 저장하세요. 이 예에서는 데이터를 user.csv 파일에 저장합니다. 🎜rrreee🎜 그런 다음 다음 코드를 사용하여 데이터를 데이터베이스로 가져옵니다. 🎜rrreee🎜 위 코드에서 먼저 다음을 지정합니다. 파일 경로를 가져온 다음 SQL 문을 작성하고 LOAD DATA를 사용하여 데이터를 데이터베이스로 가져오려고 합니다. 가져오기 전에 Mysql의 local_infile 옵션이 켜져 있는지 확인해야 한다는 점에 유의하세요. 🎜
🎜TP6에 내장된 일괄 삽입 기능을 사용하여 데이터 가져오기🎜🎜🎜Mysql의 LOAD DATA 기능은 편리하고 빠르지만, 데이터를 파일로 저장하고 수동으로 SQL 문을 작성하는 것은 번거롭습니다. TP6에서는 내장된 일괄 삽입 기능을 사용하여 한 번에 많은 양의 데이터를 삽입할 수 있습니다. 🎜🎜위의 예에서는 다음 코드를 사용하여 데이터베이스에 데이터를 삽입합니다. 🎜rrreee🎜위의 코드에서는 먼저 모든 데이터를 쿼리한 다음 insertAll 메서드를 사용하여 데이터베이스에 데이터를 삽입합니다. 배치. insertAll 메소드는 기본적으로 한 번에 최대 1,000개의 데이터를 삽입할 수 있다는 점에 유의하세요. 더 많은 데이터를 삽입하려면 insertAll 메소드에 $limit 매개변수를 지정해야 합니다. 예를 들어 다음 코드는 한 번에 최대 500개의 데이터를 삽입합니다. 🎜rrreee🎜위 코드에서는 루프를 사용하여 데이터를 일괄 삽입합니다. 모두 완료될 때까지 매번 최대 500개의 데이터를 삽입할 수 있습니다. 🎜🎜요약: 🎜🎜ThinkPHP6에서 대용량 배치 데이터를 가져올 때 메모리 오버플로, 성능 병목 현상 등의 문제가 발생할 수 있습니다. 그러나 Mysql의 LOAD DATA 기능을 사용하면 TP6에 내장된 배치 삽입 기능, 데이터 수동 배치 삽입, 등. 이 방법은 데이터 가져오기의 효율성을 효과적으로 향상시킬 수 있습니다. 실제 개발 과정에서는 최적의 수입 효과를 얻기 위해 상황에 따라 적절한 방법을 선택하는 것이 필요합니다. 🎜

위 내용은 ThinkPHP6에서 대량 데이터 가져오기를 위해 Mysql 사용의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!