CSV 데이터를 가져오는 웹페이지를 만들 때 수십, 수백만 개의 데이터가 있는 경우 어떤 솔루션을 사용해야 하며 어떤 문제를 고려해야 합니까?

PHP를 사용하여 제목과 같은 웹 페이지를 만들고 싶습니다. 초보자는 어떻게 시작해야 할지 모릅니다. 이전에는 간단한 업로드를 했지만 이제 처리해야 할 데이터가 몇 천 개 밖에 되지 않습니다. 수백만 개의 데이터를 가져오면 어떻게 해결해야 합니까? 저는 Python을 알고 있지만 Python이 너무 까다로워서 PHP를 사용할 계획입니다. 조언 부탁드려요~

답글 내용:

PHP를 사용하여 제목과 같은 웹 페이지를 만들고 싶습니다. 초보자는 어떻게 시작해야 할지 모릅니다. 이전에는 간단한 업로드를 했지만 이제 처리해야 할 데이터가 몇 천 개 밖에 되지 않습니다. 수백만 개의 데이터를 가져오면 어떻게 해결해야 하나요? 저는 Python을 알고 있지만 Python이 너무 까다로워서 PHP를 사용할 계획입니다. 조언 부탁드려요~

효율성의 문제라면. 문자열로 연결하는 것은 >트랜잭션>> 루프 삽입과 같이...value(), value()에 삽입하는 것과 유사합니다. 한 가지 주의할 점은 한 번에 많은 양의 데이터를 삽입한다는 점이다. mysql이나 다른 데이터베이스에 한 번에 삽입할 수 있는 최대 데이터 양에 대한 구성을 수정해야 한다. 방금 해봤는데 한 번에 100,000개의 항목을 삽입하는 데 약 4초가 걸립니다(5개 필드가 있는 테이블의 경우)

데이터의 양이 상대적으로 크며 일괄적으로 가져올 수 있습니다. ajax를 사용하여 업로드 인터페이스를 반복적으로 요청하고 각 요청에 다른 매개변수를 전달합니다.
예:

www.xxx.com/upload.php?offset=0&length=1000

www.xxx.com/upload.php?offset=1000&length=1000

이렇게 하면 PHP 스크립트가 시간 초과되는 것을 방지할 수 있습니다.

삽입 문 최적화 및 테이블 구조에 대한 요구 사항이 크며, 그렇지 않으면 데이터 + 트랜잭션 + 정렬된 데이터를 병합하는 방법이 더 효율적입니다.

먼저 서버에 CSV 테이블을 업로드합니다.
그런 다음 PHP는 CSV 테이블을 MySQL 데이터베이스로 가져옵니다.

<code><?php
//开启事务,批量插入
$db = new mysqli('127.0.0.1','user','pass','dbname',3306);
$db->query('SET AUTOCOMMIT=0');
$db->query('START TRANSACTION');

//导入CSV表格:CSV转数组
$fp = fopen('file.csv', 'r');
while ( ($row = fgetcsv($fp)) !== FALSE ) {
    //从文件指针中读入一行并解析CSV
    $stmt = $db->prepare('INSERT INTO posts (id, post_title, post_content) VALUES (?,?,?)');
    $stmt->bind_param('iss', $row[0], $row[1], $row[2]); //这里假设每行内容分别为ID,标题和内容
    $stmt->execute();
    //如果插入失败,改为更新
    if($stmt->affected_rows == 0) {
        $stmt = $db->prepare('UPDATE posts SET post_title = ?, post_content = ? WHERE id = ?');
        $stmt->bind_param('ssi', $row[1], $row[2], $row[0]);
        $stmt->execute();
        if($stmt->affected_rows == 0) {
            echo 'Import '.$row[0].' failed!'."\n";
        }
    }
}
fclose($fp);

//提交事务
$db->query('COMMIT'); //失败的操作已经echo输出来了,不需要回滚ROLLBACK
$db->query('SET AUTOCOMMIT=1');</code>

비동기식, 수백만 개의 동기화를 견딜 수 없습니다