Zusammenfassung der Implementierung von massivem Datenimport und -export durch PHP+MySQL

Vor einiger Zeit bestand die Notwendigkeit, einige Daten aus der Produktionsumgebung zum Testen auf den Testserver zu übertragen. Da ich nur die Daten eines bestimmten Kontos importieren muss, habe ich darüber nachgedacht, ein Skript zu schreiben, um die Daten in SQL-Anweisungen zusammenzusetzen und sie in SQL-Dateien zu exportieren, sie dann auf den Testserver zu übertragen und in MySQL zu importieren. Die Fantasie ist schön, aber der Prozess ist schmerzhaft. Fassen wir die folgenden Punkte zusammen.

Verarbeitung von PHP-Skripten

1 Die Idee des Skripts besteht darin, bestimmte Kontodaten abzufragen und diese in SQL-Textdaten zusammenzusetzen. Hierbei ist zu beachten, dass der Abfragewert gefiltert werden muss, da einige Felder einige unzulässige Zeichen enthalten, wie zum Beispiel: ' (einfaches Anführungszeichen), " (doppeltes Anführungszeichen), ` (das zweite von der oberen linken Ecke von Wenn SQL-Anweisungen ausgeführt werden, ändert sich der Wert, da das andere Ende des Abschlusses nicht gefunden werden kann. Daher müssen diese Zeichen ersetzt werden. Ich verwende die Funktion str_replace(), um diese Symbole auf leer zu setzen. Ich verwende die Funktion is_numeri, um festzustellen, ob es sich bei dem Wert um eine numerische Typstruktur handelt Anführungszeichen), aber es gibt ein Problem mit is_numeri. Einige Werte haben den Buchstaben e, es gibt auch true zurück,

Dies ist tatsächlich ein Problem, weil der Wert kann nicht in MySQL eingefügt werden, ohne „“ hinzuzufügen. >Später habe ich die Funktionen is_float() und is_string() gleichzeitig hinzugefügt, um zu bestimmen, ob der Wert in doppelte Anführungszeichen gesetzt werden muss 3

Da die Menge der exportierten Daten relativ groß ist, habe ich sie in vier PHP-Prozesse aufgeteilt, und ein Prozess führt 10.000 Benutzerdaten aus, was jedoch viel Zeit sparen kann Der gespeicherte SQL-Text muss ebenfalls unterschieden werden, da möglicherweise mehrere Prozesse gleichzeitig eine Textdatei schreiben. Es kam zu einem Datenverlust (ich habe es später herausgefunden und viel Zeit damit verbracht, die Daten wiederherzustellen)

4

. Verwenden Sie den Befehl tar -xcvf, um die SQL-Datei zu komprimieren und zu packen. Sie kann auf mehr als 700 MB komprimiert werden, und der Komprimierungseffekt ist immer noch gut

Daten in MySQL importieren

1

, aufgrund der relativ großen Datenmenge habe ich die Daten auch in mehrere Prozesse aufgeteilt um diese großen SQL-Dateien zu importieren

    mysql>source D:/www/sql/data.sql;

Die SQL-Datei enthält die Nutzungsdatenbank, daher gibt es hier keine Nutzungsdatenbank >Importieren Sie mehrere Dateien über den Quellbefehl , das die folgenden Befehle speichert Zum Beispiel:

    source c:/1.sql;
    source c:/2.sql;

Auf diese Weise können Sie mehrere Dateien in einem Quellbefehl importieren. Es gab auch einige Probleme während

:

erschien:

                                                         🎜>

Nach der Überprüfung liegt es an der. Menge Die Anzahl der Daten in einer einzelnen Tabelle ist groß, und das ist im Allgemeinen der Fall glaubte, dass MySQL SQL mit einer großen Datenmenge in einer einzelnen Tabelle einschränken würde

Lösung:

Ändern Sie die max_allowed_packet-GrößeOption 1, vorübergehend Änderung: Geben Sie den Befehl set global max_allowed_packet = size ein. (Beachten Sie, dass die Größe hier nur in Bytes angegeben werden kann. Nach dem Neustart des MySQL-Dienstes wird die Konfiguration ungültig! )

Option 2: Ändern Sie die Datei my.ini und fügen Sie max_allowed_packet=size im Abschnitt [mysqld] hinzu

2

Da der Quellbefehl den Positionierungsdatensatz nicht aufzeichnen kann Auf diese Weise wird eine Fehlermeldung angezeigt, sodass ich später auf die Linux-Shell-Methode umgestiegen bin, um

wie folgt zu importieren: sql.sh

　　#!/bin/bash
    p="d:backup/sql.sql" //绝对路径
    User='abc'
    Password='123'
     
    mysql -u $User -p$Password -e "source $f"  2>err1.txt;//输出错误到文件中，方便后面查询     
    echo 'OK!'

Auf diese Weise finden Sie einige Fehlermeldungen, die die Fehlerbehebung erleichtern später.

MySQL-Video-Tutorial

Das obige ist der detaillierte Inhalt vonZusammenfassung der Implementierung von massivem Datenimport und -export durch PHP+MySQL. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!