Denken Sie an ein MYSQL-Update und eine Optimierung

Einführung

Heute (5. August 2015, 17:34 Uhr) habe ich eine Anpassung an der Struktur einer Tabelle in der Datenbank vorgenommen, mehrere Felder hinzugefügt und dann die vorherigen Daten aktualisiert. Der Inhalt ist: Passen Sie eines der vorhandenen Felder url an und aktualisieren Sie dann die neu hinzugefügten Felder type und typeid. Später habe ich ein Shell-Skript geschrieben, um die Daten zu aktualisieren. Ich war verwirrt, warum es so langsam war Die Tabellenstruktur ist wahrscheinlich wie oben (viele Felder werden weggelassen), es gibt nur einen gemeinsamen Index

in der Tabelle und ich habe beim Aktualisieren die folgende Idee:

<code>CREATE TABLE `fuckSpeed` (
  `uin` bigint(20) unsigned NOT NULL DEFAULT 0,
  `id` int(11) unsigned NOT NULL DEFAULT 0,
  `url` varchar(255) NOT NULL DEFAULT '',
  `type` int(11) unsigned NOT NULL DEFAULT 0,
  `typeid` varchar(64) NOT NULL DEFAULT '',
  ......
  KEY `uin_id` (`uin`,`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;</code>

Erstens einen bestimmten Datenmenge basierend auf einem ID-Bereich

wähle id,url aus funkSpeed ​​​​wobei id>=101 und iduin_id

Alle Daten durchlaufen und jedes Datenelement aktualisieren
• #Zuerst die Daten verarbeiten und abgleichen. Typ und Typ-ID abrufen
  fickenGeschwindigkeit aktualisieren set type=[type],typeid=[typeid] where id=[id]
  Nachdem ich der obigen Idee gefolgt bin, habe ich das gefunden Das Update ist mit durchschnittlich 3 Minuten pro Sekunde extrem langsam. Ich habe mir die zu aktualisierenden Daten insgesamt 24 Stunden lang angesehen Mehr als einen Tag. Ähm, ich weinte.
• 
  Das Problem gefunden
  
  Das erste, was ich dachte, war, ob es daran lag, dass nur ein Prozess aktualisiert wurde, was dazu führte, dass er 5 Prozesse startete und segmentierte Die IDs lauten wie folgt:

Nachdem ich es ausgeführt habe, habe ich festgestellt, dass es immer noch dasselbe ist. Die Geschwindigkeit hat sich nicht wesentlich verbessert und es gibt immer noch etwa 3 bis 5 Aktualisierungen pro Sekunde. Denken Sie darüber nach, Zeit kann nicht für die Schritte vor dem Einfügen von Daten aufgewendet werden (Abgleichen und Zusammenstellen von SQL-Anweisungen usw.). Beim Einfügen sollte ein Problem auftreten

Werfen wir einen Blick auf meine SQL-Anweisung

. Hier habe ich versucht, es in der Befehlszeile auszuführen, und das Ergebnis ist wie folgt: Es dauerte tatsächlich 0,18 Sekunden Voraussetzung dafür, dass der gemeinsame Index wirksam wird, ist, dass auf der linken Seite ein Feld vorhanden sein muss. Ich habe es mit „explain“ überprüft und es stellte sich heraus, dass es so aussah:

<code>./update_url.sh 0 10000 &
./update_url.sh 10000 20001 &
./update_url.sh 20001 30001 &
./update_url.sh 30002 40002 &
./update_url.sh 40003 50003 &</code>

Dann verwenden Sie den gemeinsamen Index:

select id,url from funkSpeed where id>=101 and id

Sie können sehen, dass es sich fast um eine zweite Überprüfung handelt. Zu diesem Zeitpunkt können Sie grundsätzlich zu dem Schluss kommen, dass das Problem im Index auftritt.

<code>mysql> select id,url from funkSpeed where id>=0 and id</code>

Wenn ich auswähle, ist die Häufigkeit relativ klein und der ID-Unterschied zwischen jeweils zwei Auswahlen beträgt 10.000, sodass er hier ignoriert werden kann und es hier keine Möglichkeit zur Optimierung gibt, es sei denn, ein Index für die ID hinzugefügt wird.

<code>mysql> explain id,url from funkSpeed where id>=0 and id</code>

Das Problem tritt auch bei der Aktualisierung auf. Meine MySQL-Version ist nicht

. Ansonsten können Sie auf jeden Fall überprüfen, was ich hier gesagt habe . Jedes Datenelement wird aktualisiert, jedes Datenelement dauert etwa 2 Sekunden, das ist zu beängstigend~~

<code>mysql> select uin,id from funkSpeed where uin=10023 and id=162;
+------------+----------+
| uin        |   id     |
+------------+----------+
| 10023      | 162      |
+------------+----------+
1 row in set (0.00 sec)

mysql> explain select uin,id from funkSpeed where uin=10023 and id=162;
+-------------+------+---------------+----------+---------+-------------+------+-------------+
| table       | type | possible_keys | key      | key_len | ref         | rows | Extra       |
+-------------+------+---------------+----------+---------+-------------+------+-------------+
| funkSpeed   | ref  | uin_id        | uin_id   | 12      | const,const |    4 | Using index |
+-------------+------+---------------+----------+---------+-------------+------+-------------+
1 row in set (0.00 sec)</code>

Das Problem lösen

Sobald das Problem gefunden ist, wird es viel einfacher zu lösen~~

Fügen Sie bei der Auswahl ein Feld

hinzu, ändern Sie es wie unten in update fuckSpeed set type=[type],typeid=[typeid] where id=[id] und verwenden Sie dann beim Aktualisieren explain update, damit der Index verwendet wird.

Nachdem ich den Code dreimal, fünfmal und zweimal geändert hatte, versuchte ich, einen Prozess zu starten, um den Effekt zu sehen. Tatsächlich wurde der Effekt nicht ein wenig verbessert, mit durchschnittlich 30 Mal/s. Es dauerte also etwa 3 Stunden, bis alle Aktualisierungen abgeschlossen waren.

WeChat-ID: love_skills

uinJe härter du arbeitest, desto mehr Glück wirst du haben! Je mehr Glück du hast, desto härter arbeitest du! select uin,id,url from funkSpeed where id>=101 and id<code>update fuckSpeed set type=[type],typeid=[typeid] where uin=[uin] id=[id]CEO zu sein ist kein Traum

Bai Fumei zu gewinnen ist kein Traum

Schwestern-Gegenangriff ist kein Traum

Jetzt ist es soweit! ! Komm schon

Das Obige hat die Optimierung eines MYSQL-Updates vorgestellt, einschließlich der relevanten Aspekte. Ich hoffe, es wird für Freunde hilfreich sein, die sich für PHP-Tutorials interessieren.