Wie kann bei der Datenabfrage festgestellt werden, ob die Daten größer als N sind?

Zum Beispiel gibt es 300.000 Daten, die je nach den Bedingungen mit der Abfrage übereinstimmen. Ich möchte 10.000 abrufen jedes Mal und holen Sie es dreimal ab. Dies ist nur ein Beispiel. Rekursion verwenden?
Lass es mich wissen. Danke! ! !
Wenn die Daten aus zwei Tabellen zusammengeführt werden, gibt es außerdem eine Möglichkeit, sie nach einem bestimmten Feld zu sortieren?

Antwortinhalt:

Zum Beispiel gibt es 300.000 Daten, die je nach den Bedingungen mit der Abfrage übereinstimmen. Ich möchte 10.000 abrufen jedes Mal und holen Sie es dreimal ab. Dies ist nur ein Beispiel. Rekursion verwenden?
Lass es mich wissen. Danke! ! !
Gibt es außerdem eine Möglichkeit, die Daten aus zwei Tabellen zusammenzuführen, um sie nach einem bestimmten Feld zu sortieren?

Vielen Dank für Ihre Einladung. Für Ergebnismengen mit großen Datenmengen verwende ich derzeit im Allgemeinen die folgenden zwei Methoden, um sie zu verarbeiten. Der Zweck der Verwendung dieser beiden Verarbeitungsmethoden besteht darin, erstens die Belegung von Bandbreitenressourcen beim Abrufen des Datensatzes zu reduzieren und zweitens die Speichernutzung des Programms bei der Verarbeitung des Ergebnissatzes zu reduzieren.

1. Blockieren ist die Idee der Frage

<code>$sql = 'SELECT xxx FROM table WHERE xxx LIMIT limit ：limit offset :offset';
$limit = 10000;
$offset = 0;
do{
    $stmt = $dbh->prepare($sql, array(PDO::ATTR_CURSOR => PDO::CURSOR_FWDONLY));
    $stmt->execute(array('：limit' => $limit, ':offset' => $offset));
    $data = $stmt->fetchAll();
    // 处理逻辑
    $offset += $limit;
}while(count($data));</code>

1. Cursor, Zeile für Zeile lesen und zurückkehren

<code>$sql = 'SELECT xxx FROM table WHERE xxx';
$stmt = $dbh->prepare($sql, array(PDO::ATTR_CURSOR => PDO::CURSOR_SCROLL));
$stmt->execute();
$row = $stmt->fetch(PDO::FETCH_NUM, PDO::FETCH_ORI_LAST);
do {
    // 处理逻辑 $row
} while ($row = $stmt->fetch(PDO::FETCH_NUM, PDO::FETCH_ORI_PRIOR));</code>

Mein persönlicher Vorschlag ist, dass Sie, wenn Sie nach nachfolgenden Blöcken suchen möchten, die where-Bedingung statt direkt limit 100000 , 100000 verwenden:
Ein Beispiel für den Unterschied zwischen den beiden ist wie folgt:

<code>//这个是第一种，取第20w开始的10w条数据
select * from table limit 100000 , 100000 order by id
//这是第二种取法
select * from table where id > 100000 limit 100000 order by id
因为mysql用limit越往后，排序之后取后面的越慢</code>

Dies kann direkt über SQL-Anweisungen erfolgen, es ist keine Hintergrundverarbeitung erforderlich; es kann nach den von Ihnen angegebenen Feldern sortiert werdenorder by

Gemeinsame Tabellenabfrage
Zum Beispiel: SELECT a.* aus TabelleA als a, TabelleB als b, wobei a.id = b.id order by a.id desc limit 0,10000";

Sie können zuerst count(1) aus der Tabelle mit der Bedingung auswählen. Sehen Sie, wie viele Daten insgesamt vorhanden sind. Wenn die Zahl größer als N ist,
können Sie select * from table limit m,n 2 Tabellen im Paging

abfragen select * from table1 union all select * form table2 order by 某个字段. Beachten Sie, dass die Anzahl der Spalten in der Abfrage gleich sein muss. Das Gleiche gilt für den besten Typ

Vorausgesetzt, dass die Tabellen-IDs gleichmäßig verteilt sind, können Sie das ID-Intervall verwenden, um Daten in Segmenten abzufragen

<code class="php">//每次计划读取的数据条数
$max_per_size = 10000;
//找到符合条件的最小ID和最大ID
$sql = "SELECT min(id),max(id) AS max_id AS num FROM `table` WHERE xx='xx'";
$stmt = $pdo->prepare($sql);
$stmt->execute();
$res = $stmt->fetch(PDO::FETCH_ASSOC);
//符合条件的最大ID
$max_id = $res['max_id'];
//符合条件的最小ID
$min_id = $res['min_id'];
$times = ceil(($max_id - $min_id + 1) / $max_per_size);
//第一次的ID区间
$current_min_id = $min_id;
$current_max_id = $min_id + $max_per_page;
for($i = 0; $i<$times; $i++) {
    //生成SQL语句
    $sql = "SELECT * FROM `table` WHERE xx='xx' AND (id>= {$current_min_id} AND id <= {$current_max_id})";
    //得到数据之后的操作
    //.........
    //重新计算下一次的ID区间
    $current_min_id = $current_max_id + 1;
    $current_max_id = $current_max_id + $max_per_page;
    if ($current_max_id > $max_id) {
        $current_max_id = $max_id;
    }
}</code>