Wie kann ich mit mgo.v2 effizientes Paging in MongoDB für große Ergebnismengen implementieren?

Effizientes Paging in MongoDB mit mgo mit benutzerdefinierter Cursorverwaltung

Problem:

Während mgo .v2 bietet integrierte Paging-Methoden (Query.Skip() und Query.Limit()), für die sie ineffizient werden Große Ergebnislisten, da alle Dokumente durchlaufen werden müssen, bevor die ersten x Dokumente übersprungen werden (bestimmt durch Skip()).

Lösung:

MongoDB stellt einen Cursor bereit. min(), um zum gewünschten Ergebnis zu springen und so die Anzahl der verarbeiteten Dokumente zu reduzieren. Allerdings fehlt mgo.v2 die native Unterstützung für die Angabe von Cursor.min().

Database.Run() und Find Command:

Zur Nutzung von Cursor.min() Ohne native Unterstützung können wir Database.Run() verwenden, um einen Suchbefehl mit einer benutzerdefinierten Abfrage auszuführen, wobei wir das Argument min angeben, um den gewünschten Startindex anzugeben Eintrag.

Cursordaten kodieren:

Nach der Ausführung der Abfrage müssen wir die Cursordaten aus dem ersten Batch des Ergebnisses abrufen. Um diese Daten effizient zu speichern und zu übertragen, können wir bson.Marshal() in Kombination mit Base64-Codierung verwenden, um eine websichere Cursorzeichenfolge zu generieren.

Cursorverwaltung:

Um Cursor zwischen Seiten zu verwalten, können wir sie mithilfe der Base64- bzw. BSON-Kodierung dekodieren und neu kodieren. Dies gewährleistet die Möglichkeit, Abfragen dort fortzusetzen, wo wir aufgehört haben.

Verwendung von github.com/icza/minquery:

Alternativ können wir das Minquery-Paket verwenden, das Bietet einen Wrapper zum Konfigurieren und Ausführen von MongoDB-Suchbefehlen mit Cursorspezifikation. Es vereinfacht die Verwaltung von Cursorn zwischen Seiten.

Codeausschnitte:

Benutzerdefinierte Cursorverwaltung (manueller Ansatz):

query := mgo.Query{
    Limit: 10,
}

if min != nil {
    query = query.Skip(1).Min(min)
}

Minquery-Paketansatz:

query := minquery.New().
    Cursor(cursor).
    Limit(10)

Das obige ist der detaillierte Inhalt vonWie kann ich mit mgo.v2 effizientes Paging in MongoDB für große Ergebnismengen implementieren?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!