Wie kann ich die Datenrahmenzusammenführung mit Datumsbeschränkungen mithilfe von SQL optimieren?

Datenrahmen mit Datumsbeschränkungen zusammenführen

Einführung:

Das Zusammenführen von Datenrahmen basierend auf einer Join-Bedingung und Datumsbeschränkungen kann ein sein häufige Aufgabe in der Datenanalyse. Während Pandas verschiedene Zusammenführungsoptionen bietet, kann die Optimierung der Leistung durch Filterung während des Zusammenführungsprozesses von Vorteil sein, um die Verarbeitung großer Zwischendatenrahmen zu vermeiden. In diesem Artikel wird ein alternativer Ansatz mithilfe von SQL erläutert, um diese Effizienz zu erreichen.

Zusammenführen mit Filterung:

Das bereitgestellte Code-Snippet demonstriert das Zusammenführen zweier Datenrahmen A und B mithilfe des pd. Funktion merge() und anschließendes Filtern der Ergebnisse basierend auf der Datumsbedingung. Dieser Ansatz kann jedoch bei der Arbeit mit großen Datenrahmen aufgrund des vor dem Filtern erstellten Zwischendatenrahmens suboptimal sein.

SQL als Alternative:

SQL bietet eine effizientere Möglichkeit um diese Zusammenführung mit der Filterung innerhalb der Abfrage selbst durchzuführen. Durch die Verbindung mit einer In-Memory-Datenbank können wir eine Abfrage schreiben, die die Verknüpfung und Datumsfilterung in einem Schritt durchführt.

Codebeispiel:

Der folgende Code demonstriert der SQL-Ansatz:

<code class="python">import pandas as pd
import sqlite3

# Connect to in-memory database
conn = sqlite3.connect(':memory:')

# Write dataframes to tables
terms.to_sql('terms', conn, index=False)
presidents.to_sql('presidents', conn, index=False)
war_declarations.to_sql('wars', conn, index=False)

# SQL query
qry = '''
    select  
        start_date PresTermStart,
        end_date PresTermEnd,
        wars.date WarStart,
        presidents.name Pres
    from
        terms join wars on
        date between start_date and end_date join presidents on
        terms.president_id = presidents.president_id
    '''

# Read SQL query results into dataframe
df = pd.read_sql_query(qry, conn)</code>

Ergebnisse:

Der resultierende Datenrahmen df enthält die Zeilen, in denen die Datumsangaben in A mit den Datumsbedingungen in B übereinstimmen. In diesem speziellen Beispiel , es gibt die Präsidenten und Amtszeiten zurück, in denen zwei Kriege erklärt wurden.

Vorteile:

Dieser Ansatz bietet die folgenden Vorteile:

• Effizienz: Führt die Verknüpfung und Filterung in einer einzigen Abfrage durch, sodass kein Zwischendatenrahmen erforderlich ist.
• Flexibilität: Ermöglicht komplexere Filterbedingungen in der SQL-Abfrage .
• Kein Zwischendatenrahmen: Vermeidet das Speichern eines potenziell großen Zwischendatenrahmens vor dem Filtern.

Das obige ist der detaillierte Inhalt vonWie kann ich die Datenrahmenzusammenführung mit Datumsbeschränkungen mithilfe von SQL optimieren?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!