Warum ist Pandas „iterrows' so langsam und wie kann ich die Leistung verbessern?

Leistungsprobleme mit Pandas-Iterrows

Iterrows, eine Pandas-Funktion für zeilenweise Iteration, weist Leistungsmängel auf. Während das Problem möglicherweise mit gemischten D-Typen im Datenrahmen zusammenhängt, weisen selbst einfache Szenarien ohne dieses Problem erhebliche Leistungsverzögerungen auf.

Vektorisierte Vorgänge wie Apply übertreffen häufig Iterrows, was Fragen zur Notwendigkeit von Row-By aufwirft -Zeilen-Iteration. Es gibt jedoch Fälle, in denen Iterrows unvermeidbar bleiben.

Gründe für Iterrows-Leistungsprobleme

Im Allgemeinen ist Iterrows aufgrund der Leistungsmerkmale weniger effizient als Vektorisierung, Anwendung und Itertuples :

• Vektorisierung: Vektoroperationen ermöglichen eine hohe Effizienz Berechnungen.
• Anwenden: Anwenden wird von Pandas optimiert, wobei einige Vorgänge in Cython ausgeführt werden, was deutliche Leistungssteigerungen bietet.
• Itertuples: Itertuples vermeidet Datenboxen und ruft Daten als Tupel ab.
• Iterrows: Iterrows fasst Daten in Serienobjekte zusammen, was zu einer besseren Leistung führt Strafen.

Richtlinien für optimale Leistung

Um die Leistung zu optimieren, beachten Sie die folgenden Richtlinien:

1. Priorisieren Sie die Vektorisierung wann immer möglich.
2. Verwenden Sie „Anwenden“, wenn eine Vektorisierung nicht möglich ist.
3. Überlegen Sie Itertuples für Non-Boxing in bestimmten Szenarien.
4. Vermeiden Sie Iterrows nach Möglichkeit, da dies zu Leistungsengpässen führt.
5. Erstellen Sie neue Strukturen und verketten Sie sie, um zeilenweise Aktualisierungen leerer Datenrahmen zu vermeiden.

Das obige ist der detaillierte Inhalt vonWarum ist Pandas „iterrows' so langsam und wie kann ich die Leistung verbessern?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!