python - Comment puis-je optimiser la vitesse de read_sql de Pandas?
Mes besoins nécessitent une requête de données et une corrélation entre plusieurs bases de données, j'ai donc choisi d'utiliser des pandas, de lire les données via read_sql dans le dataframe et de générer directement les données cibles. Mais nous rencontrons actuellement un problème : read_sql est très lent. Par exemple, il faut 4 minutes et demie pour lire une table de volume de données de 37 W (22 champs) dans une dataframe de la bibliothèque Oracle. Le code est le suivant :
import pandas as pd
import sqlalchemy as sql
ora_engine=sql.create_engine('oracle://test01:test01@test01db')
ora_df1=pd.read_sql('select * from target_table1',ora_engine)A pris 4 minutes et 32 secondes
Même si j'utilise une autre méthode simple et grossière, elle sera beaucoup plus rapide que read_sql. Le code est le suivant :
import pandas as pd
import sqlalchemy as sql
ora_engine=sql.create_engine('oracle://test01:test01@test01db')
conn=ora_engine.raw_connection()
cursor=conn.cursor()
queryset=cursor.execute('select * from target_table1')
columns=[for i[0] in queryset.description]
df_data=queryset.fetchall()
ora_df1=pd.DataFrame()
ora_df1.columns=columns
ora_df1.append(df_data)
Cela a pris 1 minute et 31 secondes
Je voudrais demander à tout le monde ici s'il existe un moyen d'optimiser la vitesse de read_sql dans les pandas. Merci beaucoup~
.