首頁  >  文章  >  後端開發  >  如何使用 Pyodbc 加速 MS SQL Server 的批次插入?

如何使用 Pyodbc 加速 MS SQL Server 的批次插入?

Linda Hamilton
Linda Hamilton原創
2024-11-02 16:21:02182瀏覽

How to Speed Up Bulk Inserts into MS SQL Server Using Pyodbc?

使用 Pyodbc 加速批次插入 MS SQL Server

批次插入操作可以顯著提高將大型資料集插入 Microsoft SQL Server 的效能。本文探討了優化此類插入的替代方法,解決問題中提供的程式碼所面臨的具體挑戰。

替代方法

  1. 快速執行許多(Pyodbc 4.0.19):Pyodbc (4.0.19) 的最新版本提供了Cursorfast_exeexecuteman功能,旨在加快多行插入的執行速度。透過將 crsr.fast_executemany 設為 True,與預設的executemany 方法相比,您可能會獲得顯著的效能提升。

    <code class="python"># Connect to the database and create a cursor with fast_executemany enabled
    cnxn = pyodbc.connect(conn_str, autocommit=True)
    crsr = cnxn.cursor()
    crsr.fast_executemany = True
    
    # Execute the bulk insert operation with parameters
    sql = "INSERT INTO table_name (column1, column2) VALUES (?, ?)"
    params = [(data1, data2) for (record_id, data1, data2) in data]
    crsr.executemany(sql, params)</code>
  2. 使用 Pandas DataFrame 進行迭代: ,您可以使用 Pandas 將 CSV 資料讀入 DataFrame 並利用其最佳化的 to_sql() 方法。這種方法簡化了資料插入並支援各種最佳化,例如分塊和類型轉換。

    <code class="python">import pandas as pd
    
    # Read CSV data into a DataFrame
    df = pd.read_csv(csv_file)
    
    # Establish a database connection
    engine = sqlalchemy.create_engine(conn_str)
    
    # Insert DataFrame into the database using `to_sql()`
    df.to_sql('table_name', con=engine, if_exists='append', index=False)</code>
  3. 批次複製介面(BCP):批次複製介面( BCP)是一個本機SQL Server 實用程序,允許在檔案和資料庫表之間進行高速資料傳輸。與標準 SQL INSERT 語句相比,BCP 具有多種效能優勢。

    bcp {table_name} in {csv_file} -S {server} -d {database} -E

效能比較

適合您的特定場景的最佳方法取決於資料大小、伺服器等因素配置和可用資源。一般來說,fast_executemany 比透過遊標迭代提供了顯著的效能改進,而 BCP 在批次插入場景中通常優於這兩種情況。

其他注意事項

  • 資料分析:確保您的資料格式和類型正確,以避免 SQL 轉換錯誤,從而減慢插入過程。
  • 伺服器硬體:驗證您的 SQL Server 執行個體是否有足夠的記憶體、CPU 和有效處理批次插入作業的儲存資源。
  • 檔案位置:對於 T-SQL BULK INSERT 指令,CSV 檔案必須位於同一伺服器或可存取的網路共用上。另一方面,Fast_executemany 和 Pandas to_sql() 在檔案位置方面更加靈活。

以上是如何使用 Pyodbc 加速 MS SQL Server 的批次插入?的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述:
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn