executemany如何優化Python中MySQL字典清單的插入？

利用executemany 在Python 中高效插入MySQL 字典清單

資料抓取通常涉及從表中提取資訊並儲存在資料庫中。雖然傳統方法有效，但如果不進行最佳化，它可能會變得低效，甚至可能導致資料庫崩潰。

考慮以下嘗試將字典清單中的資料插入 MySQL 資料庫的程式碼：

itemBank = []
for row in rows:
    itemBank.append((tempRow2, tempRow1, tempRow3, tempRow4))

# itemBank contains dictionaries representing data from each table row
for item in itemBank:
    tempDict1 = item[0]
    tempDict2 = item[1]
    tempDict3 = item[2]
    tempDict4 = item[3]

    q = """ INSERT IGNORE INTO
         TABLE1   
        (
           Item_Name,
           Item_Price,
           Item_In_Stock,
           Item_Max,
           Observation_Date
         ) VALUES (
           "{0}",
           "{1}",
           "{2}",
           "{3}",
           "{4}"
           )
        """.format(tempDict1['Item_Name'], tempDict2['Item_Price'], tempDict3['Item_In_Stock'],
                   tempDict4['Item_Max'], getTimeExtra)

    try:
        x.execute(q)
        conn.commit()
    except:
        conn.rollback()

這裡的問題在於為 itemBank 中的每個字典手動建立和執行單獨的查詢。這種方法很麻煩，而且容易出錯。

利用executemany

解決這種低效率問題的方法是利用executemany方法，它允許您執行多個相同的查詢使用參數列表的次數。

itemBank = []
for row in rows:
    itemBank.append((
        tempRow2['Item_Name'],
        tempRow1['Item_Price'],
        tempRow3['Item_In_Stock'],
        tempRow4['Item_Max'],
        getTimeExtra
    )) #append data


q = """ insert ignore into TABLE1 (
        Item_Name, Item_Price, Item_In_Stock, Item_Max, Observation_Date ) 
        values (%s,%s,%s,%s,%s)           
    """

try:
    x.executemany(q, itemBank)
    conn.commit()
except:
    conn.rollback()

在這段修改後的程式碼中，我們迭代行，從字典中提取值並建立一個元組列表以傳遞給executemany。查詢本身保持不變，但我們現在使用佔位符 %s 來表示值。

使用executemany 可以大大提高效率，因為它一次發送所有數據，減少了資料庫互動次數並將風險降至最低死鎖。

以上是executemany如何優化Python中MySQL字典清單的插入？的詳細內容。更多資訊請關注PHP中文網其他相關文章！