首頁  >  文章  >  後端開發  >  再見! Python 循環,向量化已超神

再見! Python 循環,向量化已超神

WBOY
WBOY轉載
2023-04-14 14:49:031130瀏覽

我們在幾乎所有的程式語言中都學習過循環。所以,預設情況下,只要有重複性的操作,我們就會開始實作循環。但是當我們處理大量的迭代(數百萬/數十億行)時,使用循環真是遭罪啊~,你可能會被卡住幾個小時,後來才意識到這是行不通的。這就是在Python中實現向量化變得超級關鍵的地方。

什麼是向量化?

向量化是在資料集上實現(NumPy)數組操作的技術。在後台,它對數組或系列的所有元素一次進行操作(不像'for'循環那樣一次操作一行)。

在這篇部落格中,我們將看看一些用例,在這些用例中,我們可以輕鬆地用向量化來取代Python迴圈。這將幫助你節省時間,並在編碼方面變得更加熟練。

使用案例1:尋找數字的總和

首先,我們來看看一個基本的例子,即在Python中使用循環和向量來尋找數字的總和。

使用循環

import time 
start = time.time()

# 遍历之和
total = 0
# 遍历150万个数字
for item in range(0, 1500000):
total = total + item

print('sum is:' + str(total))
end = time.time()

print(end - start)

#1124999250000
#0.14 Seconds

使用向量化

import numpy as np

start = time.time()

# 向量化和--使用numpy进行向量化
# np.range创建从0到1499999的数字序列
print(np.sum(np.arange(1500000)))

end = time.time()
print(end - start)

##1124999250000
##0.008 Seconds

與使用範圍函數的迭代相比,向量化的執行時間約18倍。在使用Pandas DataFrame時,這種差異將變得更加明顯。

使用案例2:DataFrame數學運算

在資料科學中,當使用Pandas DataFrame時,開發者會使用迴圈來建立新的數學運算的衍生列。

在下面的例子中,我們可以看到,在這樣的用例中,循環可以很容易地被向量化所取代。

建立DataFrame

DataFrame是以行和列的形式存在的表格資料。

我們正在建立一個有500萬行和4列的pandas DataFrame,其中充滿了0到50之間的隨機值。

import numpy as np
import pandas as pd
df = pd.DataFrame(np.random.randint(0, 50, 
size=(5000000, 4)),
columns=('a','b','c','d'))
df.shape
# (5000000, 5)
df.head()

再見! Python 循環,向量化已超神

我們將建立一個新的列'ratio',以找到列'd'和'c'的比率。

使用循環

import time 
start = time.time()

# Iterating through DataFrame using iterrows
for idx, row in df.iterrows():
# creating a new column 
df.at[idx,'ratio'] = 100 * (row["d"] / row["c"])
end = time.time()
print(end - start)
### 109 Seconds

使用向量化

start = time.time()
df["ratio"] = 100 * (df["d"] / df["c"])

end = time.time()
print(end - start)
### 0.12 seconds

我們可以看到DataFrame有了明顯的改進,與python中的循環相比,向量化幾乎快了1000倍。

使用案例3:DataFrame上If-else語句

我們實作了許多需要我們使用 "if-else" 類型邏輯的運算。我們可以很容易地用python中的向量化操作來取代這些邏輯。

看一下下面的範例來更好地理解它(我們將使用在用例2中建立的DataFrame)。

想像一下,如何根據退出的列'a'的一些條件來建立一個新的列'e'。

使用迴圈

import time 
start = time.time()

# Iterating through DataFrame using iterrows
for idx, row in df.iterrows():
if row.a == 0:
df.at[idx,'e'] = row.d
elif (row.a <= 25) & (row.a > 0):
df.at[idx,'e'] = (row.b)-(row.c)
else:
df.at[idx,'e'] = row.b + row.c

end = time.time()

print(end - start)
### Time taken: 177 seconds

使用向量化

start = time.time()
df['e'] = df['b'] + df['c']
df.loc[df['a'] <= 25, 'e'] = df['b'] -df['c']
df.loc[df['a']==0, 'e'] = df['d']end = time.time()
print(end - start)
## 0.28007707595825195 sec

與帶有if-else語句的python迴圈相比,向量化操作比循環快600倍。

使用案例4:解決機器學習/深度學習網路

深度學習要求我們解決多個複雜的方程,而且是針對數百萬和數十億行的方程。在Python中運行循環來解決這些方程式是非常慢的,此時,向量化是最佳的解決方案。

例如,要計算以下多線性迴歸方程式中數百萬行的y值。

再見! Python 循環,向量化已超神

我們可以用向量化取代迴圈。

m1,m2,m3...的值是透過使用對應於x1,x2,x3...的數百萬個值來解決上述方程式而確定的(為了簡單起見,只看一個簡單的乘法步驟)

創建資料

>>> import numpy as np
>>> # 设置 m 的初始值 
>>> m = np.random.rand(1,5)
array([[0.49976103, 0.33991827, 0.60596021, 0.78518515, 0.5540753]])
>>> # 500万行的输入值
>>> x = np.random.rand(5000000,5)

再見! Python 循環,向量化已超神

#使用循環

##
import numpy as np
m = np.random.rand(1,5)
x = np.random.rand(5000000,5)

total = 0
tic = time.process_time()

for i in range(0,5000000):
total = 0
for j in range(0,5):
total = total + x[i][j]*m[0][j] 

zer[i] = total 

toc = time.process_time()
print ("Computation time = " + str((toc - tic)) + "seconds")

####Computation time = 28.228 seconds

再見! Python 循環,向量化已超神

####################################使用向量化###############
tic = time.process_time()

#dot product 
np.dot(x,m.T) 

toc = time.process_time()
print ("Computation time = " + str((toc - tic)) + "seconds")

####Computation time = 0.107 seconds
######np.dot在後端實現了向量的矩陣乘法。與python中的循環相比,它的速度提高了165倍。 ######寫在最後######Python中的向量化是非常快速的,當在處理非常大的資料集時,建議你應該優先考慮向量化而不是迴圈。這樣,隨著時間的推移,你會逐漸習慣按照向量化的思路來寫程式碼。 ###

以上是再見! Python 循環,向量化已超神的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述:
本文轉載於:51cto.com。如有侵權,請聯絡admin@php.cn刪除