Python: Pandas로 효율적인 작업을 수행하는 방법

이 글에서는 어떤 방법으로 운영 효율성을 높일 수 있는지 알아보기 위해 Pandas의 운영 효율성에 대한 비교 테스트를 진행합니다.

테스트 환경은 다음과 같습니다:

• windows 7, 64-bit

• python 3.5

• pandas 0.19.2

• numpy 1.11.3

• jupyter 노트북

설명이 필요합니다. 예, 시스템, 컴퓨터 구성, 소프트웨어 환경이 다르면 작동 결과가 다를 수 있습니다. 동일한 컴퓨터라도 실행될 때마다 결과가 정확히 동일하지는 않습니다.

1 테스트 내용

테스트 내용은 a*a+b*b 세 가지 방법을 사용하여 간단한 연산 과정을 계산하는 것입니다.

세 가지 방법은 다음과 같습니다.

1. python의 for 루프

2. Pandas의 Series

3. Numpy의 ndarray

먼저 데이터의 크기, 즉 데이터의 행 수인 DataFrame을 구성합니다. DataFrame은 10, 100, 1000, ..., 10,000,000(천만)까지입니다.

그런 다음 jupyter 노트북에서 다음 코드를 사용하여 각각 테스트하여 다양한 메서드의 실행 시간을 확인하고 비교합니다.

import pandas as pdimport numpy as np# 100分别用 10，100，...，10,000,000来替换运行list_a = list(range(100))# 200分别用 20，200，...，20,000,000来替换运行list_b = list(range(100,200))
print(len(list_a))
print(len(list_b))

df = pd.DataFrame({'a':list_a, 'b':list_b})
print('数据维度为：{}'.format(df.shape))
print(len(df))
print(df.head())

100
100
数据维度为：(100, 2)
100
   a    b
0  0  100
1  1  101
2  2  102
3  3  103
4  4  104

• a*a + b*b 연산을 수행합니다.

• 방법 1: for 루프

%%timeit# 当DataFrame的行数大于等于1000000时，请用 %%time 命令for i in range(len(df)):
    df['a'][i]*df['a'][i]+df['b'][i]*df['b'][i]

100 loops, best of 3: 12.8 ms per loop

• 방법 2: Series

type(df['a'])

pandas.core.series.Series

%%timeit
df['a']*df['a']+df['b']*df['b']

The slowest run took 5.41 times longer than the fastest. This could mean that an intermediate result is being cached.
1000 loops, best of 3: 669 µs per loop

• 방법 3: ndarray

type(df['a'].values)

numpy.ndarray

%%timeit
df['a'].values*df['a'].values+df['b'].values*df['b'].values

10000 loops, best of 3: 34.2 µs per loop

2 테스트 결과

실행 결과는 다음과 같습니다.

실행 결과에서 볼 수 있듯이 for 루프는 분명히 Series 및 ndarray보다 훨씬 느리고 더 큽니다. 데이터의 양이 많을수록 그 차이는 더욱 분명해집니다. 데이터 양이 1천만 행에 도달하면 for 루프의 성능은 10,000배 이상 저하됩니다. 시리즈와 ndarray의 차이는 그리 크지 않습니다.

PS: 1천만 개의 행이 있는 경우 for 루프를 실행하는 데 매우 오랜 시간이 걸립니다. 테스트하려면 주의가 필요합니다. %%time 명령을 사용하세요(한 번만 테스트하세요).

다음 차트는 Series와 ndarray의 성능을 비교합니다.

위 그림에서 볼 수 있듯이 데이터가 100,000행 미만일 때는 ndarray가 Series보다 성능이 좋습니다. 데이터 행 수가 100만 행보다 큰 경우 Series는 ndarray보다 성능이 약간 더 좋습니다. 물론 둘 사이의 차이는 특별히 뚜렷하지 않습니다.

그래서 일반적인 상황에서는 가능하면 for 루프를 사용하는 것이 좋습니다. 숫자가 특별히 크지 않은 경우 ndarray(예: df['col'].values)를 사용하여 계산하는 것이 좋습니다. 운영 효율이 상대적으로 낮다고 합니다.

위 내용은 Python: Pandas로 효율적인 작업을 수행하는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!