데이터 처리 도구: Pandas로 Excel 파일을 읽는 효율적인 기술

데이터 처리의 대중성이 높아짐에 따라 데이터를 효율적으로 사용하고 데이터를 스스로 활용하는 방법에 대해 점점 더 많은 사람들이 관심을 갖고 있습니다. 일일 데이터 처리에서 Excel 테이블은 의심할 여지 없이 가장 일반적인 데이터 형식입니다. 그러나 많은 양의 데이터를 처리해야 하는 경우 Excel을 수동으로 조작하는 것은 분명히 시간이 많이 걸리고 힘든 일이 될 것입니다. 따라서 이 기사에서는 효율적인 데이터 처리 도구인 팬더(Pandas)를 소개하고 이 도구를 사용하여 Excel 파일을 빠르게 읽고 데이터 처리를 수행하는 방법을 소개합니다.

1. pandas 소개

pandas는 광범위한 데이터 읽기, 데이터 처리 및 데이터 분석 기능을 제공하는 강력한 Python 데이터 분석 도구입니다. 팬더의 주요 데이터 구조는 DataFrame과 Series로, Excel, CSV 등 일반적인 형식의 파일을 직접 읽고 다양한 데이터 처리 작업을 수행할 수 있습니다. 따라서 pandas는 데이터 처리 분야에서 널리 사용되며 Python 데이터 분석을 위한 주류 도구 중 하나로 알려져 있습니다.

2. Pandas에서 Excel 파일을 읽는 기본 방법

Pandas에서 Excel 파일을 읽는 주요 기능은 Excel 테이블의 데이터를 읽어서 DataFrame 개체로 변환할 수 있는 read_excel입니다. 코드는 다음과 같습니다.

import pandas as pd
data = pd.read_excel('test.xlsx', sheet_name='Sheet1')

위 코드에서 test.xlsx는 읽을 엑셀 파일 이름이고, Sheet1은 읽을 시트 이름입니다. 이러한 방식으로 데이터는 Excel 테이블의 데이터를 포함하는 DataFrame 개체입니다.

3. 판다로 엑셀 파일을 읽는 효율적인 기술

판다의 기본 읽기 방식은 엑셀을 수동으로 조작하는 것에 비해 시간을 많이 절약해 주지만, 대용량 데이터를 처리할 때는 엑셀을 읽는 과정을 더욱 최적화할 수 있습니다. 파일.

1. Skiprows 및 nrows 매개변수 사용

Skiprows 및 nrows 매개변수를 사용하여 테이블의 행을 건너뛰고 지정된 수의 행을 읽을 수 있습니다. 예를 들어, 다음 코드는 테이블의 2행부터 1001행까지 데이터를 읽을 수 있습니다.

data = pd.read_excel('test.xlsx', sheet_name='Sheet1', skiprows=1, nrows=1000)

이런 방식으로 데이터의 일부만 읽을 수 있으므로 읽는 시간과 메모리 소비가 절약됩니다.

2. usecols 매개변수 사용

테이블에 특정 데이터 열만 필요한 경우 usecols 매개변수를 사용하여 지정된 열만 읽을 수 있습니다. 예를 들어 다음 코드는 테이블의 A 열과 B 열만 읽습니다.

data = pd.read_excel('test.xlsx', sheet_name='Sheet1', usecols=['A', 'B'])

이렇게 하면 처리해야 하는 데이터 열에만 집중하고 불필요한 데이터를 읽지 않을 수 있습니다.

3. 청크 크기 및 반복 매개변수 사용

Excel 파일 읽기가 큰 경우 청크 크기 및 반복 매개변수를 사용하여 데이터를 블록 단위로 읽을 수 있습니다. 예를 들어 다음 코드는 한 번에 1,000행의 데이터를 읽을 수 있습니다.

for i in pd.read_excel('test.xlsx', sheet_name='Sheet1', chunksize=1000):
    # 处理代码

이런 방식으로 데이터를 블록 단위로 읽고 일괄 처리하여 데이터 처리 효율성을 높일 수 있습니다.

4. 전체 예제

다음은 팬더가 Excel 파일을 읽는 전체 예제 코드입니다. 이 코드는 test.xlsx에서 Sheet1의 모든 데이터를 읽은 다음 A열과 B열의 합을 계산하여 결과를 출력합니다. :

import pandas as pd
data = pd.read_excel('test.xlsx', sheet_name='Sheet1')
result = pd.DataFrame([{'sum_A': data['A'].sum(), 'sum_B': data['B'].sum()}])
result.to_excel('result.xlsx', index=False)

위 코드에서는 먼저 전체 test.xlsx 파일의 Sheet1을 읽은 다음 sum 함수를 사용하여 A열과 B열의 합을 계산하고 그 결과를 DataFrame 객체에 저장했습니다. 마지막으로 결과를 새 Excel 파일 result.xlsx에 기록합니다. 여기에는 데이터 행이 하나만 포함되어 있습니다. 첫 번째 열은 A열의 합계이고 두 번째 열은 B열의 합계입니다.

요약

위의 소개를 통해 팬더를 사용하여 Excel 파일을 읽을 때 데이터 처리 효율성이 크게 향상될 수 있으며, 제공되는 다양한 고급 매개변수 및 방법의 도움으로 데이터 읽기 및 처리 프로세스가 더욱 최적화될 수 있음을 알 수 있습니다. 팬더로. 따라서 데이터 분석 및 처리 분야에서 팬더를 사용하는 것은 매우 효율적이고 실용적인 도구입니다.

위 내용은 데이터 처리 도구: Pandas로 Excel 파일을 읽는 효율적인 기술의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!