데이터 과학자들이 Python을 사용할 때 저지르는 9가지 일반적인 실수

모범 사례는 실수에서 나옵니다. 따라서 여기에서는 우리가 직면하는 가장 일반적인 실수 중 일부를 요약하고 이를 가장 잘 해결하는 방법에 대한 방법, 아이디어 및 리소스를 제공했습니다.

1. 가상 환경을 사용하지 않음

이는 코딩 자체의 문제는 아니지만, 프로젝트 유형별로 환경을 격리하는 것은 여전히 ​​매우 좋은 습관이라고 생각합니다.

각 프로젝트마다 전용 환경을 사용하는 이유는 무엇인가요?

첫 번째 이유는 Python 자체 패키지 관리의 문제입니다. 패키지와 버전 간의 충돌을 최소화하고 싶습니다.

또 다른 이유는 우리의 코드와 종속성을 어느 위치에나 쉽게 배포할 수 있다는 것입니다.

가상 환경 사용은 Anaconda 또는 Pipenv에서 시작할 수 있습니다. 더 깊이 들어가고 싶다면 Docker가 첫 번째 선택입니다.

2. Jupyter 노트북의 남용

노트북은 교육 목적과 빠르고 복잡한 분석 작업에 적합하지만 좋은 IDE 역할을 하지는 않습니다.

좋은 IDE는 데이터 과학 작업을 처리할 때 진정한 무기이며 작업 효율성을 크게 향상시킬 수 있습니다.

노트북은 실험을 하고 결과를 다른 사람에게 쉽게 보여줄 수 있는 훌륭한 도구입니다. 그러나 오류가 발생하기 쉬우므로 장기적이고 협업적이며 배포 가능한 프로젝트를 실행하는 경우 VScode, Pycharm, Spyder 등과 같은 IDE를 사용하는 것이 더 좋습니다.

3. 상대 경로 대신 절대 경로를 사용하세요

절대 경로의 가장 큰 문제는 배포가 편리하지 않다는 것입니다. 이 문제를 해결하는 주요 방법은 작업 디렉터리를 프로젝트 루트 디렉터리로 설정하고 외부에 파일을 포함하지 않는 것입니다. 프로젝트의 프로젝트 디렉터리를 사용하고 코드의 모든 경로에 상대 경로를 사용합니다.

import pandas as pd
 import numpy as np
 import os
 #### 错误的方式 #####
 excel_path1 = "C:\Users\abdelilah\Desktop\mysheet1.xlsx"
 excel_path2 = "C:\Users\abdelilah\Desktop\mysheet2.xlsx"
 mydf1 = pd.read_excel(excel_path1)
 mydf2 = pd.read_excel(excel_path2)
 
 #### 正确的方式 ####
 DATA_DIR = "data"
 #将要读取的文件复制到data目录
 crime06_filename = "CrimeOneYearofData_2006.xlsx"
 crime07_filename = "CrimeOneYearofData_2007.xlsx"
 crime06_df = pd.read_excel(os.path.join(DATA_DIR, crime06_filename))
 crime07_df = pd.read_excel(os.path.join(DATA_DIR, crime07_filename))

4. 경고를 처리하지 않음

코드가 실행되지만 이상한 경고 메시지가 생성되면 마침내 코드가 실행되고 의미 있는 출력을 받게 되어 기쁩니다. 하지만 우리는 이러한 경고를 처리해야 합니까?

우선 경고 자체는 오류가 아니지만 잠재적인 오류나 문제를 경고하는 팁입니다. 코드의 어떤 항목이 성공적으로 작동하지만 의도한 대로 작동하지 않을 경우 경고가 나타납니다.

내가 접하는 가장 일반적인 경고는 Pandas의 "SettingwithCopyWarning" 및 "DeprecationWarning"입니다.

SetwithCopyWarning의 가장 큰 이유는 Pandas가 체인 할당(Chained Assignment)을 감지할 때 발생하는 경고입니다. 이 작업은 경고를 보고할 수도 있고 보고하지 않을 수도 있으므로 체인 인덱스의 결과에 값을 할당하지 않아야 합니다.

DeprecationWarning은 일반적으로 Pandas가 일부 기능을 더 이상 사용하지 않으며 이후 버전을 사용할 때 코드가 중단된다는 것을 나타냅니다.

여기서 말하는 조언은 모든 경고를 처리하라는 것이 아니라 모든 경고의 이유를 이해해야 한다는 것입니다. 특정 프로젝트에서 어떤 경고가 발생하면 결과에 영향을 미칠지 알아야 합니다. 피해야합니다.

5. 리스트 컴프리헨션은 사용되지 않습니다(거의 사용되지 않음)

리스트 컴프리헨션은 파이썬의 매우 강력한 기능입니다. 많은 for 루프는 더 읽기 쉽고, 더 Python적이고 더 빠른 목록 이해로 대체될 수 있습니다.

디렉터리의 CSV 파일을 읽도록 설계된 샘플 코드를 아래에서 볼 수 있습니다. 보시다시피 Tim은 목록 이해를 사용할 때 유지 관리가 쉽습니다.

import pandas as pd
 import os
 
 DATA_PATH = "data"
 filename_list = os.listdir(DATA_PATH)
 
 #### 不好的方法 #####
 csv_list = []
 for fileaname in filename_list:
csv_list.append(pd.read_csv(os.path.join(DATA_PATH, filename)))
 
 #### 建议 ####
 csv_list = [pd.read_csv(os.path.join(DATA_PATH, filename)) for filename in filename_list]
 list comprehensions
 csv_list = [pd.read_csv(os.path.join(DATA_PATH,
filename)) for filename in filename_list if
filename.endswith(".csv")]

6. 유형 주석을 사용하지 마세요

유형 주석(또는 유형 힌트)은 유형을 변수에 할당하는 방법입니다. IDE가 IntelliSense를 요청하면 표시기 변수/매개 변수의 유형을 제공할 수 있습니다. 이는 개발 속도를 향상시킬 수 있을 뿐만 아니라 코드를 읽는 데에도 많은 도움이 됩니다

def mystery_combine(a, b, times):
return (a + b) * times

이렇게 작성하면 a, b, 시간의 유형을 전혀 알 수 없게 됩니다

def mystery_combine(a: str, b: str, times: int) -> str:
return (a + b) * times

하지만 유형 주석을 사용하면 a와 b가 문자열이고 시간이 정수라는 것을 알 수 있습니다

파이썬은 버전 3.5에서 유형 주석을 도입했다는 점에 유의해야 합니다. Python은 실행 중에 유형 주석을 확인하지 않습니다. 잠재적인 오류를 피하기 위해 동적 언어에 대한 정적 유형 검사를 수행하는 도구입니다.

7. Pandas 코드는 표준화되어 있지 않습니다.

메서드 체이닝은 Pandas의 훌륭한 기능이지만 한 줄에 많은 작업이 포함되면 코드를 읽을 수 없게 될 수 있습니다.

이 접근 방식을 더욱 쉽게 만드는 방법이 있습니다. 표현식을 괄호 안에 넣으면 표현식의 각 구성 요소에 대해 한 줄을 사용할 수 있습니다.

var_list = ["clicks", "time_spent"]
 var_list_Q = [varname + "_Q" for varname in var_list]
 
 #不可读的方法
 df_Q = df.groupby("id").rolling(window=3, min_periods=1, on="yearmonth[var_list].mean().reset_index().rename(columns=dict(zip(var_list, var_list_Q)))
 
 #可读性强的方法
 df_Q = (
df
.groupby("id")
.rolling(window=3, min_periods=1, on="yearmonth")[var_list]
.mean()
.reset_index()
.rename(columns=dict(zip(var_list, var_list_Q))))

8. PEP 규칙을 준수하지 않음

처음 Python으로 프로그래밍을 시작했을 때 코드를 더 보기 좋게 만드는 자체 설계 규칙이 없었기 때문에 코드가 조잡하고 읽을 수 없을 수 있었습니다. 이러한 규칙을 직접 설계하는 것은 힘들고 힘든 일이며 많은 연습이 필요합니다. 다행스럽게도 Python에서는 공식적으로 Python의 공식 스타일 가이드인 PEP라는 규칙을 지정했습니다.

PEP 규칙은 많고 번거롭지만 일부 PEP 규칙은 무시할 수 있지만 코드의 90%에서 사용할 수 있습니다.

9. 코딩 도구를 사용하지 않습니다

코딩 생산성을 크게 향상시키고 싶나요? 영리한 자동 완성, 문서 열기, 코드 개선을 위한 제안 제공에 도움이 되는 Coding Assist를 사용해 보세요.

파이랜스, 카이트, 타나인, 코파일럿 모두 아주 좋은 선택입니다.

위 내용은 데이터 과학자들이 Python을 사용할 때 저지르는 9가지 일반적인 실수의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!