Detaillierte Erklärung von 16 Pandas-Funktionen, um Ihre Fähigkeit zur Datenbereinigung um das Hundertfache zu verbessern!

Einleitung zu diesem Artikel

Hatten Sie jemals das Gefühl, dass die Daten, die Sie haben, immer durcheinander sind?

Als Datenanalyst ist die Datenbereinigung ein wesentlicher Bestandteil. Da die Daten manchmal zu chaotisch sind, dauert die Verarbeitung oft sehr lange. Daher wird die Beherrschung weiterer Datenbereinigungsmethoden Ihre Fähigkeiten um das Hundertfache steigern.

Dieser Artikel basiert darauf, beschreibt die super einfach zu verwendende str-vektorisierte String-Funktion in Pandas Nachdem ich sie gelernt habe, habe ich sofort das Gefühl, dass sich meine Fähigkeit zur Datenbereinigung verbessert hat.

1 Datensatz, 16 Pandas-Funktionen

Der Datensatz wurde von Huang sorgfältig zusammengestellt, um jedem das Erlernen von Wissen zu erleichtern. Der Datensatz lautet wie folgt:

import pandas as pd

df ={'姓名':[' 黄同学','黄至尊','黄老邪 ','陈大美','孙尚香'],
     '英文名':['Huang tong_xue','huang zhi_zun','Huang Lao_xie','Chen Da_mei','sun shang_xiang'],
     '性别':['男','women','men','女','男'],
     '身份证':['463895200003128433','429475199912122345','420934199110102311','431085200005230122','420953199509082345'],
     '身高':['mid:175_good','low:165_bad','low:159_bad','high:180_verygood','low:172_bad'],
     '家庭住址':['湖北广水','河南信阳','广西桂林','湖北孝感','广东广州'],
     '电话号码':['13434813546','19748672895','16728613064','14561586431','19384683910'],
     '收入':['1.1万','8.5千','0.9万','6.5千','2.0万']}
df = pd.DataFrame(df)
df

Die Ergebnisse lauten wie folgt:

Bei Betrachtung der obigen Daten ist der Datensatz chaotisch. Als nächstes werden wir 16 Pandas verwenden, um die oben genannten Daten zu bereinigen.

① cat函数：用于字符串的拼接

df["姓名"].str.cat(df["家庭住址"],sep='-'*3)

结果如下：

② contains：判断某个字符串是否包含给定字符

df["家庭住址"].str.contains("广")

结果如下：

③ startswith/endswith：判断某个字符串是否以…开头/结尾

# 第一个行的“ 黄伟”是以空格开头的
df["姓名"].str.startswith("黄") 
df["英文名"].str.endswith("e")

结果如下：

④ count：计算给定字符在字符串中出现的次数

df["电话号码"].str.count("3")

结果如下：

⑤ get：获取指定位置的字符串

df["姓名"].str.get(-1)
df["身高"].str.split(":")
df["身高"].str.split(":").str.get(0)

结果如下：

⑥ len：计算字符串长度

df["性别"].str.len()

结果如下：

⑦ upper/lower：英文大小写转换

df["英文名"].str.upper()
df["英文名"].str.lower()

结果如下：

⑧ pad+side参数/center：在字符串的左边、右边或左右两边添加给定字符

df["家庭住址"].str.pad(10,fillchar="*")      # 相当于ljust()
df["家庭住址"].str.pad(10,side="right",fillchar="*")    # 相当于rjust()
df["家庭住址"].str.center(10,fillchar="*")

结果如下：

⑨ repeat：重复字符串几次

df["性别"].str.repeat(3)

结果如下：

⑩ slice_replace：使用给定的字符串，替换指定的位置的字符

df["电话号码"].str.slice_replace(4,8,"*"*4)

结果如下：

⑪ replace：将指定位置的字符，替换为给定的字符串

df["身高"].str.replace(":","-")

结果如下：

⑫ replace：将指定位置的字符，替换为给定的字符串(接受正则表达式)

• replace中传入正则表达式，才叫好用；
• 先不要管下面这个案例有没有用，你只需要知道，使用正则做数据清洗多好用；

df["收入"].str.replace("\d+\.\d+","正则")

结果如下：

⑬ split方法+expand参数：搭配join方法功能很强大

# 普通用法
df["身高"].str.split(":")
# split方法，搭配expand参数
df[["身高描述","final身高"]] = df["身高"].str.split(":",expand=True)
df
# split方法搭配join方法
df["身高"].str.split(":").str.join("?"*5)

结果如下：

⑭ strip/rstrip/lstrip：去除空白符、换行符

df["姓名"].str.len()
df["姓名"] = df["姓名"].str.strip()
df["姓名"].str.len()

结果如下：

⑮ findall：利用正则表达式，去字符串中匹配，返回查找结果的列表

• findall使用正则表达式，做数据清洗，真的很香！

df["身高"]
df["身高"].str.findall("[a-zA-Z]+")

结果如下：

⑯ extract/extractall：接受正则表达式，抽取匹配的字符串(一定要加上括号)

df["身高"].str.extract("([a-zA-Z]+)")
# extractall提取得到复合索引
df["身高"].str.extractall("([a-zA-Z]+)")
# extract搭配expand参数
df["身高"].str.extract("([a-zA-Z]+).*?([a-zA-Z]+)",expand=True)

结果如下：

Das obige ist der detaillierte Inhalt vonDetaillierte Erklärung von 16 Pandas-Funktionen, um Ihre Fähigkeit zur Datenbereinigung um das Hundertfache zu verbessern!. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!