ホームページ >バックエンド開発 >Python チュートリアル >pandasライブラリで導入されたDataFrameの基本操作
リスト白抜き文字を削除するには? 最も簡単な方法: new
_list = [ x for x in li if x != '' ]
このパートでは主に、前の 2 つのデータ構造に基づいて pandas の基本操作を学習します。
设有DataFrame结果的数据a如下所示: a b c one 4 1 1 two 6 2 0 three 6 1 61. データを表示します (
a=DataFrame(data);a の最初の xx 行または最後の xx 行を表示します。
head
(6) は、head() にパラメータがない場合、データの最初の 6 行を表示することを意味します。 a.tail(6) は、データの最後の 6 行を表示することを意味します。tail() にパラメータがない場合は、すべてのデータが表示されます。
a.index; a.columns; a.values のインデックス、列、値を表示します
3.describe()
a.describe () 個数、平均値、標準偏差、各分位数などを含む、データの各列の統計を実行します。 4. データを転置します
a.
5. 軸を並べ替えます
a.
_index(axis=1,ascending=False);
axis=1 は並べ替えall を意味します列、および次の数字もそれに応じて移動します。次の ascending=False は降順で並べ替えることを意味し、パラメータが欠落している場合のデフォルトは昇順です。
6. DataFrame 内の値を並べ替えます a.sort(columns='x')
2. オブジェクトを選択します
1. 特定の列と行のデータを選択します
行データを取得し、[] でスライスして選択します。例: a[0:3] は最初の 3 行のデータを返します。
2.loc はラベルを通じてデータを選択します
a.loc['one'] はデフォルトで
動作
a.loc[:,['a',' b'] ] は、列が a と b であるすべての行と列を選択することを意味します。
a.loc[['one','two'],['a','b']] は、'one' と'two' と列 a と b を持つ列 a.loc['one','a'] と a.loc[['one'],['a']] は同じ効果がありますが、前者は対応する値のみを表示し、後者は対応する行と列のラベルを表示します。
a.iloc[1:2,1:2] は、最初の行と最初の列 (スライスの後) にデータを表示します。値が取得できない)
a.iloc[1:2] つまり、後続の列の値が取得できない場合、デフォルトで行位置 1 のデータが選択されます;
a.iloc[[0, 2],[1 ,2]] つまり、行位置と列位置に対応するデータを自由に選択できます。
4. 条件を使用して選択します
個別の列を使用してデータを選択します
a[a.c>0] は、列 c で 0 より大きいデータを選択することを意味しますデータを選択する場所を使用しますa[a> ] テーブルは、a 内の 0 より大きいすべてのデータを直接選択します
isin() を使用して、特定の列に特定の値を含む行を選択します
copy
()
3. 設定値(割り当て)
上記の選択操作を元に、直接割り当て動作を割り当てることができます。 例 a.loc[:,['a','c']]=9 は、列 a と c のすべての行の値を 9 に設定しますa.iloc[:,[1,3]]= 9も a列とc列のすべての行の値を9に設定することを意味します
1.reindex() メソッド
は、指定された軸上の
index
a.reindex(index=['one','five'],columns=list(a.columns)+['d'])
即用index=[]表示对index进行操作,columns表对列进行操作。
2.对缺失值进行填充
a.fillna(value=x)
表示用值为x的数来对缺失值进行填充
3.去掉包含缺失值的行
a.dropna(how='any')
表示去掉所有包含缺失值的行
1.contact
contact(a1,axis=0/1,keys=['xx','xx','xx',...]),其中a1表示要进行进行连接的列表数据,axis=1时表横着对数据进行连接。axis=0或不指定时,表将数据竖着进行连接。a1中要连接的数据有几个则对应几个keys,设置keys是为了在数据连接以后区分每一个原始a1中的数据。
例:a1=[b['a'],b['c']]
result=pd.concat(a1,axis=1,keys=['1','2'])
2.Append 将一行或多行数据连接到一个DataFrame上
a.append(a[2:],ignore_index=True)
表示将a中的第三行以后的数据全部添加到a中,若不指定ignore_index参数,则会把添加的数据的index保留下来,若ignore_index=Ture则会对所有的行重新自动建立索引。
3.merge类似于SQL中的join
设a1,a2为两个dataframe,二者中存在相同的键值,两个对象连接的方式有下面几种:
(1)内连接,pd.merge(a1, a2, on='key')
(2)左连接,pd.merge(a1, a2, on='key', how='left')
(3)右连接,pd.merge(a1, a2, on='key', how='right')
(4)外连接, pd.merge(a1, a2, on='key', how='outer')
至于四者的具体差别,具体学习参考sql中相应的语法。
用pd.date_range函数生成连续指定天数的的日期
pd.date_range('20000101',periods=10)
def shuju(): data={ 'date':pd.date_range('20000101',periods=10), 'gender':np.random.randint(0,2,size=10), 'height':np.random.randint(40,50,size=10), 'weight':np.random.randint(150,180,size=10) } a=DataFrame(data) print(a) date gender height weight 0 2000-01-01 0 47 165 1 2000-01-02 0 46 179 2 2000-01-03 1 48 172 3 2000-01-04 0 45 173 4 2000-01-05 1 47 151 5 2000-01-06 0 45 172 6 2000-01-07 0 48 167 7 2000-01-08 0 45 157 8 2000-01-09 1 42 157 9 2000-01-10 1 42 164 用a.groupby('gender').sum()得到的结果为: #注意在python中groupby(''xx)后要加sum(),不然显示 不了数据对象。 gender height weight 0 256 989 1 170 643
此外用a.groupby('gender').size()可以对各个gender下的数目进行计数。
所以可以看到groupby的作用相当于:
按gender对gender进行分类,对应为数字的列会自动求和,而为字符串类型的列则不显示;当然也可以同时groupby(['x1','x2',...])多个字段,其作用与上面类似。
如六中要对a中的gender进行重新编码分类,将对应的0,1转化为male,female,过程如下:
a['gender1']=a['gender'].astype('category') a['gender1'].cat.categories=['male','female'] #即将0,1先转化为category类型再进行编码。 print(a)得到的结果为: date gender height weight gender1 0 2000-01-01 1 40 163 female 1 2000-01-02 0 44 177 male 2 2000-01-03 1 40 167 female 3 2000-01-04 0 41 161 male 4 2000-01-05 0 48 177 male 5 2000-01-06 1 46 179 female 6 2000-01-07 1 42 154 female 7 2000-01-08 1 43 170 female 8 2000-01-09 0 46 158 male 9 2000-01-10 1 44 168 female
所以可以看出重新编码后的编码会自动增加到dataframe最后作为一列。
描述性统计:
1.a.mean() 默认对每一列的数据求平均值;若加上参数a.mean(1)则对每一行求平均值;
2.统计某一列x中各个值出现的次数:a['x'].value_counts();
3.对数据应用函数
a.apply(lambda x:x.max()-x.min())
表示返回所有列中最大值-最小值的差。
4.字符串相关操作
a['gender1'].str.lower() 将gender1中所有的英文大写转化为小写,注意dataframe没有str属性,只有series有,所以要选取a中的gender1字段。
在六中用pd.date_range('xxxx',periods=xx,freq='D/M/Y....')函数生成连续指定天数的的日期列表。
例如pd.date_range('20000101',periods=10),其中periods表示持续频数;
pd.date_range('20000201','20000210',freq='D')也可以不指定频数,只指定起始日期。
此外如果不指定freq,则默认从起始日期开始,频率为day。其他频率表示如下:
在pycharm中首先要:import matplotlib.pyplot as plt a=Series(np.random.randn(1000),index=pd.date_range('20100101',periods=1000)) b=a.cumsum() b.plot() plt.show() #最后一定要加这个plt.show(),不然不会显示出图来。
也可以使用下面的代码来生成多条时间序列图:
a=DataFrame(np.random.randn(1000,4),index=pd.date_range('20100101',periods=1000),columns=list('ABCD')) b=a.cumsum() b.plot() plt.show()
写入和读取excel文件
虽然写入excel表时有两种写入xls和csv,但建议少使用csv,不然在表中调整数据格式时,保存时一直询问你是否保存新格式,很麻烦。而在读取数据时,如果指定了哪一张sheet,则在pycharm又会出现格式不对齐。
还有将数据写入表格中时,excel会自动给你在表格最前面增加一个字段,对数据行进行编号。
a.to_excel(r'C:\\Users\\guohuaiqi\\Desktop\\2.xls',sheet_name='Sheet1') a=pd.read_excel(r'C:\\Users\\guohuaiqi\\Desktop\\2.xls','Sheet1',na_values=['NA']) 注意sheet_name后面的Sheet1中的首字母大写;读取数据时,可以指定读取哪一张表中的数据,而 且对缺失值补上NA。 最后再附上写入和读取csv格式的代码: a.to_csv(r'C:\\Users\\guohuaiqi\\Desktop\\1.csv',sheet_name='Sheet1') a=pd.read_csv(r'C:\\Users\\guohuaiqi\\Desktop\\1.csv',na_values=['NA'])
以上がpandasライブラリで導入されたDataFrameの基本操作の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。