Hebat, Python menyedari visualisasi data trafik!

1. Pengenalan kepada TransBigData

TransBigData memproses data besar spatio-temporal trafik biasa (seperti data GPS teksi, basikal kongsi data dan data GPS bas, dsb.) menyediakan kaedah yang cepat dan ringkas. TransBigData menyediakan pelbagai kaedah pemprosesan untuk setiap peringkat analisis data besar spatio-temporal Kod ini ringkas, cekap, fleksibel dan mudah untuk digunakan dengan kod yang ringkas.

Pada masa ini, TransBigData terutamanya menyediakan kaedah berikut:

• Prapemprosesan data: Menyediakan kaedah untuk mengira maklumat asas dengan cepat seperti volum data, tempoh masa, selang pensampelan, dll. untuk set data . Ia juga menyasarkan berbilang Bunyi data jenis ini menyediakan kaedah pembersihan yang sepadan.
• Rasterisasi data: Menyediakan sistem kaedah untuk menjana dan memadankan berbilang jenis raster geografi (raster segi empat tepat, segi tiga, heksagon dan geohash) dalam kawasan kajian, yang boleh divektorkan dengan cepat Algoritma memetakan data titik spatial ke raster geografi.
• Visualisasi data: Berdasarkan pakej visualisasi keplergl, data boleh dipaparkan secara interaktif dan visual pada Jupyter Notebook dengan kod mudah.
• Pemprosesan trajektori: Hasilkan jenis garisan trajektori daripada titik GPS data trajektori, titik trajektori padat dan jarang, dsb.
• Peta asas peta, penukaran koordinat dan pengiraan: Muatkan dan paparkan penukaran koordinat antara peta asas peta dan pelbagai sistem koordinat khas.
• Kaedah pemprosesan khusus: Menyediakan kaedah pemprosesan yang sepadan untuk pelbagai jenis data khusus, seperti mengekstrak titik permulaan dan penamat pesanan daripada data GPS teksi, mengenal pasti tempat tinggal dan tempat kerja daripada data isyarat telefon mudah alih dan data GIS rangkaian kereta bawah tanah Bina topologi rangkaian dan kira laluan terpendek, dsb.

TransBigData boleh dipasang melalui pip atau conda Jalankan kod berikut dalam command prompt untuk memasang:

pip install -U transbigdata

Setelah pemasangan selesai, jalankan kod berikut dalam Python. Import pakej TransBigData.

import transbigdata as tbd

2. Prapemprosesan data

TransBigData boleh disambungkan dengan lancar dengan pakej Pandas dan GeoPandas yang biasa digunakan dalam pemprosesan data. Mula-mula kami memperkenalkan pakej Pandas dan membaca data GPS teksi:

import pandas as pd
# 读取数据
data = pd.read_csv('TaxiData-Sample.csv',header = None)
data.columns = ['VehicleNum','time','lon','lat','OpenStatus','Speed']
data.head()

Hasilnya ditunjukkan dalam Rajah 2:

▲Rajah 2 GPS Teksi Data

Kemudian, perkenalkan pakej GeoPandas, baca maklumat serantau skop penyelidikan dan paparan:

import geopandas as gpd
# 读取研究范围区域信息
sz = gpd.read_file(r'sz/sz.shp')
sz.plot()

Hasilnya ditunjukkan dalam Rajah 3:

▲Rajah 3 Maklumat serantau skop kajian

Pakej TransBigData menyepadukan beberapa kaedah prapemprosesan biasa untuk data spatio-temporal trafik. Antaranya, kaedah tbd.clean_outofshape memasukkan data dan maklumat kawasan skop penyelidikan, dan boleh menghapuskan data di luar skop penyelidikan. Kaedah tbd.clean_taxi_status boleh menghapuskan rekod perubahan serta-merta dalam status penumpang dalam data GPS teksi. Apabila menggunakan kaedah prapemprosesan, anda perlu menghantar nama lajur yang sepadan dengan lajur maklumat penting dalam jadual data Kod adalah seperti berikut:

# 数据预处理
#剔除研究范围外的数据，计算原理是在方法中先栅格化后栅格匹配研究范围后实现对应。因此这里需要同时定义栅格大小，越小则精度越高
data = tbd.clean_outofshape(data, sz, col=['lon', 'lat'], accuracy=500)
# 剔除出租车数据中载客状态瞬间变化的数据
data = tbd.clean_taxi_status(data, col=['VehicleNum', 'time', 'OpenStatus'])

Selepas memproses perkara di atas. kod, kami telah pun menyewa Data di luar skop penyelidikan dan data tentang perubahan serta-merta dalam status penumpang dihapuskan daripada data GPS kenderaan.

3. Rasterisasi data

Borang raster (grid dengan saiz yang sama dalam ruang geografi) ialah kaedah paling asas untuk menyatakan pengedaran data Selepas data GPS diraster, setiap titik Data mengandungi maklumat tentang raster di mana ia berada. Apabila raster digunakan untuk menyatakan pengedaran data, pengedaran yang diwakilinya adalah hampir dengan situasi sebenar.

Alat TransBigData menyediakan kami sistem pemprosesan raster yang lengkap, pantas dan mudah. Apabila menggunakan TransBigData untuk pembahagian raster, anda perlu terlebih dahulu menentukan parameter rasterisasi (yang boleh difahami sebagai mentakrifkan sistem koordinat raster Parameter boleh membantu kami meraster dengan cepat:

# 定义研究范围边界
bounds = [113.75, 22.4,114.62, 22.86]
# 通过边界获取栅格化参数
params = tbd.area_to_params(bounds,accuracy = 1000)
params

Output:

{'slon': 113.75,
'slat': 22.4,
'deltalon': 0.00974336289289822,
'deltalat': 0.008993210412845813,
'theta': 0,
'method': 'rect',
'gridsize': 1000}

Kandungan output param parameter rasterisasi pada masa ini menyimpan koordinat asal sistem koordinat raster (slon, slat), raster tunggal Panjang dan lebar latitud dan longitud (deltalon, deltalat), sudut putaran grid (theta), bentuk grid (parameter kaedah, nilai boleh segi empat tepat, segitiga tri dan heksagon heksa) dan saiz grid (parameter saiz grid, unit ialah meter).

Selepas mendapatkan parameter rasterisasi, kami boleh menggunakan kaedah yang disediakan dalam TransBigData untuk melaksanakan operasi seperti pemadanan raster dan penjanaan pada data GPS.

Sistem kaedah pemprosesan raster yang lengkap ditunjukkan dalam Rajah 4:

▲Rajah 4 Sistem pemprosesan raster yang disediakan oleh TransBigData

Gunakan kaedah tbd.GPS_to_grid untuk menjana mata GPS bagi setiap teksi Kaedah ini akan menjana lajur nombor LONCOL dan LATCOL, yang bersama-sama menentukan grid:

.

# 将GPS数据对应至栅格，将生成的栅格编号列赋值到数据表上作为新的两列
data['LONCOL'],data['LATCOL']= tbd.GPS_to_grids(data['lon'],data['lat'],params)

下一步，聚合集计每一栅格内的数据量，并为栅格生成地理几何图形，构建GeoDataFrame：

# 聚合集计栅格内数据量
grid_agg=data.groupby(['LONCOL','LATCOL'])['VehicleNum'].count().reset_index()
# 生成栅格的几何图形
grid_agg['geometry']=tbd.grid_to_polygon([grid_agg['LONCOL'],grid_agg['LATCOL']],params)
# 转换为GeoDataFrame
grid_agg=gpd.GeoDataFrame(grid_agg)
# 绘制栅格
grid_agg.plot(column = 'VehicleNum',cmap = 'autumn_r')

结果如图5所示：

▲图5 数据栅格化的结果

对于一个正式的数据可视化图来说，我们还需要添加底图、色条、指北针和比例尺。TransBigData也提供了相应的功能，代码如下：

import matplotlib.pyplot as plt
fig =plt.figure(1,(8,8),dpi=300)
ax =plt.subplot(111)
plt.sca(ax)
# 添加行政区划边界作为底图
sz.plot(ax=ax,edgecolor=(0,0,0,0),facecolor=(0,0,0,0.1),linewidths=0.5)
# 定义色条位置
cax = plt.axes([0.04, 0.33, 0.02, 0.3])
plt.title('Data count')
plt.sca(ax)
# 绘制数据
grid_agg.plot(column = 'VehicleNum',cmap = 'autumn_r',ax = ax,cax = cax,legend = True)
# 添加指北针和比例尺
tbd.plotscale(ax,bounds = bounds,textsize = 10,compasssize = 1,accuracy = 2000,rect = [0.06,0.03],zorder = 10)
plt.axis('off')
plt.xlim(bounds[0],bounds[2])
plt.ylim(bounds[1],bounds[3])
plt.show()

结果如图6所示：

▲图6 tbd包绘制的出租车GPS数据分布

4、订单起讫点OD提取与聚合集计

针对出租车GPS数据，TransBigData提供了直接从数据中提取出出租车订单起讫点（OD）信息的方法，代码如下：

# 从GPS数据提取OD
oddat=tbd.taxigps_to_od(data,col=['VehicleNum','time','Lng','Lat','OpenStatus'])
oddata

结果如图7所示：

▲图7 tbd包提取的出租车OD

TransBigData包提供的栅格化方法可以让我们快速地进行栅格化定义，只需要修改accuracy参数，即可快速定义不同大小粒度的栅格。我们重新定义一个2km*2km的栅格坐标系，将其参数传入tbd.odagg_grid方法对OD进行栅格化聚合集计并生成GeoDataFrame：

# 重新定义栅格，获取栅格化参数
params=tbd.area_to_params(bounds,accuracy = 2000)
# 栅格化OD并集计
od_gdf=tbd.odagg_grid(oddata,params)
od_gdf.plot(column = 'count')

结果如图8所示：

▲图8 tbd集计的栅格OD

添加地图底图，色条与比例尺指北针：

# 创建图框
import matplotlib.pyplot as plt
fig =plt.figure(1,(8,8),dpi=300)
ax =plt.subplot(111)
plt.sca(ax)
# 添加行政区划边界作为底图
sz.plot(ax=ax,edgecolor=(0,0,0,1),facecolor=(0,0,0,0),linewidths=0.5)
# 绘制colorbar
cax=plt.axes([0.05, 0.33, 0.02, 0.3])
plt.title('Data count')
plt.sca(ax)
# 绘制OD
od_gdf.plot(ax = ax,column = 'count',cmap = 'Blues_r',linewidth = 0.5,vmax = 10,cax = cax,legend = True)
# 添加比例尺和指北针
tbd.plotscale(ax,bounds=bounds,textsize=10,compasssize=1,accuracy=2000,rect = [0.06,0.03],zorder = 10)
plt.axis('off')
plt.xlim(bounds[0],bounds[2])
plt.ylim(bounds[1],bounds[3])
plt.show()

结果如图9所示：

▲ 图9 TransBigData绘制的栅格OD数据

同时，TransBigData包也提供了将OD直接聚合集计到区域间的方法：

# OD集计到区域
# 方法1：在不传入栅格化参数时，直接用经纬度匹配
od_gdf = tbd.odagg_shape(oddata,sz,round_accuracy=6)
# 方法2：传入栅格化参数时，程序会先栅格化后匹配以加快运算速度，数据量大时建议使用
od_gdf = tbd.odagg_shape(oddata,sz,params = params)
od_gdf.plot(column = 'count')

结果如图10所示：

▲图10 tbd集计的小区OD

加载地图底图并调整出图参数：

# 创建图框
import matplotlib.pyplot as plt
import plot_map
fig =plt.figure(1,(8,8),dpi=300)
ax =plt.subplot(111)
plt.sca(ax)
# 添加行政区划边界作为底图
sz.plot(ax = ax,edgecolor = (0,0,0,0),facecolor = (0,0,0,0.2),linewidths=0.5)
# 绘制colorbar
cax = plt.axes([0.05, 0.33, 0.02, 0.3])
plt.title('count')
plt.sca(ax)
# 绘制OD
od_gdf.plot(ax = ax,vmax = 100,column = 'count',cax = cax,cmap = 'autumn_r',linewidth = 1,legend = True)
# 添加比例尺和指北针
tbd.plotscale(ax,bounds = bounds,textsize = 10,compasssize = 1,accuracy = 2000,rect = [0.06,0.03],zorder = 10)
plt.axis('off')
plt.xlim(bounds[0],bounds[2])
plt.ylim(bounds[1],bounds[3])
plt.show()

结果如图11所示：

▲ 图11区域间OD可视化结果

5、交互可视化

在TransBigData中，我们可以对出租车数据使用简单的代码在jupyter notebook中快速进行交互可视化。这些可视化方法底层依托了keplergl包，可视化的结果不再是静态的图片，而是能够与鼠标响应交互的地图应用。

tbd.visualization_data方法可以实现数据分布的可视化，将数据传入该方法后，TransBigData会首先对数据点进行栅格集计，然后生成数据的栅格，并将数据量映射至颜色上。代码如下：

结果如图12所示：

# 可视化数据点分布
tbd.visualization_data(data,col = ['lon','lat'],accuracy=1000,height = 500)

▲ 图12数据分布的栅格可视化

对于出租车数据中所提取出的出行OD，也可使用tbd.visualization_od方法实现OD的弧线可视化。该方法也会对OD数据进行栅格聚合集计，生成OD弧线，并将不同大小的OD出行量映射至不同颜色。代码如下：

# 可视化数据点分布
tbd.visualization_od(oddata,accuracy=2000,height = 500)

结果如图13所示：

▲ 图13 OD分布的弧线可视化

对个体级的连续追踪数据，tbd.visualization_trip方法可以将数据点处理为带有时间戳的轨迹信息并动态地展示，代码如下：

# 动态可视化轨迹
tbd.visualization_trip(data,col = ['lon','lat','VehicleNum','time'],height = 500)

结果图14所示。点击其中的播放键，可以看到出租车运行的动态轨迹效果。

Atas ialah kandungan terperinci Hebat, Python menyedari visualisasi data trafik!. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!