python爬取饿了么

步履不停原创: 2019-07-01 13:31:495271浏览

python爬取饿了么

在学数据可视化，缺少点数据进行实操，就想着从饿了么上面爬点外卖店信息。

主要是获取数据，所以代码比较简陋，直接上代码：

import requests
import json
import csv
def crawler_ele(page=0):
def get_page(page):
url = &#39;https://h5.ele.me/restapi/shopping/v3/restaurants?latitude=xxxx&longitude=xxxx&offset={page}&limit=8&terminal=h5&#39;.format(page=page*8)
headers = {
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.80 Safari/537.36",
    &#39;cookie&#39;: r&#39;xxxx&#39;
}
re = json.loads(requests.get(url,headers=headers).text)
return re
re = get_page(page)
if re.get(&#39;items&#39;):
with open(&#39;data.csv&#39;,&#39;a&#39;,newline=&#39;&#39;) as f:
writer = csv.DictWriter(f,fieldnames=[&#39;名称&#39;, &#39;月销售量&#39;,&#39;配送费&#39;, &#39;起送价&#39;, &#39;风味&#39;,&#39;评分&#39;, &#39;配送时长&#39;, &#39;评分统计&#39;, &#39;距离&#39;, &#39;地址&#39;])
writer.writeheader()
for item in re.get(&#39;items&#39;):
info = dict()
restaurant = item.get(&#39;restaurant&#39;)
info[&#39;地址&#39;] = restaurant.get(&#39;address&#39;)
info[&#39;配送费&#39;] = restaurant.get(&#39;float_delivery_fee&#39;)
info[&#39;名称&#39;] = restaurant.get(&#39;name&#39;)
info[&#39;配送时长&#39;] = restaurant.get(&#39;order_lead_time&#39;)
info[&#39;距离&#39;] = restaurant.get(&#39;distance&#39;)
info[&#39;起送价&#39;] = restaurant.get(&#39;float_minimum_order_amount&#39;)
info[&#39;评分&#39;] = restaurant.get(&#39;rating&#39;)
info[&#39;月销售量&#39;] = restaurant.get(&#39;recent_order_num&#39;)
info[&#39;评分统计&#39;] = restaurant.get(&#39;rating_count&#39;)
info[&#39;风味&#39;] = restaurant.get(&#39;flavors&#39;)[0].get(&#39;name&#39;)
writer.writerow(info) 
# print(info)
if re.get(&#39;has_next&#39;) == True:
crawler_page(page+1)
crawler_ele(0)

在这里简单注释几句：

url 中的经纬度去掉了，可以自行查询添加需要爬取地点的经纬度，也可以通过调用地图api获取经纬度；

headers 需要加 Cookies ，不然会有登录权限限制爬取页数；

最后调用的是递归不是循环，所以保存结果的 csv 文件里面会有多个重复表头，可以用 Excel 打开删除重复值就可以了。

python爬取饿了么

相关文章