Python のクロール お腹は空いていますか?

データ視覚化を学んでいますが、実際の運用に必要なデータが不足しているため、Ele.me からテイクアウト店舗の情報をクロールしたいと考えています。

主にデータを取得するため、コードは比較的単純です。コードに移動するだけです:

import requests
import json
import csv
def crawler_ele(page=0):
def get_page(page):
url = 'https://h5.ele.me/restapi/shopping/v3/restaurants?latitude=xxxx&longitude=xxxx&offset={page}&limit=8&terminal=h5'.format(page=page*8)
headers = {
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.80 Safari/537.36",
    'cookie': r'xxxx'
}
re = json.loads(requests.get(url,headers=headers).text)
return re
re = get_page(page)
if re.get('items'):
with open('data.csv','a',newline='') as f:
writer = csv.DictWriter(f,fieldnames=['名称', '月销售量','配送费', '起送价', '风味','评分', '配送时长', '评分统计', '距离', '地址'])
writer.writeheader()
for item in re.get('items'):
info = dict()
restaurant = item.get('restaurant')
info['地址'] = restaurant.get('address')
info['配送费'] = restaurant.get('float_delivery_fee')
info['名称'] = restaurant.get('name')
info['配送时长'] = restaurant.get('order_lead_time')
info['距离'] = restaurant.get('distance')
info['起送价'] = restaurant.get('float_minimum_order_amount')
info['评分'] = restaurant.get('rating')
info['月销售量'] = restaurant.get('recent_order_num')
info['评分统计'] = restaurant.get('rating_count')
info['风味'] = restaurant.get('flavors')[0].get('name')
writer.writerow(info) 
# print(info)
if re.get('has_next') == True:
crawler_page(page+1)
crawler_ele(0)

ここにいくつかの簡単なコメントがあります:

URL は削除されました。自分でクエリできます。クロールする場所の緯度と経度を追加するか、マップ API を呼び出して緯度と経度を取得できます。

Cookie をヘッダーに追加する必要がありますそうでない場合、ログイン許可によりクロールされるページの数が制限されます;

最後の呼び出しは再帰的ですこれはループではないため、結果を保存する csv ファイルには複数の重複ヘッダーが存在します。これを開くことができます。 Excelで重複した値を削除してください。

関連チュートリアルの推奨事項: Python ビデオ チュートリアル

以上がPython のクロール お腹は空いていますか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。