집 >백엔드 개발 >파이썬 튜토리얼 >Python 크롤링 중 배가 고프신가요?

Python 크롤링 중 배가 고프신가요?

步履不停원래의: 2019-07-01 13:31:495270검색

데이터 시각화를 배우고 있는데 실제 운영에 필요한 데이터가 부족하여 Ele.me에서 테이크아웃 매장 정보를 크롤링하고 싶습니다.

주요 목적은 데이터를 얻는 것이므로 코드는 비교적 간단합니다. 다음 코드로 이동하세요.

import requests
import json
import csv
def crawler_ele(page=0):
def get_page(page):
url = &#39;https://h5.ele.me/restapi/shopping/v3/restaurants?latitude=xxxx&longitude=xxxx&offset={page}&limit=8&terminal=h5&#39;.format(page=page*8)
headers = {
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.80 Safari/537.36",
    &#39;cookie&#39;: r&#39;xxxx&#39;
}
re = json.loads(requests.get(url,headers=headers).text)
return re
re = get_page(page)
if re.get(&#39;items&#39;):
with open(&#39;data.csv&#39;,&#39;a&#39;,newline=&#39;&#39;) as f:
writer = csv.DictWriter(f,fieldnames=[&#39;名称&#39;, &#39;月销售量&#39;,&#39;配送费&#39;, &#39;起送价&#39;, &#39;风味&#39;,&#39;评分&#39;, &#39;配送时长&#39;, &#39;评分统计&#39;, &#39;距离&#39;, &#39;地址&#39;])
writer.writeheader()
for item in re.get(&#39;items&#39;):
info = dict()
restaurant = item.get(&#39;restaurant&#39;)
info[&#39;地址&#39;] = restaurant.get(&#39;address&#39;)
info[&#39;配送费&#39;] = restaurant.get(&#39;float_delivery_fee&#39;)
info[&#39;名称&#39;] = restaurant.get(&#39;name&#39;)
info[&#39;配送时长&#39;] = restaurant.get(&#39;order_lead_time&#39;)
info[&#39;距离&#39;] = restaurant.get(&#39;distance&#39;)
info[&#39;起送价&#39;] = restaurant.get(&#39;float_minimum_order_amount&#39;)
info[&#39;评分&#39;] = restaurant.get(&#39;rating&#39;)
info[&#39;月销售量&#39;] = restaurant.get(&#39;recent_order_num&#39;)
info[&#39;评分统计&#39;] = restaurant.get(&#39;rating_count&#39;)
info[&#39;风味&#39;] = restaurant.get(&#39;flavors&#39;)[0].get(&#39;name&#39;)
writer.writerow(info) 
# print(info)
if re.get(&#39;has_next&#39;) == True:
crawler_page(page+1)
crawler_ele(0)

여기에 몇 가지 간단한 설명이 있습니다.

URL의 경도와 위도가 제거됩니다. 직접 크롤링해야 하는 위치의 경도와 위도 또는 호출할 수 있습니다. 지도 API는 위도와 경도를 가져옵니다.

헤더에 쿠키를 추가해야 합니다. 그렇지 않으면 로그인 권한으로 인해 크롤링되는 페이지 수가 제한됩니다. 호출은 루프가 아닌 반복적이므로 결과를 저장하는 CSV 파일에 여러 개의 반복 헤더가 있으므로 Excel을 열고 중복 값을 삭제할 수 있습니다.

Python 크롤링 중 배가 고프신가요?

관련 기사