使用 Excel 和 Python 從互聯網獲取數據

今天的文章主要分為兩個部分，一是用透過Python建立一個資料網站，二是分別使用Excel和Python從編寫的Web網站上取得資料。

一、建置測試用網站資料

透過Python Flask Web框架分別建構一個Web網站和一個Web API服務。

1.建立Web網站

新建一個名為「5-5-WebTable.py」的Python腳本，建立一個包含表格的簡單網頁。如果讀者對建置方法不感興趣，可跳過以下程式碼，直接執行腳本「5-5-WebTable.py」開啟網站。

（1）安裝flask套件。

pip install flask

（2）建立包含表格的網頁。

from flask import Flask

app = Flask(__name__)# 创建Falsk Web应用实例

# 将路由“/”映射到table_info函数，函数返回HTML代码
@app.route('/')
def table_info():

return """<h2>HTML表格实例，用于提供给Excel和Python读取</h2>
<table border="1">
<caption>用户信息表</caption>
<tbody><tr>
<th>姓名</th>
<th>性别</th>
<th>年龄</th>
</tr>
<tr>
<td>小米</td>
<td>女</td>
<td>22</td>
</tr>
……….
</tbody></table>"""

if __name__ == '__main__':
app.debug = True# 启用调试模式
app.run()# 运行，网站端口默认为5000

透過指令「python ./5-5-WebTable.py」啟動網站，然後在瀏覽器中輸入http://127.0.0.1:5000/，出現如圖1所示的網頁內容。

圖1  使用Flask建置的測試網站

#2.建構Web API服務

新建一個名為「5-5- WebAPI.py」的Python腳本，使用flask_restplus套件建構Web API服務。如果讀者對建置方法不感興趣，可跳過以下程式碼，直接執行腳本「5-5-WebAPI.py」開啟Web API服務。

（1）安裝flask_restplus套件。

pip install flask-restplus

（2）導入必要的函式庫與初始化應用程式物件。

from flask import Flask
# Api类是Web API应用的入口，需要用Flask应用程序初始化
from flask_restplus import Api

# Resource类是HTTP请求的资源的基类
from flask_restplus import Resource

# fields类用于定义数据的类型和格式
from flask_restplus import fields

app = Flask(__name__)# 创建Falsk Web应用实例

# 在flask应用的基础上构建flask_restplusApi对象
api = Api(app, version='1.0',
title='Excel集成Python数据分析-测试用WebAPI',
description='测试用WebAPI', )

# 使用namespace函数生成命名空间，用于为资源分组
ns = api.namespace('ExcelPythonTest', description='Excel与Python Web API测试')
# 使用api.model函数生成模型对象
todo = api.model('task_model', {
'id': fields.Integer(readonly=True,
 description='ETL任务唯一标识'),
'task': fields.String(required=True,
description='ETL任务详情')
})

（3）Web API資料操作類，包含增、刪、改、查等方法。

class TodoDAO(object):

def __init__(self):
self.counter = 0
self.todos = []

def get(self, id):
for todo in self.todos:
if todo['id'] == id:
return todo
api.abort(404, "ETL任务 {} 不存在".format(id))

def create(self, data):
todo = data
todo['id'] = self.counter = self.counter + 1
self.todos.append(todo)
return todo

# 实例化数据操作，创建3条测试数据
DAO = TodoDAO()
DAO.create({'task': 'ETL-抽取数据操作'})
DAO.create({'task': 'ETL-数据清洗转换'})
DAO.create({'task': 'ETL-数据加载操作'})

（4）建構Web API的路由對映。

HTTP資源請求類別從Resource類別繼承，然後對應到不同的路由，同時指定可使用HTTP方法。

@ns.route('/')# 路由“/”对应的资源类为TodoList，可使用get方法和post方法进行请求
class TodoList(Resource):
@ns.doc('list_todos')# @doc装饰器对应API文档的信息
@ns.marshal_list_with(todo)# @marshal_xxx装饰器对模型数据进行格式转换与输出
def get(self):# 定义get方法获取所有的任务信息
return DAO.todos

@ns.doc('create_todo')
@ns.expect(todo)
@ns.marshal_with(todo, code=201)
def post(self):# 定义post方法获取所有的任务信息
return DAO.create(api.payload), 201

# 路由/<int:id>对应的资源类为Todo，可使用get、delete、put方法进行请求
@ns.route('/<int:id>')
@ns.response(404, '未发现相关ETL任务')
@ns.param('id', 'ETL任务ID号')
class Todo(Resource):
@ns.doc('get_todo')
@ns.marshal_with(todo)
def get(self, id):
return DAO.get(id)

@ns.doc('delete_todo')
@ns.response(204, 'ETL任务已经删除')
def delete(self, id):
DAO.delete(id)
return '', 204

@ns.expect(todo)
@ns.marshal_with(todo)
def put(self, id):
return DAO.update(id, api.payload)

if __name__ == '__main__':
app.run(debug=True, port=8000)# 启动Web API服务，端口为8000

（4）開啟Web API服務。

透過指令「python ./5-5-WebAPI.py」啟動Web API服務，在瀏覽器中輸入「http://127.0.0.1:8000/」將出現如圖5-23所示的Web API服務請求方法清單。

圖2  WebAPI服務要求方法清單

#2、抓取用網頁資料

Excel可以透過「資料」標籤下的「自網站」功能抓取網頁資料。 Python可以使用 requests 函式庫、Beautiful Soup套件、Scrapy框架抓取網頁資料。

1.透過Excel抓取

點選「資料」→「自其他來源」→「自網站」功能。 Excel可讀取的網頁資料有限制：動態網頁資料無法自動識別，非表格資料無法自動辨識。

（1）點選「資料」→「自其他來源」→「自網站」功能。

（2）確保在5.5.1節中編寫的Web網站已經開啟。

（3）輸入網站URL位址「http://127.0.0.1:5000/」

按一下「進階」按鈕可設定更詳細的HTTP請求訊息，然後按一下「確定”按鈕，如圖3所示。

圖3  設定要讀取網站的URL

（4）在「導航器」視窗中選擇匯入資料。

如圖4所示，Excel自動辨識網頁中的表格數據，選擇表名後點選「載入」按鈕即可。

圖4  Excel自動辨識網頁中的表格資料

2.使用Python抓取

下列示範使用requests庫抓取整個網頁中的數據，然後使用Beautiful Soup解析網頁。讀者可參考本書程式碼素材檔案「5-5-web.ipynb」進行學習。

（1）透過requests讀取網頁資料。

import requests #导入requests包
url ='http://127.0.0.1:5000/'

strhtml= requests.get(url) #使用get方法请求网页数据

（2）透過Beautiful Soup解析網頁。

from bs4 import BeautifulSoup

soup = BeautifulSoup(strhtml.text)# 将网页内容作为参数，创建soup对象
table = soup.find('table')# 查找网页中的table元素
table_body = table.find('tbody')# 查找table元素中的tbody元素
data = []
rows = table_body.find_all('tr')# 查找表中的所有tr元素

for row in rows:# 遍历数据
cols = row.find_all('td')
cols = [ele.text.strip() for ele in cols]
data.append([ele for ele in cols if ele])
# 结果输出：[[],
['小米', '女', '22'],['小明','男','23'],……

3、呼叫Web API服務

Excel可以透過「資料」標籤下的「自網站」功能呼叫Web API服務。 Python可以使用 requests 函式庫、Beautiful Soup套件、Scrapy框架呼叫Web API來取得資料。

1.使用Excel呼叫

（1）確保5.5.1節中所寫的Web API服務已經開啟。

（2）輸入Web API方法對應的URL：http://127.0.0.1:8000/ExcelPythonTest/。

（3）處理傳回的資料。

呼叫Web API服務後資料以JSON格式傳回，依照5.4.3小節介紹的方法處理JSON資料。

2.使用Python呼叫

使用requests函式庫呼叫Web API方法，然後對傳回的JSON資料進行處理，讀者可參考本書程式碼素材檔「5-5-api.ipynb ”進行學習。

import requests#导入requests包
url ='http://127.0.0.1:8000/ExcelPythonTest/'

strhtml= requests.get(url)#使用get方法获取网页数据

import pandas as pd

frame= pd.read_json(strhtml.text)#使用Pandas包中的read_json函数
print(frame)
#结果输出：
id task
0 1 ETL-抽取数据操作
1 2 ETL-数据清洗转换
2 3 ETL-数据加载操作

4、两种方法对比

表1所示为Excel和Python抓取互联网数据方法的对比。需要注意Excel从互联网抓取数据的功能并不完善。

表1   Excel和Python抓取互联网数据方法对比

以上是使用 Excel 和 Python 從互聯網獲取數據的詳細內容。更多資訊請關注PHP中文網其他相關文章！