本篇文章為大家帶來了關於Python的相關知識,其中主要整理了解析參數的三種方法相關問題,第一個選項是使用argparse,它是一個流行的Python模組,專門用於命令列解析;另一種方法是讀取JSON 文件,我們可以在其中放置所有超參數;第三種也是鮮為人知的方法是使用YAML 文件,下面一起來看一下,希望對大家有幫助。
【相關推薦:Python3影片教學 】
今天我們分享的主要目的就是透過在Python 中使用指令列和設定檔來提高程式碼的效率
Let's go!
我們以機器學習當中的調參過程來進行實踐,有三種方式可供選擇。第一個選項是使用argparse,它是一個流行的Python 模組,專門用於命令列解析;另一種方法是讀取JSON 文件,我們可以在其中放置所有超參數;第三種也是鮮為人知的方法是使用YAML 檔案!好奇嗎,讓我們開始吧!
先決條件
在下面的程式碼中,我將使用 Visual Studio Code,這是一個非常有效率的整合 Python 開發環境。這個工具的美妙之處在於它透過安裝擴充功能支援每種程式語言,整合終端並允許同時處理大量Python 腳本和Jupyter 筆記本
資料集,使用的是Kaggle 上的共用自行車資料集
使用argparse
就像上圖所示,我們有一個標準的結構來組織我們的小專案:
- ##包含我們數據集的名為data 的資料夾
- train.py 檔案
- 用於指定超參數的options.py 檔案
import pandas as pd import numpy as np from sklearn.ensemble import RandomForestRegressor from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler from sklearn.metrics import mean_squared_error, mean_absolute_error from options import train_options df = pd.read_csv('data\hour.csv') print(df.head()) opt = train_options() X=df.drop(['instant','dteday','atemp','casual','registered','cnt'],axis=1).values y =df['cnt'].values X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2) if opt.normalize == True: scaler = StandardScaler() X = scaler.fit_transform(X) rf = RandomForestRegressor(n_estimators=opt.n_estimators,max_features=opt.max_features,max_depth=opt.max_depth) model = rf.fit(X_train,y_train) y_pred = model.predict(X_test) rmse = np.sqrt(mean_squared_error(y_pred, y_test)) mae = mean_absolute_error(y_pred, y_test) print("rmse: ",rmse) print("mae: ",mae)在程式碼中,我們也導入了包含在options.py文件中的train_options 函數。後一個文件是一個 Python 文件,我們可以從中更改 train.py 中考慮的超參數:
import argparse def train_options(): parser = argparse.ArgumentParser() parser.add_argument("--normalize", default=True, type=bool, help='maximum depth') parser.add_argument("--n_estimators", default=100, type=int, help='number of estimators') parser.add_argument("--max_features", default=6, type=int, help='maximum of features',) parser.add_argument("--max_depth", default=5, type=int,help='maximum depth') opt = parser.parse_args() return opt在這個例子中,我們使用了 argparse 庫,它在解析命令列參數時非常流行。首先,我們初始化解析器,然後,我們可以加入我們想要存取的參數。 這是執行程式碼的範例:
python train.py
要更改超參數的預設值,有兩種方法。第一個選項是在 options.py 檔案中設定不同的預設值。另一個選擇是從命令列傳遞超參數值:
python train.py --n_estimators 200我們需要指定要變更的超參數的名稱和對應的值。
python train.py --n_estimators 200 --max_depth 7使用 JSON 檔案
和前面一樣,我們可以保持類似的檔案結構。在這種情況下,我們將 options.py 檔案替換為 JSON 檔案。換句話說,我們想在 JSON 檔案中指定超參數的值並將它們傳遞給 train.py 檔案。與 argparse 程式庫相比,JSON 檔案可以是一種快速且直覺的替代方案,它利用鍵值對來儲存資料。下面我們建立一個 options.json 文件,其中包含我們稍後需要傳遞給其他程式碼的資料。
{ "normalize":true, "n_estimators":100, "max_features":6, "max_depth":5 }如上所見,它與 Python 字典非常相似。但是與字典不同的是,它包含文字/字串格式的資料。此外,還有一些語法略有不同的常見資料類型。例如,布林值是 false/true,而 Python 識別 False/True。 JSON 中其他可能的值是數組,它們用方括號表示為 Python 列表。 在Python 中使用JSON 資料的美妙之處在於,它可以透過load 方法轉換成Python 字典:
f = open("options.json", "rb") parameters = json.load(f)要存取特定項目,我們只需要在方括號內引用它的鍵名:
if parameters["normalize"] == True: scaler = StandardScaler() X = scaler.fit_transform(X) rf=RandomForestRegressor(n_estimators=parameters["n_estimators"],max_features=parameters["max_features"],max_depth=parameters["max_depth"],random_state=42) model = rf.fit(X_train,y_train) y_pred = model.predict(X_test)使用YAML 檔案
最後一種選擇是利用YAML 的潛力。與 JSON 檔案一樣,我們將 Python 程式碼中的 YAML 檔案作為字典讀取,以存取超參數的值。 YAML 是一種人類可讀的資料表示語言,其中層次結構使用雙空格字元表示,而不是像 JSON 檔案中的括號。下面我們展示options.yaml 檔案將包含的內容:
normalize: True n_estimators: 100 max_features: 6 max_depth: 5在train.py 中,我們打開options.yaml 文件,該文件將始終使用load 方法轉換為Python 字典,這次是從yaml 庫中導入的:
import yaml f = open('options.yaml','rb') parameters = yaml.load(f, Loader=yaml.FullLoader)和前面一樣,我們可以使用字典所需的語法來存取超參數的值。
最後的想法
設定檔的編譯速度非常快,而 argparse 則需要為我們要新增的每個參數編寫一行程式碼。
所以我們應該根據自己的不同情況來選擇最為合適的方式
例如,如果我們需要為參數添加註釋,JSON 是不合適的,因為它不允許註釋,而YAML和argparse 可能非常適合。
【相關推薦:Python3影片教學 】
以上是Python解析參數的三種方法詳解的詳細內容。更多資訊請關注PHP中文網其他相關文章!

本篇文章给大家带来了关于Python的相关知识,其中主要介绍了关于Seaborn的相关问题,包括了数据可视化处理的散点图、折线图、条形图等等内容,下面一起来看一下,希望对大家有帮助。

本篇文章给大家带来了关于Python的相关知识,其中主要介绍了关于进程池与进程锁的相关问题,包括进程池的创建模块,进程池函数等等内容,下面一起来看一下,希望对大家有帮助。

本篇文章给大家带来了关于Python的相关知识,其中主要介绍了关于简历筛选的相关问题,包括了定义 ReadDoc 类用以读取 word 文件以及定义 search_word 函数用以筛选的相关内容,下面一起来看一下,希望对大家有帮助。

VS Code的确是一款非常热门、有强大用户基础的一款开发工具。本文给大家介绍一下10款高效、好用的插件,能够让原本单薄的VS Code如虎添翼,开发效率顿时提升到一个新的阶段。

本篇文章给大家带来了关于Python的相关知识,其中主要介绍了关于数据类型之字符串、数字的相关问题,下面一起来看一下,希望对大家有帮助。

pythn的中文意思是巨蟒、蟒蛇。1989年圣诞节期间,Guido van Rossum在家闲的没事干,为了跟朋友庆祝圣诞节,决定发明一种全新的脚本语言。他很喜欢一个肥皂剧叫Monty Python,所以便把这门语言叫做python。

本篇文章给大家带来了关于Python的相关知识,其中主要介绍了关于numpy模块的相关问题,Numpy是Numerical Python extensions的缩写,字面意思是Python数值计算扩展,下面一起来看一下,希望对大家有帮助。


熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

AI Hentai Generator
免費產生 AI 無盡。

熱門文章

熱工具

WebStorm Mac版
好用的JavaScript開發工具

Dreamweaver CS6
視覺化網頁開發工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

DVWA
Damn Vulnerable Web App (DVWA) 是一個PHP/MySQL的Web應用程序,非常容易受到攻擊。它的主要目標是成為安全專業人員在合法環境中測試自己的技能和工具的輔助工具,幫助Web開發人員更好地理解保護網路應用程式的過程,並幫助教師/學生在課堂環境中教授/學習Web應用程式安全性。 DVWA的目標是透過簡單直接的介面練習一些最常見的Web漏洞,難度各不相同。請注意,該軟體中

禪工作室 13.0.1
強大的PHP整合開發環境