首頁  >  文章  >  後端開發  >  發生異常重試的處理方案

發生異常重試的處理方案

Y2J
Y2J原創
2017-05-13 14:00:232437瀏覽

這篇文章主要給大家介紹了在Python中異常重試的解決方案,文中介紹的非常詳細,相信對大家學習或使用python具有一定的參考學習價值,需要的朋友們下面隨著小編一起來看看吧。

前言

大家在做資料抓取的時候,常常遇到網路問題導致的程式保存,先前只是記錄了錯誤內容,並對錯誤內容進行後製。

原先的流程:


def crawl_page(url):
 pass
 
def log_error(url):
 pass
 
url = ""
try:
 crawl_page(url)
except:
 log_error(url)

改進後的流程:


attempts = 0
success = False
while attempts < 3 and not success:
 try:
  crawl_page(url)
  success = True
 except:
  attempts += 1
  if attempts == 3:
   break

最近發現的新的解決方案:retrying

retrying是一個Python的重試包,可以用來自動重試一些可能運行失敗的程式段。 retrying提供一個裝飾器函數retry,被裝飾的函數就會在執行失敗的條件下重新執行,預設只要一直報錯就會不斷重試。


import random
from retrying import retry
 
@retry
def do_something_unreliable():
 if random.randint(0, 10) > 1:
  raise IOError("Broken sauce, everything is hosed!!!111one")
 else:
  return "Awesome sauce!"
 
print do_something_unreliable()

如果我們執行have_a_try函數,那麼直到random.randint傳回5,它才會執行結束,否則會一直重新執行。

retry也可以接受一些參數,這個從原始碼Retrying類別的初始化函數可以看到可選的參數:

  • ##stop<a href="http://www.php.cn/wiki/904.html" target="_blank">_max_attempt_number</a>:用來設定最大的嘗試次數,超過該次數就停止重試

  •  

    stop_max_delay:例如設定成10000,那麼從被裝飾的函數開始執行的時間點開始,到函數成功運行結束或失敗報錯中止的時間點,只要這段時間超過10秒,函數就不會再執行了

  • wait_fixed:設定在兩次retrying之間的停留時間

  • wait_random_min和wait_random_max:用隨機的方式產生兩次retrying之間的停留時間

  • wait_exponential_multiplier和wait_exponential_max :以指數的形式產生兩次retrying之間的停留時間,產生的值為2^previous_attempt_number * wait_exponential_multiplier#,previous_attempt_number#是前面已經# retry的次數,如果產生的這個值超過了wait_exponential_max的大小,那麼之後兩個retrying之間的停留值都為wait_exponential_max#。這個設計迎合了exponential backoff演算法,可以減輕阻塞的情況。

  • 我們可以指定要在出現哪些例外的時候再去retry,這個要用retry_on_<a href="http://www.php.cn/wiki/265.html" target="_blank">exception</a>傳入一個函式物件


def retry_if_io_error(exception):
 return isinstance(exception, IOError)
 
@retry(retry_on_exception=retry_if_io_error)
def read_a_file():
 with open("file", "r") as f:
  return f.read()

在執行read_a_file函數的過程中,如果報出例外狀況,那麼這個例外會以形參exception傳入retry_if_io_error函數中,如果exceptionIOError那麼就進行retry,如果不是就停止運轉並拋出異常

我們也可以指定要在得到哪些結果的時候去retry,這個要用retry_on_result傳入一個函數物件:


#
def retry_if_result_none(result):
 return result is None
 
@retry(retry_on_result=retry_if_result_none)
def get_result():
 return None

在執行get_result成功後,會將函數的回傳值透過形參result的形式傳入retry_if_result_none函數中,如果傳回值是None那麼就進行retry,否則就結束並傳回函數值。

總結

【相關推薦】

1. 特別推薦「php程式設計師工具箱」V0.1版本下載

2. Python免費影片教學

3. Python基礎入門教學

以上是發生異常重試的處理方案的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述:
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn