深入理解Python生成器（Generator）

我們可以透過列表產生式簡單直接地建立一個列表，但是受到記憶體限制，列表容量肯定是有限的。而且，建立一個包含100萬個元素的列表，不僅佔用很大的儲存空間，而且如果我們只需要存取前面幾個元素，那後面絕大多數元素佔用的空間都白白浪費了。

所以，如果列表元素可以依照某種演算法推算出來，那我們是否可以在循環的過程中不斷推算出後續的元素呢？這樣就不必創建完整的list，從而節省大量的空間。在Python中，這種一邊循環一邊計算的機制，稱為生成器（Generator）。

要創建一個generator，有很多種方法。第一種方法很簡單，只要把一個列表生成式的[]改成()，就創建了一個generator：

>>> mylist = [ x for x in range(1, 10)]
>>> mylist
[1, 2, 3, 4, 5, 6, 7, 8, 9]
>>> gen = (x for x in range(1,10))
>>> gen
<generator object <genexpr> at 0x7f1d7fd0f5a0>

創建mylist和gen的區別僅在於最外層的[]和()，mylist是一個li​​st，而gen是一個generator（生成器）。

我們可以直接列印出list的每個元素，但我們要怎麼列印出generator的每一個元素呢？

如果要一個一個列印出來，可以透過generator的next()方法：

>>> gen.next()
1
>>> gen.next()
2
>>> gen.next()
3
...
>>> gen.next()
9
>>> gen.next()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
StopIteration

我們講過，generator保存的是演算法，每次呼叫next()，就計算出下一個元素的值，直到計算到最後一個元素，沒有更多的元素時，拋出StopIteration的錯誤。

其實我們可以使用for迴圈來取代next()方式， 這樣才比較符合高效率的程式設計思路：

>>> gen = ( x for x in range(1, 10))
>>> for num in gen:
...     print num
... 
1
2
3
4
5
6
7
8
9

generator非常強大。如果推算的演算法比較複雜，用類似列表產生式的for迴圈無法實現的時候，還可以用函數來實作。

例如，著名的斐波拉契數列（Fibonacci），除第一個和第二個數外，任一個數都可由前兩個數相加得到：

1, 1, 2, 3, 5 , 8, 13, 21, 34, ...

斐波拉契數列用列表生成式寫不出來，但是，用函數把它打印出來卻很容易：

def fib(max):
    n = 0 
    a, b = 0, 1
    while n < max:
        print b
        a, b = b, a + b
        n = n + 1

上面的函數可以輸出斐波那契數列的前N個數：

>>> fib(6)

仔細觀察，可以看出，fib函數其實是定義了斐波拉契數列的推算規則，可以從第一個元素開始，推導出後續任意的元素，這種邏輯其實非常類似generator。

也就是說，上面的函數和generator只有一步之遙。要把fib函數變成generator，只要要把print b改為yield b就可以了：

def fib(max):
    n = 0 
    a, b = 0, 1
    while n < max:
        yield b
        a, b = b, a + b
        n = n + 1

這就是定義generator的另一種方法。如果一個函數定義中包含yield關鍵字，那麼這個函數就不再是一個普通函數，而是一個generator：

>>> fib(6)

這裡，最難理解的就是generator和函數的執行流程不一樣。函數是順序執行，遇到return語句或最後一行函數語句就回傳。而變成generator的函數，在每次呼叫next()的時候執行，遇到yield語句返回，再次執行時從上次返回的yield語句處繼續執行。

舉個簡單的例子，定義一個generator，依序返回數字1，3，5：

>>> def odd():
...     print 'step 1'
...     yield 1
...     print 'step 2'
...     yield 3
...     print 'step 3'
...     yield 5
...
>>> o = odd()
>>> o.next()
step 1
1
>>> o.next()
step 2
3
>>> o.next()
step 3
5
>>> o.next()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
StopIteration

可以看到，odd不是普通函數，而是generator，在執行過程中，遇到yield就中斷，下次又繼續執行。執行3次yield後，已經沒有yield可以執行了，所以，第4次呼叫next()就報錯。

回到fib的例子，我們在循環過程中不斷呼叫yield，就會不斷中斷。當然要給循環設定一個條件來退出循環，不然就會產生一個無限數列出來。

同樣的，把函數改成generator後，我們基本上從來不會用next()來呼叫它，而是直接使用for循環來迭代：

>>> for n in fib(6):
...     print n
...

generator是非常強大的工具，在Python中，可以簡單地把列表生成式改成generator，也可以透過函數實作複雜邏輯的generator。

要理解generator的工作原理，它是在for迴圈的過程中不斷計算下一個元素，並在適當的條件結束for迴圈。對於函數改成的generator來說，遇到return語句或是執行到函數體最後一行語句，就是結束generator的指令，for迴圈隨之結束。