Node.js異步I/O學習筆記_node.js

「非同步」這個名詞的大規模流行是在Web 2.0浪潮中，它伴隨著Javascript和AJAX席捲了Web。但在絕大多數高階程式語言中，非同步並不多見。 PHP最能體現這個特點：它不僅屏蔽了非同步，甚至連多執行緒也不提供，PHP都是以同步阻塞的方式來執行。這樣的優點利於程式猿順序編寫業務邏輯，但在複雜的網路應用中，阻塞導致它無法更好地並發。

在伺服器端，I/O非常昂貴，分散式I/O更昂貴，只有後端能快速回應資源，前端的體驗才能變得更好。 Node.js是第一個將非同步作為主要程式設計方式和設計概念的平台，伴隨著非同步I/O的還有事件驅動和單線程，它們構成Node的基調。本文將介紹Node是如何實現異步I/O的。

1. 基本概念

「非同步」與「非阻塞」聽起來似乎是一回事，從實際效果而言，這兩者都達到了並行的目的。但從電腦核心I/O而言，只有兩種方式：阻塞與非阻塞。因此非同步/同步和阻塞/非阻塞實際上是兩回事。

1.1 阻塞I/O與非阻塞I/O

阻塞I/O的一個特點是呼叫之後一定要等到系統核心層面完成所有操作後，呼叫才結束。以讀取磁碟上的一個檔案為例，系統核心在完成磁碟尋道、讀取資料、複製資料到記憶體後，這個呼叫才結束。

阻塞I/O造成CPU等待I/O，浪費等待時間，CPU的處理能力無法充分利用。非阻塞I/O的特點是呼叫之後會立即傳回，回傳後CPU的時間片可以用來處理其他交易。由於完整的I/O並沒有完成，立即返回的並不是業務層期待的數據，而只是當前呼叫的狀態。為了取得完整的數據，應用程式需要重複呼叫I/O操作來確認是否完成（即輪詢）。輪詢技術要以下幾種：

1.read：重複呼叫來檢查I/O狀態，是最原始效能最低的一種方式
2.select：對read的改進，透過對檔案描述符上的事件狀態來進行判斷。缺點是檔案描述符最大的數量有限制
3.poll：對select的改進，採用鍊錶的方式避免最大數量限制，但描述符較多時，性能還是十分低下
4.epoll：進入輪詢時若沒有檢查到I/O事件，將會進行休眠，直到事件發生將其喚醒。這是目前Linux下效率最高的I/O事件通知機制

輪詢滿足了非阻塞I/O確保獲取完整數據的需求，但對於應用程式而言，它仍然只能算作一種同步，因為仍然需要等待I/O完全返回。等待期間，CPU要麼用於遍歷檔案描述符的狀態，要麼用於休眠等待事件發生。

1.2 理想與現實中的非同步I/O

完美的非同步I/O應該是應用程式發起非阻塞調用，無需透過輪詢就可以直接處理下一個任務，只需在I/O完成後透過訊號或回調將資料傳遞給應用程式即可。

現實中的非同步I/O在不同作業系統下有不同的實現，如*nix平台採用自訂的執行緒池，Windows平台採用IOCP模型。 Node提供了libuv作為抽象封裝層來封裝平台相容性判斷，並保證上層Node與下層各平台異步I/O的實作各自獨立。另外要強調的是我們常提到Node是單執行緒的，這只是指Javascript的執行在單執行緒中，實際在Node內部完成I/O任務的都另有線程池。

2. Node的非同步I/O

2.1 事件循環

Node的執行模型其實就是事件循環。在進程啟動時，Node會創建一個無限循環，每一次執行循環體的過程變成一次Tick。每個Tick過程就是查看是否有事件等待處理，如果有則取出事件及其相關的回調函數，若存在關聯的回呼函數則執行它們，然後進入下一個循環。如果不再有事件處理，就退出進程。

2.2 觀察者

每個事件循環中有若干個觀察者，透過向這些觀察者詢問來判斷是否有事件要處理。事件循環是典型的生產者/消費者模式。在Node中，事件主要來自網路請求、檔案I/O等，這些事件都有對應的網路I/O觀察者、檔案I/O觀察者等，事件循環則從觀察者那裡取出事件並處理。

2.3 請求物件

從Javascript發起呼叫到核心執行完I/O操作的過渡過程中，存在一種中間產物，叫做請求物件。以最簡單的Windows下fs.open()方法（根據指定路徑和參數去打開一個檔案並得到一個檔案描述子）為例，從JS調用到內建模區塊透過libuv進行系統調用，實際上是調用了uv_fs_open()方法。在呼叫過程中，建立了FSReqWrap請求對象，從JS層傳入的參數和方法都封裝在這個請求對像中，其中我們最為關注的回呼函數被設定在這個對象的oncompete_sym屬性上。物件包裝完畢後，將FSReqWrap物件推入執行緒池中等待執行。

至此，JS呼叫立即返回，JS執行緒可以繼續執行後續操作。目前的I/O操作在執行緒池中等待執行，這就完成了非同步呼叫的第一階段。

2.4 執行回呼

回呼通知是非同步I/O的第二階段。執行緒池中的I/O操作調用完畢後，會將取得的結果儲存起來，然後通知IOCP目前物件操作已完成，並將執行緒歸還執行緒池。在每次Tick的執行中，事件循環的I/O觀察者會呼叫相關的方法檢查線程池中是否有執行完的請求，如果存在，會將請求物件加入I/O觀察者的佇列中，然後將其當作事件處理。

3. 非I/O的非同步API

Node中還存在一些與I/O無關的非同步API，例如定時器setTimeout()、setInterval()，立即非同步執行任務的process.nextTick()和setImmdiate()等，這裡略微介紹一下。

3.1 定時器API

setTimeout()和setInterval()瀏覽器端的API是一致的，它們的實作原理與非同步I/O類似，只是不需要I/O執行緒池的參與。呼叫定時器API所建立的定時器會被插入到定時器觀察者內部的一棵紅黑樹中，每次事件循環的Tick都會從紅黑樹中迭代取出定時器對象，檢查是否超過定時時間，若超過就形成一個事件，回呼函數立即被執行。定時器的主要問題在於它的定時時間並非特別精確（毫秒級，在容忍範圍內）。

3.2 立即非同步執行任務API

在Node出現之前，很多人也許為了立即非同步執行一個任務，會這樣呼叫：

複製程式碼 程式碼如下:

setTimeout(function() {
    // TODO
}, 0);

由於事件循環的特點，定時器的精確度不夠，而且採用定時器需要使用紅黑樹，各種操作時間複雜度為O(log(n))。而process.nextTick()方法只會將回呼函數放入佇列中，在下一輪Tick時取出執行，複雜度為O(1)更有效率。

此外還有一個setImmediate()方法和上述方法類似，都是將回呼函數延遲執行。不過前者的優先順序要比後者高，這是因為事件循環對觀察者的檢查是有先後順序的。另外，前者的回呼函數保存在一個陣列中，每輪Tick會將陣列中的所有回呼函數全部執行完；後者結果保存在鍊錶中，每輪Tick只會執行一個回呼函數。

4. 事件驅動與高效能伺服器

前面以fs.open()為例闡述了Node如何實作非同步I/O。事實上對網路套接字的處理，Node也應用了非同步I/O，這也是Node建立Web伺服器的基礎。經典的伺服器模型有：

1.同步式：一次只能處理一個請求，其餘請求都處於等待狀態
2.每進程/每請求：為每個請求啟動一個進程，但係統資源有限，不具備擴展性
3.每線程/每請求：為每個請求啟動一個執行緒。線程比進程要輕量級，但每個線程都佔用一定內存，當大並發請求到來時，內存很快就會用光

著名的Apache採用的就是每個線程/每個請求的形式，這也是它難以應對高並發的原因。 Node透過事件驅動方式處理請求，可以省掉建立和銷毀執行緒的開銷，同時作業系統在調度任務時因為執行緒較少，上下文切換的代價也很低。即使在大量連線的情況下，Node也能有條不紊地處理請求。

知名伺服器Nginx也摒棄了多執行緒的方式，採用和Node一樣的事件驅動方式。如今Nginx大有取代Apache之勢。 Nginx採用純C編寫，效能較高，但它只適合做Web伺服器，用於反向代理或負載平衡等。 Node可以建構與Nginx相同的功能，也可以處理各種特定業務，自身效能也不錯。在實際專案中，我們可以結合它們各自有點，以達到應用的最佳效能。