Redis日誌篇：快速復原的絕招

「

特立獨行是對的，融入圈子也是對的，重點是要想清楚自己嚮往怎樣的生活，為此願意付出怎樣的代價。

”

我們通常將Redis 作為緩存使用，提高讀取響應性能，一旦Redis 宕機，內存中的數據全部丟失，假如現在直接訪問資料庫大量流量打到MySQL 可能會帶來更嚴重的問題。

另外慢慢的從資料庫讀取放到 Redis 效能必然比不過從 Redis 取得快，也會導致回應變慢。

Redis 為了實現無畏宕機快速恢復，設計了兩大殺手鐧，分別是 AOF（Append Only FIle）日誌和 RDB 快照。

學習一個技術，通常只接觸了零散的技術點，沒有在腦海裡建立一個完整的知識框架和架構體系，沒有系統觀。這樣會很吃力，會出現一看好像自己會，過後就忘記，一臉茫然。

一起吃透 Redis，深層的掌握 Redis 核心原理以及實戰技巧。搭建一套完整的知識框架，學會全局觀去整理整個知識體系。

本文硬核，建議收藏點贊，靜下心來閱讀，我相信都會有很多收穫。

上一篇分析了 Redis 的核心資料結構、IO 模型、執行緒模型、根據不同資料使用合適的資料編碼。深層掌握真正快的原因！

推薦（免費）：redis

#本篇將圍繞以下幾點展開：

• 宕機後，如何快速恢復？

• 宕機了，Redis 如何避免資料遺失？

• 什麼是 RDB 記憶體快照？

• AOF 日誌實作機制

• 什麼是 寫時複製技術？

• ….

所涉及的知識點如圖所示：

## Redis 日誌篇：無畏宕機與快速恢復的殺手鐧

1. Redis 全景圖

2. 全景圖可以圍繞兩個維度展開，分別是：

應用維度：快取使用、叢集運用、資料結構的巧妙使用

3. 系統維度：可歸類為三高

##高效能：執行緒模型、網路IO模型、資料結構、持久化機制；

高可用：主從複製、哨兵集群、Cluster 分片集群；

高拓展：負載平衡

Redis 系列篇章圍繞著如下心智圖展開，一起探索Redis 的高效能、持久化機制的秘密。

吃透Redis

有全景圖，掌握系統觀。

系統觀其實是至關重要的，從某種程度上說，在解決問題時，擁有了系統觀，就意味著你能有依據、有章法地定位和解決問題。

RDB 記憶體快照，讓宕機快速恢復

「

65 哥：Redis 因為某些原因宕機了，會導致所有的流量會打到後端MySQL，我立刻重啟Redis，可是它的數據存在記憶體裡面，重啟後如何還是沒有任何數據，如何防止重啟數據丟失呢？

」

65 哥別急，「碼哥字節」帶你一步步深入理解到底Redis 宕機後如何快速恢復的。

Redis 資料儲存在記憶體中，是否可以考慮將記憶體中的資料寫到磁碟上呢？當 Redis 重啟的時候就把保存在磁碟上的資料快速恢復到記憶體中，這樣就能實現重啟後正常提供服務了。

「

65 哥：我想到一個方案，每次執行「寫入」操作操作記憶體的同時寫入到磁碟

」

這個方案有一個致命問題：每次寫指令不僅寫記憶體還是寫入磁碟，磁碟的效能相對記憶體太慢，會導致Redis 效能大幅降低。

記憶體快照

##「

65 哥：那如何規避這個同時寫入的問題呢？

”

###我們通常將Redis 當作快取使用，所以即使Redis 沒有保存全部數據，還可以透過資料庫獲取，所以Redis 不會保存所有的數據， Redis 的數據持久化使用了“ RDB 資料快照」的方式來實現宕機快速復原。 ######「###65 哥：那什麼是 RDB 記憶體快照呢？###」######在 Redis 執行「寫」指令過程中，記憶體資料會一直改變。所謂的記憶體快照，指的就是 Redis 記憶體中的資料在某一刻的狀態資料。 ######好比時間定格在某一刻，當我們拍照的，透過照片就能把某一刻的瞬間畫面完全記錄下來。 ###

Redis 跟這個類似，就是把某一刻的資料以檔案的形式拍下來，寫到磁碟上。這個快照檔案叫做 RDB 文件，RDB 就是 Redis DataBase 的縮寫。

Redis 透過定時執行 RDB 記憶體快照，這樣就不必每次執行「寫」指令都寫磁碟，只需要在執行記憶體快照的時候寫磁碟。既保證了唯快不破，還實現了持久化，宕機快速恢復。

RDB記憶體快照

在做資料復原時，直接將 RDB 檔案讀入記憶體完成復原。

「

65 哥：對哪些資料做快照呢？或多久做一次快照呢？這個會影響快照的執行效率。

」

65 哥不錯呀，開始考慮數據效率問題了。在《Redis 核心篇：唯快不破的秘密》中我們知道他的單執行緒模型決定了我們要盡可能的避免會阻塞主執行緒的操作，避免 RDB 檔案產生阻塞主執行緒。

產生RDB 政策

##Redis 提供了兩個指令用於產生RDB 檔案：

• save：主執行緒執行，會阻塞；

• bgsave：呼叫glibc 的函數

  fork產生一個子程序用於寫入RDB 文件，快照持久化完全交給子程序來處理，父進程繼續處理客戶端請求，產生RDB 檔案的預設配置。

「

65 哥：那在對記憶體資料做「快照」的時候，記憶體資料還能修改麼？也就是寫指令能否正常處理？

”

首先我們要明確一點，避免阻塞和RDB 檔案產生期間能處理寫入操作不是一回事。雖然主執行緒沒有阻塞，到那時為了保證快照的資料的一致性，只能處理讀取操作，無法修改正在執行快照的資料。

很明顯，為了產生RDB 而暫停寫入操作，Redis 是不答應的。

「

65 哥：那Redis 要如何實作一邊處理寫入請求，同時產生RDB 檔案呢？

”

Redis 使用作業系統的多進程寫入時複製技術COW(Copy On Write) 來實現快照持久化，這個機制很有意思，也很少人知道。多進程COW 也是鑑定程序員知識廣度的一個重要指標。

Redis 在持久化時會呼叫glibc 的函數

fork產生一個子進程，快照持久化完全交給子進程來處理，父進程繼續處理客戶端請求。

子進程剛產生時，它和父進程共享記憶體裡面的程式碼段和資料段。這時你可以將父子進程想像成一個連體嬰兒，共享身體。

這是Linux 作業系統的機制，為了節省記憶體資源，所以盡可能讓它們共享起來。在進程分離的一瞬間，記憶體的成長幾乎沒有明顯變化。

bgsave 子程序可以共享主執行緒的所有記憶體數據，讀取主執行緒的資料並寫入到RDB 檔。

在執行

SAVE 指令或BGSAVE指令建立一個新的RDB 檔案時，程式會對資料庫中的鍵進行檢查，已過期的鍵不會被儲存到新建立的RDB 檔案中。

當主執行緒執行寫入指令修改資料的時候，這個資料就會複製一份副本，

bgsave 子程序讀取這個副本資料寫到RDB 文件，所以主執行緒就可以直接修改原來的資料。

寫入時複製技術保證快照期間資料客修改

這既保證了快照的完整性，也允許主執行緒同時對資料進行修改，避免了對正常業務的影響。

Redis 會使用bgsave 對目前記憶體中的所有資料做快照，這個操作是子程序在背景完成的，這就允許主執行緒同時可以修改資料。

「

65哥：那可以每秒鐘執行RDB 檔麼，這樣即使發生宕機最多遺失1 秒的資料。

”

過於頻繁的執行全量資料快照，有兩個嚴重效能開銷：

1. 頻繁產生RDB 檔案寫入磁碟，磁碟壓力過大。會出現上一個RDB 還沒執行完，下一個又開始生成，陷入死迴圈。

2. fork 出bgsave 子程序會阻塞主線程，主執行緒的記憶體越大，阻塞時間越長。

優缺點

快照的恢復速度快，但是產生RDB 檔案頻率不好把握，頻率過低宕機遺失的資料就會比較多；太快，又會消耗額外開銷。

RDB 採用二進位資料壓縮的方式寫磁碟，檔案體積小，資料恢復速度快。

Redis 除了RDB 全量快照以外，還設計了AOF 寫後日誌，接下來我們一起來聊聊什麼是AOF 日誌。

AOF 寫後日誌，避免宕機資料遺失##AOF 日誌存儲的是Redis 伺服器的順序指令序列，AOF 日誌只記錄對記憶體進行修改的指令記錄。

假設AOF 日誌記錄了自Redis 實例創建以來所有的修改性指令序列，那麼就可以透過對一個空的Redis 實例順序執行所有的指令，也就是「重播」，來恢復Redis 當前實例的內存資料結構的狀態。

寫前與寫後日誌比較

寫前日誌（Write Ahead Log, WAL）： 在實際寫資料之前，將修改過的資料寫到日誌文件中，故障恢復得以保證。

例如 MySQL Innodb 儲存引擎 中的 redo log（重做日誌）便是記錄修改的資料日誌，在實際修改資料前先記錄修改日誌在執行修改資料。

寫後日誌： 先執行「寫」指令請求，將資料寫入內存，然後再記錄日誌。

AOF寫後指令

日誌格式

當Redis 接受到「set key MageByte」指令將資料寫到記憶體後，Redis 會依照以下格式寫入AOF 檔案。

• “*3”：表示目前指令分為三個部分，每個部分都是「$ 數字」開頭，緊接在後面是該部分具體的「指令、鍵、值」。

• 「數字」：表示這部分的命令、鍵、值多佔用的位元組大小。例如 “$3”表示這部分包含 3 個位元組，也就是 “set”指令。

AOF 日誌格式

「

65 哥：為什麼Redis 使用寫後日誌這種方式呢？

”

寫後日誌避免了額外的檢查開銷，不需要對執行的命令進行語法檢查。如果使用寫前日誌的話，就需要先檢查語法是否有誤，否則日誌記錄了錯誤的命令，在使用日誌恢復的時候就會出錯。

另外，寫後才記錄日誌，不會阻塞目前的「寫」指令執行。

「

65 哥：那有了 AOF 就萬無一失了麼？

」

傻孩子，可沒這麼簡單。假如 Redis 剛執行完指令，還沒記錄日誌宕機了，就有可能遺失這個指令相關的資料。

還有，AOF 避免了目前指令的阻塞，但可能會對下一個指令帶來阻塞的風險。 AOF 日誌是主執行緒執行，將日誌寫入磁碟過程中，如果磁碟壓力大就會導致寫磁碟很慢，導致後續的「寫入」指令阻塞。

發現了沒，這兩個問題與磁碟寫回有關，如果能合理的控制「寫」指令執行完後 AOF 日誌寫回磁碟的時機，問題就迎刃而解。

寫回策略

為了提高檔案的寫入效率，當使用者呼叫write 函數，將一些資料寫入到檔案的時候，作業系統通常會將寫入資料暫時保存在一個記憶體緩衝區裡面，等到緩衝區的空間被填滿、或超過了指定的時限之後，才真正將緩衝區中的資料寫入到磁碟裡面。

這種做法雖然提高了效率，但也為寫入資料帶來了安全性問題，因為如果電腦發生停機，那麼儲存在記憶體緩衝區裡面的寫入資料將會遺失。

為此，系統提供了fsync和fdatasync兩個同步函數，它們可以強制讓作業系統立即將緩衝區中的資料寫入到硬碟裡面，從而確保寫入資料的安全性。

Redis 提供的 AOF 配置項目appendfsync寫回策略直接決定 AOF 持久化功能的效率和安全性。

• always：同步寫回，寫入指令執行完畢立馬將 aof_buf緩衝區中的內容刷寫到 AOF 檔案。

• everysec：每秒寫回，寫入指令執行完，日誌只會寫到 AOF 檔案緩衝區，每隔一秒就把緩衝區內容同步到磁碟。

• no： 作業系統控制，寫執行執行完畢，把日誌寫到 AOF 檔案記憶體緩衝區，由作業系統決定何時刷寫到磁碟。

沒有兩全其美的策略，我們需要在性能和可靠性上做一個取捨。

always同步寫回可以做到資料不遺失，但是每個「寫」指令都需要寫入磁碟，效能最差。

everysec每秒寫回，避免了同步寫回的效能開銷，發生宕機可能有一秒位元寫入磁碟的資料遺失，在效能和可靠性之間做了折中。

no作業系統控制，執行寫指令後就寫入 AOF 檔案緩衝就可以執行後續的「寫」指令，效能最好，但有可能遺失很多的資料。

「

65 哥：那我該如何選擇策略呢？

」

我們可以根據系統對高效能和高可靠性的要求，來選擇寫回策略。總結一下：想要獲得高效能，就選擇No 策略；如果想要得到高可靠性保證，就選擇Always 策略；如果允許資料有點遺失，又希望效能別受太大影響的話，那就選擇Everysec 策略。

優缺點

##優點：執行成功才記錄日誌，避免了指令語法檢查開銷。同時，不會阻塞目前「寫」指令。

缺點：由於 AOF 記錄的是一個指令內容，因此具體格式請看上面的日誌格式。故障復原的時候需要執行每一個指令，如果日誌檔案太大，整個復原過程就會非常緩慢。

另外檔案系統對檔案大小也有限制，不能儲存過大文件，檔案變大，追加效率也會變低。

日誌過大：AOF 重寫機制

「

65 哥：AOF 日誌檔過大怎麼辦？

」

AOF 寫前日誌，記錄的是每個「寫」指令操作。不會像 RDB 全量快照導致效能損耗，但是執行速度沒有 RDB 快，同時日誌檔案過大也會造成效能問題，對於唯快不破的 Redis 這個真男人來說，絕對不能忍受日誌過大導致的問題。

所以，Redis 設計了一個殺手鐧“AOF 重寫機制”，Redis 提供了

bgrewriteaof指令用於對 AOF 日誌進行瘦身。

其原理是開啟一個子程序對記憶體進行遍歷轉換成一系列 Redis 的操作指令，序列化到一個新的 AOF 日誌檔。序列化完畢後再將操作期間發生的增量 AOF 日誌追加到這個新的 AOF 日誌檔中，追加完畢後就立即替代舊的 AOF 日誌檔了，瘦身工作就完成了。

「

65 哥：為啥AOF 重寫機制能縮小日誌檔呢？

」

重寫機制有「多變一」功能，將舊日誌中的多條指令，重寫後就變成一條指令了。

如下：

AOF重寫機制（修正錯誤：重寫前記錄了3 條指令）

「

65 哥：重寫後AOF 日誌變小，最後把整個資料庫最新資料的操作日誌刷寫到磁碟了。重寫會不會阻塞主執行緒呢？

」

「碼哥」上文說了，AOF 日誌是主執行緒寫回的，AOF 重寫的過程實際上後台子程序bgrewriteaof 完成，防止阻塞主執行緒。

重寫過程

和AOF 日誌由主執行緒寫回不同，重寫過程是由後台子程序bgrewriteaof 來完成的，這也是為了避免阻塞主線程，導致資料庫效能下降。

總的來說，總共出現 兩個日誌，一次拷貝記憶體資料拷貝，分別是舊的 AOF 日誌和新的 AOF 重寫日誌和 Redis 資料拷貝。

Redis 會將重寫過程中的接收到的「寫」指令操作同時記錄到舊的 AOF 緩衝區和 AOF 重寫緩衝區，這樣重寫日誌也保存最新的操作。等到拷貝資料的所有操作記錄重寫完成後，重寫緩衝區記錄的最新操作也會寫入新的 AOF 檔案。

每次AOF 重寫時，Redis 會先執行一個記憶體拷貝，用於遍歷資料產生重寫記錄；使用兩個日誌保證在重寫過程中，新寫入的資料不會遺失，並且保持資料一致性。

AOF 重寫過程

「

65 哥：AOF 重寫也有重寫日誌，為什麼它不共享使用AOF 本身的日誌呢？

」

這個問題問得好，有以下兩個原因：

1. 一個原因是父子程式寫同一個檔案必然會產生競爭問題，控制競爭就意味著會影響父進程的效能。

2. 如果 AOF 重寫過程中失敗了，那麼原本的 AOF 檔案就相當於被污染了，無法做恢復使用。所以 Redis AOF 重寫一個新文件，重寫失敗的話，直接刪除這個文件就好了，不會對原先的 AOF 文件產生影響。等重寫完成之後，直接取代舊文件即可。

Redis 4.0 混合日誌模型

重啟 Redis 時，我們很少使用 rdb 來恢復記憶體狀態，因為會遺失大量資料。我們通常使用 AOF 日誌重播，但重播 AOF 日誌效能相對 rdb 來說要慢很多，這樣在 Redis 實例很大的情況下，啟動需要花費很長的時間。

Redis 4.0 為了解決這個問題，帶來了一個新的持久化選項－混合持久化。將 rdb 檔案的內容和增量的 AOF 日誌檔案存在一起。這裡的 AOF 日誌不再是全量的日誌，而是自持久化開始到持久化結束的這段時間發生的增量 AOF 日誌，通常這部分 AOF 日誌很小。

所以在 Redis 重啟的時候，可以先載入 rdb 的內容，然後再重播增量 AOF 日誌就可以完全取代先前的 AOF 全量檔案重播，重啟效率因此大幅提升。

所以 RDB 記憶體快照以稍微慢一點的頻率執行，在兩次 RDB 快照期間使用 AOF 日誌記錄期間發生的所有「寫入」操作。

這樣快照就不用頻繁的執行，同時由於 AOF 只需要記錄兩次快照之間發生的「寫」指令，不需要記錄所有的操作，避免出現文件過大的情況。

總結

Redis 設計了bgsave 和寫入時複製，盡可能避免執行快照期間對讀寫指令的影響，頻繁快照會給磁碟帶來壓力以及fork 阻塞主線程。

Redis 設計了兩大殺手鐧實現了宕機快速恢復，資料不遺失。

避免日誌過大，提供了 AOF 重寫機制，根據資料庫的資料最新狀態，產生資料的寫入操作作為新日誌，並且透過後台完成不阻塞主執行緒。

綜合 AOF 和 RDB 在 Redis 4.0 提供了新的持久化策略，混合日誌模型。在 Redis 重新啟動的時候，可以先載入 rdb 的內容，然後再重播增量 AOF 日誌就可以完全取代先前的 AOF 全量檔案重播，重啟效率因此大幅提升。

最後，關於AOF 和RDB 的選擇問題，「碼哥位元組」有三點建議：

• 資料不能遺失時，記憶體快照和AOF 的混合使用是一個很好的選擇；

• ##如果允許分鐘層級的資料遺失，可以只使用RDB；

• 如果只用AOF，優先使用everysec 的配置選項，因為它在可靠性和效能之間取了一個平衡。

經過兩篇 Redis 系列文章，讀者朋友們對 Redis 應該有一個全局認知。

以上是Redis日誌篇：快速復原的絕招的詳細內容。更多資訊請關注PHP中文網其他相關文章！