搜尋
首頁資料庫Redis淺談Redis中的RDB和AOF持久化模式缺陷

這篇文章跟大家介紹一下Redis 2種持久化模式(RDB和AOF)的缺陷。有一定的參考價值,有需要的朋友可以參考一下,希望對大家有幫助。

淺談Redis中的RDB和AOF持久化模式缺陷

【相關推薦:Redis影片教學

一、RDB持久化模式缺陷

1、問題描述:

並發200路,模擬不斷寫Redis,持續4小時後,介面呼叫開始出現大量失敗,錯誤訊息如下:

{"data":{"sendResult":null},"base":{"returncode":"99999","returndesc":"系统异常:MISCONF Redis is configured to save RDB snapshots, but is currently not able to persist on disk. Commands that may modify the data set are disabled. Please check Redis logs for details about the error."},"qrybase":{"total":0,"count":0,"start":0}}

2、原因分析:

解讀錯誤訊息,以為是磁碟不夠用引起,結果發現磁碟還剩餘42%,如下所示:

淺談Redis中的RDB和AOF持久化模式缺陷

於是根據錯誤訊息提示開啟Redis日誌,繼續壓測,介面仍會報錯,但可從Redis日誌訊息中

Can't save in background: fork: Cannot allocate memory

#程式使用記憶體不當有關,查看Redis主進程佔用記憶體如下:佔用近55%*4G記憶體

淺談Redis中的RDB和AOF持久化模式缺陷

#具體原因:Redis在儲存資料到硬碟時為了避免主進程假死,需要Fork一份主進程,然後在Fork進程內完成資料保存到硬碟的操作,如果主進程使用了2.2GB的內存,Fork子進程的時候需要額外的2.2GB,此時內存就不夠了,Fork失敗,進而數據保存硬碟也失敗了。

3、緩解方案(無法完全解決問題):

3.1 修改redis.conf檔案中設定項stop-writes-on-bgsave-error no (預設值為yes),即當bgsave快照操作出錯時停止寫資料到磁碟,這樣後面寫錯做都會失敗,為了不影響後續寫入操作,故需將該項值改為no

3.2 修改核心參數(如下3種方式),但需要root權限:

(1)	编辑/etc/sysctl.conf ,改vm.overcommit_memory=1,然后sysctl -p 使配置文件生效
(2)sysctl vm.overcommit_memory=1
(3)echo 1 > /proc/sys/vm/overcommit_memory

二、AOF持久化模式缺陷

1、問題1描述:

Redis主從節點皆開啟AOF模式,並發200路,模擬不斷寫Redis,持續15分鐘後,介面呼叫開始出現大量失敗,且Redis所在的Linux虛擬伺服器掛起。

介面報錯如下:

{"data":null,"base":{"returndesc":"系统异常","returncode":"999999"},"qrybase":null}
Biz(dubbo)接口报错如下:
2015-06-05 11:28:28.760 [DubboServerHandler-X.X.X.X:20882-thread-173] ERROR  - error while validate jedis!
redis.clients.jedis.exceptions.JedisConnectionException: java.net.SocketTimeoutException: Read timed out

原因分析:

從dubbo介面報錯資訊來看,是因為介面API操作Redis逾時導致。從系統日誌與IO監控來看,均說明上述問題是由於IO瓶頸(系統IO過於繁忙)所致,如下所示:

淺談Redis中的RDB和AOF持久化模式缺陷

淺談Redis中的RDB和AOF持久化模式缺陷

#從系統日誌也能看出,IO阻塞時間超過了120秒,由於系統安全機制導致機器掛起。

總結######測試結果證明AOF模式有最明顯缺陷,即訪問壓力大時IO會成為效能瓶頸,進而導致服務不可用。 ######3、緩解方案(不能根本解決問題)######編輯/etc/sysctl.conf ,新增以下設定:###
vm.dirty_background_ratio = 5
vm.dirty_ratio = 10
###然後sysctl -p 使設定檔生效。 ######問題2描述:#######無論採用AOF模式或RDB(快照模式),當兩個檔案(.aof或.rdb)大小超過系統記憶體80%,Redis進程會被系統Kill掉,導致服務不可用。 ######總結######上述問題說明我們在使用Redis時需要事先做好系統記憶體的容量規劃,因為一旦Redis宕掉會導致大量資料遺失且是不可恢復的。 ######更多程式相關知識,請造訪:###程式設計影片###! ! ###

以上是淺談Redis中的RDB和AOF持久化模式缺陷的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:csdn。如有侵權,請聯絡admin@php.cn刪除
REDIS:它如何充當數據存儲和服務REDIS:它如何充當數據存儲和服務Apr 24, 2025 am 12:08 AM

REDISACTSASBOTHADATASTOREANDASERVICE.1)ASADATASTORE,ITUSESIN-MEMORYSTOOGATOFORFOFFASTESITION,支持VariousDatharptructuresLikeKey-valuepairsandsortedsetsetsetsetsetsetsets.2)asaservice,ItprovidespunctionslikeItionitionslikepunikeLikePublikePublikePlikePlikePlikeAndluikeAndluAascriptingiationsmpleplepleclexplectiations

REDIS與其他數據庫:比較分析REDIS與其他數據庫:比較分析Apr 23, 2025 am 12:16 AM

Redis與其他數據庫相比,具有以下獨特優勢:1)速度極快,讀寫操作通常在微秒級別;2)支持豐富的數據結構和操作;3)靈活的使用場景,如緩存、計數器和發布訂閱。選擇Redis還是其他數據庫需根據具體需求和場景,Redis在高性能、低延遲應用中表現出色。

REDIS的角色:探索數據存儲和管理功能REDIS的角色:探索數據存儲和管理功能Apr 22, 2025 am 12:10 AM

Redis在數據存儲和管理中扮演著關鍵角色,通過其多種數據結構和持久化機製成為現代應用的核心。 1)Redis支持字符串、列表、集合、有序集合和哈希表等數據結構,適用於緩存和復雜業務邏輯。 2)通過RDB和AOF兩種持久化方式,Redis確保數據的可靠存儲和快速恢復。

REDIS:了解NOSQL概念REDIS:了解NOSQL概念Apr 21, 2025 am 12:04 AM

Redis是一種NoSQL數據庫,適用於大規模數據的高效存儲和訪問。 1.Redis是開源的內存數據結構存儲系統,支持多種數據結構。 2.它提供極快的讀寫速度,適合緩存、會話管理等。 3.Redis支持持久化,通過RDB和AOF方式確保數據安全。 4.使用示例包括基本的鍵值對操作和高級的集合去重功能。 5.常見錯誤包括連接問題、數據類型不匹配和內存溢出,需注意調試。 6.性能優化建議包括選擇合適的數據結構和設置內存淘汰策略。

REDIS:現實世界的用例和示例REDIS:現實世界的用例和示例Apr 20, 2025 am 12:06 AM

Redis在現實世界中的應用包括:1.作為緩存系統加速數據庫查詢,2.存儲Web應用的會話數據,3.實現實時排行榜,4.作為消息隊列簡化消息傳遞。 Redis的多功能性和高性能使其在這些場景中大放異彩。

REDIS:探索其功能和功能REDIS:探索其功能和功能Apr 19, 2025 am 12:04 AM

Redis脫穎而出是因為其高速、多功能性和豐富的數據結構。 1)Redis支持字符串、列表、集合、散列和有序集合等數據結構。 2)它通過內存存儲數據,支持RDB和AOF持久化。 3)從Redis6.0開始引入多線程處理I/O操作,提升了高並發場景下的性能。

Redis是SQL還是NOSQL數據庫?答案解釋了Redis是SQL還是NOSQL數據庫?答案解釋了Apr 18, 2025 am 12:11 AM

RedisisclassifiedasaNoSQLdatabasebecauseitusesakey-valuedatamodelinsteadofthetraditionalrelationaldatabasemodel.Itoffersspeedandflexibility,makingitidealforreal-timeapplicationsandcaching,butitmaynotbesuitableforscenariosrequiringstrictdataintegrityo

REDIS:提高應用程序性能和可擴展性REDIS:提高應用程序性能和可擴展性Apr 17, 2025 am 12:16 AM

Redis通過緩存數據、實現分佈式鎖和數據持久化來提升應用性能和可擴展性。 1)緩存數據:使用Redis緩存頻繁訪問的數據,提高數據訪問速度。 2)分佈式鎖:利用Redis實現分佈式鎖,確保在分佈式環境中操作的安全性。 3)數據持久化:通過RDB和AOF機制保證數據安全性,防止數據丟失。

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

VSCode Windows 64位元 下載

VSCode Windows 64位元 下載

微軟推出的免費、功能強大的一款IDE編輯器

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

強大的PHP整合開發環境

MantisBT

MantisBT

Mantis是一個易於部署的基於Web的缺陷追蹤工具,用於幫助產品缺陷追蹤。它需要PHP、MySQL和一個Web伺服器。請查看我們的演示和託管服務。

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

mPDF

mPDF

mPDF是一個PHP庫,可以從UTF-8編碼的HTML產生PDF檔案。原作者Ian Back編寫mPDF以從他的網站上「即時」輸出PDF文件,並處理不同的語言。與原始腳本如HTML2FPDF相比,它的速度較慢,並且在使用Unicode字體時產生的檔案較大,但支援CSS樣式等,並進行了大量增強。支援幾乎所有語言,包括RTL(阿拉伯語和希伯來語)和CJK(中日韓)。支援嵌套的區塊級元素(如P、DIV),