搜尋
首頁資料庫Redis詳細介紹訊息隊列的概念、原則及使用場景(附案例)

詳細介紹訊息隊列的概念、原則及使用場景(附案例)

眾所周知在對網站設計的時候,會遇到給用戶“群發短信”,“訂單系統有大量的日誌”,“秒殺設計”等,服務器沒法處理這種瞬間迸發的壓力,這種情況要確保系統正常有效的使用,就需要「訊息佇列」的幫助。本篇主要透過訊息佇列的思路進行學習。

主要了解以下知識:

  1、隊列是個什麼東西,他能幹嘛?

  2、對列的應用場景有哪些?

  3、如何使用佇列對業務進行解偶?

  4、如何使用Redis隊列來消除高壓力?

  5、專業的對列系統RabbitMQ如何使用?

歸納如下主要內容

  @訊息佇列的概念,原理與場景

  @解耦案例:佇列處理訂單系統和配送系統

  @流量削峰案例:Redis的List類型實作秒殺

  @RabbitMQ:更專業的訊息系統實作方案

#  @RabbitMQ:更專業的訊息系統實作方案

一、認識訊息佇列

1.1 訊息對列概念

本質上說訊息對列就是一個佇列結構的中間件,也就是說訊息放入這個中間件之後就可以直接回傳,並不需要係統立即處理,而另外會有一個程式讀取這些數據,並依序進行逐次處理。

也就是說當你遇到一個並發特別大並且耗時特別長同時還不需要立即返回處理結果,使用訊息佇列可以解決這類問題。

1.2 核心結構

由一個業務系統進行入隊,把訊息逐次插入到訊息佇列中,插入成功之後直接返回成功的結果,後續會有一個訊息處理系統,這個系統會把訊息系統中的紀錄逐次取出並處理,完成一個出隊的流程。

1.3 應用場景

資料冗餘:例如訂單系統,後續需要嚴格的進行資料轉換和記錄,訊息佇列可以把這些資料持久化的儲存在佇列中,然後有訂單,後續處理程序進行獲取,後續處理完之後在把這條記錄進行刪除來保證每一條記錄都能夠處理完成。

系統解耦:使用訊息系統之後,入隊系統和出隊系統是分開的,也就說只要一天崩潰了,不會影響另外一台系統正常運作。

流量削峰:例如秒殺和搶購,我們可以配合快取來使用訊息佇列,能夠有效的頂住瞬間訪問量,防止伺服器承受不住導致崩潰。

非同步通訊:訊息本身使用入隊之後可以直接回傳。

擴充功能:例如訂單佇列,不僅可以處理訂單,還可以給其他業務使用。

排序保證:有些場景需要按照產品的順序進行處理例如單進單出從而保證資料按照一定的順序處理,使用訊息佇列是可以的。

以上都是訊息佇列常見的使用場景,當然訊息佇列只是一個中間件,可以配合其他產品來使用。

1.4 常見佇列實作優缺點

佇列媒體

1、資料庫,例如mysql(可靠性高,易實現,速度慢)

2 、緩存, 例如redis (速度快,單一訊息報包過大時效率低)

3、訊息系統,例如rabbitMq (專業性強,可靠,學習成本高)

訊息處理觸發機制1、死循環方式讀取:易實現,故障時無法及時恢復;(比較適合做秒殺,比較集中,維運集中維護)2、定時任務:壓力均分,有處理上限;目前比較流行的處理觸發機制。 (唯一的缺點是間隔和資料需要注意,不要等上一個任務沒有完成下一個任務又開始了)#3、守護程式:類似php-fpm 和php-cg,需要shell基礎

二、解藕案例:佇列處理「

訂單系統

」和「###配送系統###」#########對於訂單流程,我們可以設計兩個系統,一個是“訂單系統” 另外一個是“配送系統”, 在網購的時候我們應該都見過,當我提交了一個訂單之後,我在後台可以看到我的貨物正在配送中。這個時候就要參與一個「配送系統」。 ######如果我們在做架構的時候把「訂單系統」 和「配送系統」 設計在一起的話就會出現一些問題,首先對於訂單系統來說,因為系統的壓力會比較大,但是"配送系統" 沒必要為這些壓力做一些即時的反應。 ###

第二個我們也不希望在訂單系統故障之後導致配送系統也出現故障,這個時候就會同時影響到兩個系統的正常運作。所以我們希望把這兩個系統進行解耦。這兩個系統分開之後我們可以透過一個中間的 「隊列表」 進行這兩個系統的溝通。

2.1 架構設計

詳細介紹訊息隊列的概念、原則及使用場景(附案例)

1、先訂單系統會接收使用者的訂單,然後進行訂單的處理。

2、然後會把這些訂單資訊寫到隊伍清單中,這個隊清單是溝通這兩個系統的關鍵。

3、由配送系統定時執行的一個程式來讀取隊列表進行處理。

4、配送系統處理之後,會把已處理的記錄標記。

2.2 程式流程

詳細介紹訊息隊列的概念、原則及使用場景(附案例)

三、流量削峰案例:Redis 的list 類型實作秒殺

redis基於內存,它的速度會非常快,redis 對資料庫有一個非常好的補充作用因為它是可持久化的,redis會週期性的把數據寫到硬碟裡,所以它不用擔心斷電的問題,從這方面說它比另一款快取memcache 更有優勢些,另外redis 提供五種資料型別(字串,雙向鍊錶,哈希,集合,有序集合)

一般情況下,做秒殺案例,搶購,瞬間高比你高發,需要排隊的案例中redis是一個很好的選擇。

3.1 redis資料型別中的 list 型別

  redis 的list 是雙向鍊錶,可以從頭部或尾部追加資料。

  * LPUSH/LPUSHX :將值插入到(/存在的)列表頭部

  * RPUSH/RPUSHX: 將值插入到(/存在的)列表尾部

  * LPOP : 移除並取得清單的第一個元素

  * RPOP: 移除並取得清單的最後一個元素

  * LTRIM: 保留指定區間內的元素

#  * LLEN: 取得清單長度

  * LSET: 透過索引設定清單元素的值

  * LINDEX: 透過索引取得清單中的元素

##  * LRANGE:取得清單指定範圍內的元素

3.2 架構設計

一個簡單結構秒殺的程式設計。

1、首先記錄是哪一個使用者參與了秒殺同時記錄他的時間。

2、將使用者的id存到redis清單中,讓它排隊。如果規定只有前10個使用者可以參與成功,如果清單中的個數已經夠了就不會讓它繼續追加資料。這樣redis的列表長度只會是10個

3、最後在慢慢的將redis中的資料寫入到資料庫中,以減少資料的壓力

3.3 程式碼級設計

1、當使用者開始秒殺時,將秒殺程式的請求寫入Redis (uid, time_stamp)。

2、假使規定只有10人可以秒殺成功,檢查 Redis 已經存放資料的長度,超出上限直接丟棄說明秒殺完成。

3、最後在死循環處理存入Redis中的10條數據,然後在慢慢的取數據並存入到mysql資料庫中。

在秒殺這一塊對資料庫的壓力特別的大,如果我們沒有這樣的設計,會造成mysql的寫入瓶頸。我們透過Redis的一個對列list,然後把秒殺的請求放入到Redis裡面, 最後透過入庫程序,把資料慢慢的寫入到資料庫,這樣的話就可以實現流量的均衡,對mysql不會造成太大的壓力。

四、RabbitMQ

這裡講解一些RabbitMQ的使用,首先我們之前講秒殺案例的時候提到了鎖的機制,防止其他程序處理同一筆記錄,如果我們的系統架構非常的複雜,有多個程序實時的讀取一個隊列,或者我有多個發送程序,同時來操作一個或多個隊列,甚至我還想這些程序分佈在不同的機器上,這種情況下用redis隊列就有些力不從心了。這種時候該怎麼辦呢,我們就需要來引進一些更專業的訊息佇列系統,這些系統可以更好的來解決問題。

4.1 RabbitMQ的架構與原理

 特性:完整的實現了AMQP,群集簡化,持久化,跨平台

#RabbitMQS使用

1、RabbitMQ安裝(rabbitmq-server, php-amqplib)

2、生產者向訊息通道發送訊息

3、消費者處理訊息

工作佇列

想法:由生產者傳送給訊息系統,訊息系統把任務封裝成訊息佇列之後,然後供多個消費者使用同一個佇列

這不僅解決了生產者和消費者之間的解耦,還可以實現了消費者和任務的共享,減緩了伺服器的壓力。

五、總結

以上主要學習訊息佇列的概念,原理,場景。解耦案例,以及了解RabbitMQ的簡單使用方法。

六、問題

redis 和訊息伺服器 選擇的最大差異是什麼。

我的理解是Redis 是一個處理請求,redis屬於單一線程,它和訊息伺服器IO 的實作方式不同,一個是同步一個是異步,而redis使用的是同步阻塞,而訊息伺服器使用的是異步非阻塞。

更多Redis相關知識,請造訪Redis使用教學欄位!  

以上是詳細介紹訊息隊列的概念、原則及使用場景(附案例)的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:博客园。如有侵權,請聯絡admin@php.cn刪除
REDIS的角色:探索數據存儲和管理功能REDIS的角色:探索數據存儲和管理功能Apr 22, 2025 am 12:10 AM

Redis在數據存儲和管理中扮演著關鍵角色,通過其多種數據結構和持久化機製成為現代應用的核心。 1)Redis支持字符串、列表、集合、有序集合和哈希表等數據結構,適用於緩存和復雜業務邏輯。 2)通過RDB和AOF兩種持久化方式,Redis確保數據的可靠存儲和快速恢復。

REDIS:了解NOSQL概念REDIS:了解NOSQL概念Apr 21, 2025 am 12:04 AM

Redis是一種NoSQL數據庫,適用於大規模數據的高效存儲和訪問。 1.Redis是開源的內存數據結構存儲系統,支持多種數據結構。 2.它提供極快的讀寫速度,適合緩存、會話管理等。 3.Redis支持持久化,通過RDB和AOF方式確保數據安全。 4.使用示例包括基本的鍵值對操作和高級的集合去重功能。 5.常見錯誤包括連接問題、數據類型不匹配和內存溢出,需注意調試。 6.性能優化建議包括選擇合適的數據結構和設置內存淘汰策略。

REDIS:現實世界的用例和示例REDIS:現實世界的用例和示例Apr 20, 2025 am 12:06 AM

Redis在現實世界中的應用包括:1.作為緩存系統加速數據庫查詢,2.存儲Web應用的會話數據,3.實現實時排行榜,4.作為消息隊列簡化消息傳遞。 Redis的多功能性和高性能使其在這些場景中大放異彩。

REDIS:探索其功能和功能REDIS:探索其功能和功能Apr 19, 2025 am 12:04 AM

Redis脫穎而出是因為其高速、多功能性和豐富的數據結構。 1)Redis支持字符串、列表、集合、散列和有序集合等數據結構。 2)它通過內存存儲數據,支持RDB和AOF持久化。 3)從Redis6.0開始引入多線程處理I/O操作,提升了高並發場景下的性能。

Redis是SQL還是NOSQL數據庫?答案解釋了Redis是SQL還是NOSQL數據庫?答案解釋了Apr 18, 2025 am 12:11 AM

RedisisclassifiedasaNoSQLdatabasebecauseitusesakey-valuedatamodelinsteadofthetraditionalrelationaldatabasemodel.Itoffersspeedandflexibility,makingitidealforreal-timeapplicationsandcaching,butitmaynotbesuitableforscenariosrequiringstrictdataintegrityo

REDIS:提高應用程序性能和可擴展性REDIS:提高應用程序性能和可擴展性Apr 17, 2025 am 12:16 AM

Redis通過緩存數據、實現分佈式鎖和數據持久化來提升應用性能和可擴展性。 1)緩存數據:使用Redis緩存頻繁訪問的數據,提高數據訪問速度。 2)分佈式鎖:利用Redis實現分佈式鎖,確保在分佈式環境中操作的安全性。 3)數據持久化:通過RDB和AOF機制保證數據安全性,防止數據丟失。

REDIS:探索其數據模型和結構REDIS:探索其數據模型和結構Apr 16, 2025 am 12:09 AM

Redis的數據模型和結構包括五種主要類型:1.字符串(String):用於存儲文本或二進制數據,支持原子操作。 2.列表(List):有序元素集合,適合隊列和堆棧。 3.集合(Set):無序唯一元素集合,支持集合運算。 4.有序集合(SortedSet):帶分數的唯一元素集合,適用於排行榜。 5.哈希表(Hash):鍵值對集合,適合存儲對象。

REDIS:對其數據庫方法進行分類REDIS:對其數據庫方法進行分類Apr 15, 2025 am 12:06 AM

Redis的數據庫方法包括內存數據庫和鍵值存儲。 1)Redis將數據存儲在內存中,讀寫速度快。 2)它使用鍵值對存儲數據,支持複雜數據結構,如列表、集合、哈希表和有序集合,適用於緩存和NoSQL數據庫。

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

強大的PHP整合開發環境

mPDF

mPDF

mPDF是一個PHP庫,可以從UTF-8編碼的HTML產生PDF檔案。原作者Ian Back編寫mPDF以從他的網站上「即時」輸出PDF文件,並處理不同的語言。與原始腳本如HTML2FPDF相比,它的速度較慢,並且在使用Unicode字體時產生的檔案較大,但支援CSS樣式等,並進行了大量增強。支援幾乎所有語言,包括RTL(阿拉伯語和希伯來語)和CJK(中日韓)。支援嵌套的區塊級元素(如P、DIV),

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

PhpStorm Mac 版本

PhpStorm Mac 版本

最新(2018.2.1 )專業的PHP整合開發工具

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具