搜尋
首頁資料庫Redis基於Redis分散式鎖的任務調度怎麼實現

在分散式大量資料收集過程中,信源的管理尤其重要。為了確保同一任務在同一時間只能被一個採集器處理,必須確保任務調度的獨特性。通常我們在進行分散式資料收集時,一般情況下都會有一個調度模組,其主要的職責就是負責採集任務的分發,同時確保任務的唯一性。

由於是分散式,涉及多台伺服器(多機),每台伺服器又涉及到多個採集器(多進程),每個採集器又有可能涉及多執行緒,所以,任務調度模組中的鎖定機制顯得特別重要。根據應用的實作架構不同,鎖的實作方式通常可以分為以下幾種型別

  • #如果處理程序是單行程多執行緒的,在python下,就可以使用threading 模組的Lock 物件來限制對共享變數的同步訪問,實現線程安全。

  • 單機多進程的情況,在 python 下,可以使用 multiprocessing 的 Lock 物件來處理。

  • 多機多進程部署的情況,就得依賴一個第三方元件(儲存鎖定物件)來實現一個分散式的同步鎖了。

由於調度模組是多機多進程多執行緒的處理機制,所以符合第三種方式。

分散式鎖定實作方式

目前主流的分散式鎖定實作方式有以下幾種:

  • 基於資料庫來實現,如mysql

  • 基於快取來實現,如redis

  • 基於zookeeper 來實作

#每種實作方式各有千秋,綜合考量,Redis是最適合的選擇。主要原因是:

  • redis 是基於記憶體來操作,存取速度比資料庫快,在高並發下,加鎖之後的效能不會下降太多

  • redis 可以設定鍵值的生存時間(TTL)

  • #redis 的使用方式簡單,整體實作開銷小

#但是,使用redis 實作的分散鎖定還需要具備以下幾個條件:

  1. 同一個時刻只能有一個執行緒佔有鎖,其他執行緒必須等待直到鎖被釋放

  2. 鎖定的操作必須滿足原子性

  3. 不會發生死鎖,例如已取得鎖定的執行緒在釋放鎖定之前突然異常退出,導致其他執行緒會一直在循環等待鎖被釋放

  4. #鎖定的新增和釋放必須由同一個執行緒來設定

#我們使用redis 來實作一個分散式同步鎖,來確保資料的一致性,需滿足一下特點:

  • 滿足互斥性,同一個時刻只能有一個線程可以獲取鎖

  • 利用redis 的ttl 來確保不會出現死鎖,但同時也會帶來由於鎖過期引發的多執行緒同時佔有鎖的問題,需要我們合理設定鎖的過期時間來避免

  • 利用鎖的唯一性來確保不會出現誤刪鎖的情況


我在實際操作過程中,把調度模組從整個採集系統中拆離了出來,基於Java客戶端Jredis(JRedis是一個高效能的Java客戶端,用來連接到Redis分散式雜湊鍵-值資料庫。一個獨立的服務,使用Spring Boot實現了同步和非同步功能。以便其他各個採集器,透過HTTP方式請求所要處理的採集任務。其處理過程大致如下:

  • 採集器透過HTTP方式,向調度中心發送任務請求;

  • ##調度中心判斷鎖定是否存在,如果存在則直接傳回空集合;

  • 如果不存在鎖,則對請求加鎖,然後根據信源規則取得對應的採集任務;

  • 返回獲取到的任務(如果沒有待處理任務,則返回空),然後刪除鎖。

調度模組的程式碼實現,大致如下所示:

public static List fetchTask(String lockK ; result = new ArrayList();

     try {

         String dicNameLock = "Dispatcher_Task_Lock";// 任務排程鎖定;#! redisHashUtils.keyIsExit(dicNameLock, lockKeyValue)) {// 判斷鎖定是否存在

         // 新增鎖定(把任務唯一性識別寫入記錄);

# ,

            DateUtil.getYMDHMS());

         // 處理任務邏輯

        則................................................ ..................

          // 移除鎖定(任務唯一性識別);

          hsdi.remove(redisHashUtils, dicNameLock, KeyKeyKeyValue);

##很抱歉,您沒有提供需要重寫的原話,無法進行重寫else {

            //上存在

      暫時回到空白集合....");

很抱歉,您沒有提供需要重寫的原話,無法進行重寫

     } catch (

     Exception e) {e.printStackTrace();

     }

#return result;

##}

##在實際的作業過程中,在進行鎖定新增時,必須為鎖定加上

過期時間
,否則出現某些不可知的異常時,可能會導致鎖定無法釋放,擷取器一直無法取得到擷取任務的情況。

以上是基於Redis分散式鎖的任務調度怎麼實現的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:亿速云。如有侵權,請聯絡admin@php.cn刪除
REDIS:它如何充當數據存儲和服務REDIS:它如何充當數據存儲和服務Apr 24, 2025 am 12:08 AM

REDISACTSASBOTHADATASTOREANDASERVICE.1)ASADATASTORE,ITUSESIN-MEMORYSTOOGATOFORFOFFASTESITION,支持VariousDatharptructuresLikeKey-valuepairsandsortedsetsetsetsetsetsetsets.2)asaservice,ItprovidespunctionslikeItionitionslikepunikeLikePublikePublikePlikePlikePlikeAndluikeAndluAascriptingiationsmpleplepleclexplectiations

REDIS與其他數據庫:比較分析REDIS與其他數據庫:比較分析Apr 23, 2025 am 12:16 AM

Redis與其他數據庫相比,具有以下獨特優勢:1)速度極快,讀寫操作通常在微秒級別;2)支持豐富的數據結構和操作;3)靈活的使用場景,如緩存、計數器和發布訂閱。選擇Redis還是其他數據庫需根據具體需求和場景,Redis在高性能、低延遲應用中表現出色。

REDIS的角色:探索數據存儲和管理功能REDIS的角色:探索數據存儲和管理功能Apr 22, 2025 am 12:10 AM

Redis在數據存儲和管理中扮演著關鍵角色,通過其多種數據結構和持久化機製成為現代應用的核心。 1)Redis支持字符串、列表、集合、有序集合和哈希表等數據結構,適用於緩存和復雜業務邏輯。 2)通過RDB和AOF兩種持久化方式,Redis確保數據的可靠存儲和快速恢復。

REDIS:了解NOSQL概念REDIS:了解NOSQL概念Apr 21, 2025 am 12:04 AM

Redis是一種NoSQL數據庫,適用於大規模數據的高效存儲和訪問。 1.Redis是開源的內存數據結構存儲系統,支持多種數據結構。 2.它提供極快的讀寫速度,適合緩存、會話管理等。 3.Redis支持持久化,通過RDB和AOF方式確保數據安全。 4.使用示例包括基本的鍵值對操作和高級的集合去重功能。 5.常見錯誤包括連接問題、數據類型不匹配和內存溢出,需注意調試。 6.性能優化建議包括選擇合適的數據結構和設置內存淘汰策略。

REDIS:現實世界的用例和示例REDIS:現實世界的用例和示例Apr 20, 2025 am 12:06 AM

Redis在現實世界中的應用包括:1.作為緩存系統加速數據庫查詢,2.存儲Web應用的會話數據,3.實現實時排行榜,4.作為消息隊列簡化消息傳遞。 Redis的多功能性和高性能使其在這些場景中大放異彩。

REDIS:探索其功能和功能REDIS:探索其功能和功能Apr 19, 2025 am 12:04 AM

Redis脫穎而出是因為其高速、多功能性和豐富的數據結構。 1)Redis支持字符串、列表、集合、散列和有序集合等數據結構。 2)它通過內存存儲數據,支持RDB和AOF持久化。 3)從Redis6.0開始引入多線程處理I/O操作,提升了高並發場景下的性能。

Redis是SQL還是NOSQL數據庫?答案解釋了Redis是SQL還是NOSQL數據庫?答案解釋了Apr 18, 2025 am 12:11 AM

RedisisclassifiedasaNoSQLdatabasebecauseitusesakey-valuedatamodelinsteadofthetraditionalrelationaldatabasemodel.Itoffersspeedandflexibility,makingitidealforreal-timeapplicationsandcaching,butitmaynotbesuitableforscenariosrequiringstrictdataintegrityo

REDIS:提高應用程序性能和可擴展性REDIS:提高應用程序性能和可擴展性Apr 17, 2025 am 12:16 AM

Redis通過緩存數據、實現分佈式鎖和數據持久化來提升應用性能和可擴展性。 1)緩存數據:使用Redis緩存頻繁訪問的數據,提高數據訪問速度。 2)分佈式鎖:利用Redis實現分佈式鎖,確保在分佈式環境中操作的安全性。 3)數據持久化:通過RDB和AOF機制保證數據安全性,防止數據丟失。

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

WebStorm Mac版

WebStorm Mac版

好用的JavaScript開發工具

SublimeText3 Linux新版

SublimeText3 Linux新版

SublimeText3 Linux最新版

VSCode Windows 64位元 下載

VSCode Windows 64位元 下載

微軟推出的免費、功能強大的一款IDE編輯器

MinGW - Minimalist GNU for Windows

MinGW - Minimalist GNU for Windows

這個專案正在遷移到osdn.net/projects/mingw的過程中,你可以繼續在那裡關注我們。 MinGW:GNU編譯器集合(GCC)的本機Windows移植版本,可自由分發的導入函式庫和用於建置本機Windows應用程式的頭檔;包括對MSVC執行時間的擴展,以支援C99功能。 MinGW的所有軟體都可以在64位元Windows平台上運作。

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器