首页  >  文章  >  后端开发  >  KV Store 中的密钥是如何锁定的?

KV Store 中的密钥是如何锁定的?

WBOY
WBOY转载
2024-02-09 13:20:09912浏览

KV Store 中的密钥是如何锁定的?

php小编子墨将为您揭开KV Store中密钥锁定的奥秘。在KV Store中,密钥的锁定是通过一系列复杂的算法和技术实现的。首先,系统会为每个密钥生成一个唯一的标识符,并将其与对应的值存储在数据库中。同时,系统还会采用哈希函数对密钥进行加密,确保其安全性。此外,系统还会使用访问控制列表(ACL)来限制对密钥的访问权限,只有授权的用户才能进行读写操作。通过这些安全措施,KV Store保证了密钥的安全性和可靠性,为用户提供了安全可靠的数据存储服务。

问题内容

我正在构建一个分布式 kv 存储,只是为了更多地了解分布式系统和并发性。我正在构建的 kv 存储的实现是完全事务性的,具有内存中事务日志。为了简单起见,存储也完全位于内存中。该 api 公开 getinsertupdateremove。请注意,所有端点都在单个键上运行,而不是在一系列键上运行。

我通过锁管理并发。但是,我有一个全局锁来锁定整个数据存储。这听起来效率非常低,因为如果我想在更新 k2 时读取 k1 的值,我必须等待 k2 完成更新,尽管不相关。

我知道有些数据库使用更细粒度的锁定。例如,在 mysql 服务器中存在行级锁。键级锁如何实现?

我有

type storage struct {
  store map[string]int32
}

我应该添加这样的东西吗?:

type Storage struct {
  store map[string]int32
  locks map[string]mutex.Lock
}

如果我这样做,问题是 locks 必须与 store 保持同步。另一种选择是合并两个映射,但即便如此,如果 remove 请求出现在 get 之前,我也会遇到在锁定时删除映射中的条目的问题。

解决方法

概念部分

交易

首先,强一致性不需要事务日志。事务日志对于维护 acid 属性非常有用。

事务也不是数据库中强一致性的严格要求,但它们可以成为在许多情况下确保一致性的有用工具。

强一致性是指确保数据库的所有读取都将返回最近的写入的属性,无论读取操作在何处执行。换句话说,强一致性保证所有客户端都会看到相同的数据,并且数据在整个系统中都是最新的和一致的。

您可以使用paxos或raft等共识算法来保证强一致性。存储数据时,可以将数据存储一个版本,并将其作为paxos中的id。

锁定 kv 存储

在键值(kv)存储中,键通常使用某种锁定机制来锁定,例如互斥锁或读写器锁(如@paulsm4所建议)。这允许多个线程或进程同时访问和修改 kv 存储中的数据,同时仍然确保数据保持一致和正确。

例如,当线程或进程想要读取或修改 kv 存储中的特定键时,它可以获取该键的锁。这可以防止其他线程或进程同时修改同一键,从而导致竞争条件和其他问题。一旦线程或进程完成读取或修改密钥,就可以释放锁,允许其他线程或进程访问该密钥。

如何在 kv 存储中锁定密钥的具体细节可能会有所不同,具体取决于 kv 存储的实现。一些 kv 存储可能会使用全局锁(正如您已经在做的那样,这有时效率很低)来锁定整个数据存储,而其他 kv 存储可能会使用更细粒度的锁定机制,例如行级锁或键级锁,以允许更多的操作。并发访问数据。

所以,tldr;从概念上讲,你是对的。问题在于锁定的实现细节。

编码

要严格回答有关锁定的问题,可以考虑读写器锁 正如@paulsm4 所建议的。在golang中,类似的锁是 rwmutexrwmutex。它用于 sync。 map。它用于 sync。 map.

这是一个简短的示例:

type Storage struct {
  store sync.Map // a concurrent map
}

// GET retrieves the value for the given key.
func (s *Storage) GET(key string) (int32, error) {
  // Acquire a read lock for the key.
  v, ok := s.store.Load(key)
  if !ok {
    return 0, fmt.Errorf("key not found: %s", key)
  }

  // Return the value.
  return v.(int32), nil
}

// INSERT inserts the given key-value pair into the data store.
func (s *Storage) INSERT(key string, value int32) error {
  // Acquire a write lock for the key.
  s.store.Store(key, value)
  return nil
}

// UPDATE updates the value for the given key.
func (s *Storage) UPDATE(key string, value int32) error {
  // Acquire a write lock for the key.
  s.store.Store(key, value)
  return nil
}

// REMOVE removes the key-value pair for the given key from the data store.
func (s *Storage) REMOVE(key string) error {
  // Acquire a write lock for the key.
  s.store.Delete(key)
  return nil
}

除此之外,您还需要 paxos 以确保副本之间的一致性。

以上是KV Store 中的密钥是如何锁定的?的详细内容。更多信息请关注PHP中文网其他相关文章!

声明:
本文转载于:stackoverflow.com。如有侵权,请联系admin@php.cn删除