尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
一致性哈希:让数据分布更均匀的神器
【720】一致性哈希让数据分布更均匀的神器你开了个快递站最初只有3个员工。分配包裹很简单按编号除以3取余0号员工、1号员工、2号员工。后来员工离职了只剩2个员工。你得重新分配所有包裹工作量巨大。再后来招聘新员工你又得重新分配一遍。这就像传统哈希的问题扩容和缩容时所有数据都要重新分配。一致性哈希就是来解决这个痛点的节点变动时只需要移动少量数据。一、一致性哈希的原理环形空间想象一个圆环上面有2^32个位置或者更多0 /\ 2^32/ \0 / \ / 环 \ /________\ 65536 4294967295节点映射把服务器节点映射到环上节点AHash(服务器A) 1000000 节点BHash(服务器B) 4000000 节点CHash(服务器C) 7000000数据映射把数据Key也映射到环上数据XHash(数据X) 3500000 数据YHash(数据Y) 6000000 数据ZHash(数据Z) 9000000顺时针查找数据X顺时针走遇到的第一个节点是节点B所以数据X存在节点B上。二、一致性哈希的优势场景1节点扩容新增节点DHash(“服务器D”) 5500000原来数据Y6000000在节点C数据Z9000000在节点C现在只有落在4000000~5500000之间的数据会移动到节点D其他数据不受影响场景2节点缩容节点B突然宕机只有它上面的数据需要重新分配到节点C。对比传统哈希传统N个数据全部重新分配一致性哈希只有部分数据重新分配三、虚拟节点解决数据倾斜问题来了如果三个节点分布不均匀怎么办节点A1000000 节点B4000000 节点C4000001 ← 几乎在一起大部分数据都会落在节点C上数据严重倾斜。解决方案虚拟节点每个真实节点映射多个虚拟节点节点A-1Hash(服务器A#1) 1000000 节点A-2Hash(服务器A#2) 2000000 节点A-3Hash(服务器A#3) 3000000 节点B-1Hash(服务器B#1) 4000000 节点B-2Hash(服务器B#2) 5000000 节点B-3Hash(服务器B#3) 6000000 ...这样节点在环上分布更均匀数据也会更均衡。四、实战应用Redis集群Redis Cluster使用一致性哈希16384个槽位# 计算key应该落在哪个槽slotcrc16(key)%16384# 槽映射到节点nodeslots[slot]数据库分库分表defget_shard(key):hash_keyhash(key)%(真实节点数*虚拟节点数)foriinrange(虚拟节点数):node_idx(hash_keyi)%(真实节点数*虚拟节点数)if是真实节点(node_idx):return节点[node_idx]CDN内容分发用户请求图片时通过一致性哈希选择最近的缓存节点。五、代码实现importhashlibclassConsistentHash:def__init__(self,nodesNone,virtual_nodes150):self.virtual_nodesvirtual_nodes self.ring{}self.sorted_keys[]ifnodes:fornodeinnodes:self.add_node(node)def_get_hash(self,key):计算哈希值returnint(hashlib.md5(str(key).encode()).hexdigest(),16)defadd_node(self,node):添加节点foriinrange(self.virtual_nodes):keyself._get_hash(f{node}#vn{i})self.ring[key]node self.sorted_keyssorted(self.ring.keys())defremove_node(self,node):移除节点foriinrange(self.virtual_nodes):keyself._get_hash(f{node}#vn{i})delself.ring[key]self.sorted_keyssorted(self.ring.keys())defget_node(self,key):获取key对应的节点ifnotself.ring:returnNonehash_keyself._get_hash(key)forkinself.sorted_keys:ifkhash_key:returnself.ring[k]# 环的起点returnself.ring[self.sorted_keys[0]]六、一句话总结一致性哈希让系统扩缩容时只需要移动少量数据而不是全部重新分配。配合虚拟节点还能解决数据倾斜问题是分布式系统的必备技能。
RELATED

相关推荐

树莓派与STM32串口通信实战:从硬件连接到协议设计

树莓派与STM32串口通信实战:从硬件连接到协议设计

1. 项目概述:为什么我们要折腾串口通信? 最近在整理工作室的物料,翻出来几块吃灰的树莓派4B和STM32的开发板,看着它们,一个念头就冒出来了:能不能让这两个不同“门派”的硬件核心,用一种最经典、…

📅 2026/10/4 13:40:56
STM32-S273-对讲机频道可设+语音通话+一对多+状态显示+铃音提醒+按键设置+OLED屏+声光提醒-31(设计源文件+万字报告+讲解)(支持资料、图片参考_相关定制)_

STM32-S273-对讲机频道可设+语音通话+一对多+状态显示+铃音提醒+按键设置+OLED屏+声光提醒-31(设计源文件+万字报告+讲解)(支持资料、图片参考_相关定制)_

STM32-S273-对讲机频道可设语音通话一对多状态显示铃音提醒按键设置OLED屏声光提醒-31(设计源文件万字报告讲解)(支持资料、图片参考_相关定制)_ 产品功能描述: 本系统由STM32F103C8T6单片机核心板、OLED屏、(无线蓝牙/无线WIFI/无…

📅 2026/9/17 4:03:36
STM32-270-多功能水质监测系统-31(设计源文件+万字报告+讲解)(支持资料、图片参考_相关定制)_

STM32-270-多功能水质监测系统-31(设计源文件+万字报告+讲解)(支持资料、图片参考_相关定制)_

STM32-270-多功能水质监测系统-31(设计源文件万字报告讲解)(支持资料、图片参考_相关定制)_ 产品功能描述: 本系统由STM32F103C8T6单片机核心板、TFT1.44寸彩屏液晶显示电路、(无线蓝牙/无线WIFI/无线视频监控模块-可选&#xff0…

📅 2026/9/17 4:03:35
MORE NEWS

更多资讯

📰

瓦工指挥电工证怎么考?工地太忙根本没时间复习考试怎么报名?

瓦工指挥电工证怎么考?工地太忙根本没时间复习考试怎么报名? 工地太忙根本没时间复习考试?你不是一个人。尤其是像瓦工指挥这类需要持证上岗的岗位,越来越多的项目开始要求持证人员独立操作或指挥,电工证自然成了刚需。但很多工人还在为“瓦工指挥电工证…

📰

宁波电工证报名时间表官方回应实操考试通过率全解析

宁波电工证报名时间表官方回应实操考试通过率全解析 实操考试心里没底怕挂科,尤其是对初次报考的人员来说,这几乎是所有人的共同困扰。 官方回应…

📰

考试电工证需要学什么官方回应实操考试心里没底怕挂科

考试电工证需要学什么官方回应实操考试心里没底怕挂科 你是不是也这样,手上拿着电工证的报名资料,心里却一点底都没有?实操考试心里没底怕挂科,这种焦虑每个准备考电工证的人都经历过。尤其是在郑州市政公用工程这种对操作技能要求极高的行业里,电工证不…

📰

电工证丢了还能补办么真实经历告诉你怎么操作

电工证丢了还能补办么真实经历告诉你怎么操作 之前考的证在外省能不能转过来,这个问题我听得太多了,我自己也遇到过。那天我拿着老家的低压电工证,打算在郑州找份电工活干,结果一进工地就被拦下来,说证件是外地的,得先转过来才行。说实话,当时心里有点…

📰

广西桂林电工证复审千万别踩坑,这几点你必须知道

广西桂林电工证复审千万别踩坑,这几点你必须知道 不知道去哪报名怕被中介坑?广西桂林电工证复审千万别踩坑,很多人因为选错了地方,花冤枉钱还耽误了工作进度。特别是像我们这些在郑州房建工程一线干的,电工证不仅关系到能不能上岗,还直接关系到工资和晋…

📰

特种作业操作证好考么 2025年怎么报名最稳妥

特种作业操作证好考么 2025年怎么报名最稳妥 你急需特种作业证才能上岗找工作,但又担心考试难度大、流程复杂?作为在河南鹤壁从事劳务班组管理多年的从业者,我深知这张证对普通人来说意味着什么。特种作业操作证不仅是上岗的“通行证”,更是你收入水…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬