大家好,今天小编关注到一个比较有意思的话题,就是关于数据结构与算法(java语言描述)的问题,于是小编就整理了1个相关介绍数据结构与算法(Java语言描述)的解答,让我们一起看看吧。
JAVA面试又被问一致性hash算法,到底啥是一致性hash?
现在互联网面对的都是海量的数据和海量的用户,我们为了提高数据的读取,写入能力,一般都***用分布式的方式来存储数据,比如分布式缓存。我们有海量的数据需要缓存,所以一台机器是肯定不够的,于是我们需要将数据分布在多台机器上。
该如何决定哪些数据放在那台机器上,可以借助数据分片的思想,***用hash算法对数据取hash值,然后对机器取模,这个最终值就是存储缓存的机器编号。
但是如果数据增多,原来的10台机器不够,需要扩容到13台机器,那么原来数据是通过与10来取模的,比如15这个数据,与10取模就是5,现在与13取模就是2。机器的编号完全变了,扩容并不是简单的增加机器,而是需要重新计算机器上的缓存存储位置。这无疑是一件很头疼的问题。
所以,我们需要一种方法,是的新加入机器后,并不需要做大量的数据搬迁,这时候就需要用到一致性hash算法了。
***设我们有k个机器,数据的hash范围是[0-Max],现在我们将范围划分为m个小区间(m要远大于k),每个机器负责m/k个区间,当有新机器加入时,我们只需要将某几个小区间的数据搬运到新的机器上即可,这样既不用全部搬移数据,也保持了各个机器的数据均衡。
其实不光光是J***a面试,其它编程语言的面试过程中往往也会问及一致性Hash算法问题,不少开发者可能听说过“一致性Hash”这个术语,但却不了解什么是一致性Hash,一致性Hash是用来解决什么问题的。
不少人容易把“Hash算法”与“一致性Hash算法”混淆,甚至认为两者是同个意思。其实,“Hash算法”与“一致性Hash算法”是不同的概念,“一致性Hash算法”是一种特殊的“Hash算法”!
1、Hash算法
Hash算法有很多种说法,如:散列函数、哈希算法等,它是一种函数,用来把任意长度的内容通过Hash算法转换为固定长度的输出。
常见的Hash算法有:MD5、SHA1等。MD5都用过,任何长度的字符串经过MD5处理后会得到固长的Hash值。
2、一致性Hash算法
一致性Hash算法是在Hash算法基础上建立和改进的,它是一种分布式算法,能确保数据的分布平衡性,常用于负载均衡类的应用。
1、普通取模Hash
普通取模(余数)Hash算法很简单,就是:Hash值 % 节点数 。这种方式,一旦节点数变化了,原先的Hash结果与节点的映射全部失效!
一致性hash算法,常被应用到分布式集群缓存中。
其原理主要是把节点(做缓存的物理主机,如IP)和数据(要缓存的具体数据)都做一次哈希运算,然后把数据缓存到哈希运算后离得最近的节点上去。
此处借个图
其中,右边的深蓝色的表示节点,橘色的表示数据,然后按顺时针方向去寻找最近的节点就可以了……
需要注意的地方有
第一,节点和数据在哈希运算(取模)过程中用到的除数是一致的。如节点的哈希运算为hash(服务器的IP地址)% 2^32,数据的哈希运算为hash (数据名称)% 2^32等。
第二,哈希运算后,所有的结果都分布在一个哈希环上。
第三,节点的分布可能并不是均衡的,所以会加入左边浅蓝色的虚拟节点。
优点
万一有节点挂掉或者新加节点,不会影响其它的节点和缓存数据,原因很简单,就在那个取模的除数上。
到此,以上就是小编对于数据结构与算法(j***a语言描述)的问题就介绍到这了,希望介绍关于数据结构与算法(j***a语言描述)的1点解答对大家有用。