Hack笔记

一致性哈希也不是什么新东西，我第一次看到应该是2年前看《大型网站技术架构：核心原理与案例分析》的时候，不过除了面试的时候其他时候机会没有遇到过和一致性哈希相关的内容，然后慢慢的就是书的知识，我又还给了书。我有时候觉得有些知识不用代码敲出来，自己好像还是不会一样，所以今天就动手把别人一致性哈希golang的实现搬过来。在把代码复制拷贝一份，认认真真的看了以后，感觉一致性哈希也就这样(当然有空还是要好好补补高数)。

讲一致性哈希的资料很多，随便用google搜索一下，高质量的答案很多。我如果再说感觉意义也不是很大，如果你有幸读到这篇文章，我在结尾也会放一些相关的资料链接。

Golang实现

package main

import (
	"fmt"
	"hash/crc32"
	"sort"
	"strconv"
)

type UInt32Slice []uint32

func (s UInt32Slice) Len() int {
	return len(s)
}

func (s UInt32Slice) Less(i, j int) bool {
	return s[i] < s[j]
}

func (s UInt32Slice) Swap(i, j int) {
	s[i], s[j] = s[j], s[i]
}

type Hash func(data []byte) uint32

type Map struct {
	hash     Hash
	replicas int               // 复制因子
	keys     UInt32Slice       // 已排序的节点哈希切片
	hashMap  map[uint32]string // 节点哈希和KEY的map，键是哈希值，值是节点Key
}

func New(replicas int, fn Hash) *Map {
	m := &Map{
		replicas: replicas,
		hash:     fn,
		hashMap:  make(map[uint32]string),
	}
	// 默认使用CRC32算法
	if m.hash == nil {
		m.hash = crc32.ChecksumIEEE
	}
	return m
}

func (m *Map) IsEmpty() bool {
	return len(m.keys) == 0
}

// Add 方法用来添加缓存节点，参数为节点key，比如使用IP
func (m *Map) Add(keys ...string) {
	for _, key := range keys {
		// 结合复制因子计算所有虚拟节点的hash值，并存入m.keys中，同时在m.hashMap中保存哈希值和key的映射
		for i := 0; i < m.replicas; i++ {
			hash := m.hash([]byte(strconv.Itoa(i) + key))
			m.keys = append(m.keys, hash)
			m.hashMap[hash] = key
		}
	}

	// 对所有虚拟节点的哈希值进行排序，方便之后进行二分查找
	sort.Sort(m.keys)
}

// Get 方法根据给定的对象获取最靠近它的那个节点key
func (m *Map) Get(key string) string {
	if m.IsEmpty() {
		return ""
	}

	hash := m.hash([]byte(key))

	// 通过二分查找获取最优节点，第一个节点hash值大于对象hash值的就是最优节点
	idx := sort.Search(len(m.keys), func(i int) bool { return m.keys[i] >= hash })

	// 如果查找结果大于节点哈希数组的最大索引，表示此时该对象哈希值位于最后一个节点之后，那么放入第一个节点中
	if idx == len(m.keys) {
		idx = 0
	}

	return m.hashMap[m.keys[idx]]
}

func main() {
	unique_hash := New(100, nil)
	unique_hash.Add("127.0.0.1", "192.168.1.2", "196.168.1.3")

	fmt.Println(unique_hash.Get("king"))
	fmt.Println(unique_hash.Get("niu"))
	fmt.Println(unique_hash.Get("fire"))
	fmt.Println(unique_hash.Get("water"))
	fmt.Println(unique_hash.Get("war"))
	fmt.Println(unique_hash.Get("war2"))
	fmt.Println(unique_hash.Get("war1"))
	fmt.Println(unique_hash.Get("war2"))
	fmt.Println(unique_hash.Get("women"))
	fmt.Println(unique_hash.Get("man"))
	fmt.Println(unique_hash.Get("body:1"))
}

然后你会发现当你把虚拟节点设置的越大的时候，key的分布就会越平均，当值很小的时候分布的就很不均匀了。当然这也和我们测试的key的数量有关，我就放了这几个，如果你放的越多，它可能就越平均了。

参考资料：

《使用Go实现一致性哈希》

《一致性哈希算法的理解与实践》