Redis 跳跃表的原理和实现

1.1 什么是跳跃表

1.2跳跃表的插入

二、Redis跳跃表

2.1 Redis中跳跃表的实现

2.2 Redis跳跃表常用操作的时间复杂度

本文重点

一、复习跳跃表

1.1 什么是跳跃表

    对于一个单链表来讲，即便链表中存储的数据是有序的，如果我们要想在其中查找某个数据，也只能从头到尾遍历链表。这样查找效率就会很低，时间复杂度会很高，是 O(n)。

    如果我们想要提高其查找效率，可以考虑在链表上建索引的方式。每两个结点提取一个结点到上一级，我们把抽出来的那一级叫作索引。

    这个时候，我们假设要查找节点8，我们可以先在索引层遍历，当遍历到索引层中值为 7 的结点时，发现下一个节点是9，那么要查找的节点8肯定就在这两个节点之间。我们下降到链表层继续遍历就找到了8这个节点。原先我们在单链表中找到8这个节点要遍历8个节点，而现在有了一级索引后只需要遍历五个节点。

    从这个例子里，我们看出，加来一层索引之后，查找一个结点需要遍的结点个数减少了，也就是说查找效率提高了，同理再加一级索引。

    从图中我们可以看出，查找效率又有提升。在例子中我们的数据很少，当有大量的数据时，我们可以增加多级索引，其查找效率可以得到明显提升。

    像这种链表加多级索引的结构，就是跳跃表！

1.2跳跃表的插入

首先我们需要插入几个数据。链表开始时是空的。

插入 level = 3，key = 1
当我们插入 level = 3，key = 1 时，结果如下：

 插入 level = 1，key = 2
当继续插入 level = 1，key = 2 时，结果如下

 插入 level = 2，key = 3
当继续插入 level = 2，key = 3 时，结果如下

 插入 level = 3，key = 5
当继续插入 level = 3，key = 5 时，结果如下

 插入 level = 1，key = 66
当继续插入 level = 1，key = 66 时，结果如下

 插入 level = 2，key = 100
当继续插入 level = 2，key = 100 时，结果如下

二、Redis跳跃表

    Redis使用跳跃表作为有序集合键的底层实现之一,如果一个有序集合包含的元素数量比较多,又或者有序集合中元素的成员是比较长的字符串时, Redis就会使用跳跃表来作为有序集合健的底层实现。

    这里我们需要思考一个问题——为什么元素数量比较多或者成员是比较长的字符串的时候Redis要使用跳跃表来实现？

    从上面我们可以知道，跳跃表在链表的基础上增加了多级索引以提升查找的效率，但其是一个空间换时间的方案，必然会带来一个问题——索引是占内存的。原始链表中存储的有可能是很大的对象，而索引结点只需要存储关键值值和几个指针，并不需要存储对象，因此当节点本身比较大或者元素数量比较多的时候，其优势必然会被放大，而缺点则可以忽略。

2.1 Redis中跳跃表的实现

    Redis的跳跃表由zskiplistNode和skiplist两个结构定义,其中 zskiplistNode结构用于表示跳跃表节点,而 zskiplist结构则用于保存跳跃表节点的相关信息,比如节点的数量,以及指向表头节点和表尾节点的指针等等。

      上图展示了一个跳跃表示例,其中最左边的是 skiplist结构,该结构包含以下属性。

• header:指向跳跃表的表头节点，通过这个指针程序定位表头节点的时间复杂度就为O(1)

• tail:指向跳跃表的表尾节点,通过这个指针程序定位表尾节点的时间复杂度就为O(1)

• level:记录目前跳跃表内,层数最大的那个节点的层数(表头节点的层数不计算在内)，通过这个属性可以再O(1)的时间复杂度内获取层高最好的节点的层数。

• length:记录跳跃表的长度,也即是,跳跃表目前包含节点的数量(表头节点不计算在内)，通过这个属性，程序可以再O(1)的时间复杂度内返回跳跃表的长度。

  结构右方的是四个 zskiplistNode结构,该结构包含以下属性

• 层(level):

      节点中用L1、L2、L3等字样标记节点的各个层,L1代表第一层,L代表第二层,以此类推。

      每个层都带有两个属性:前进指针和跨度。前进指针用于访问位于表尾方向的其他节点,而跨度则记录了前进指针所指向节点和当前节点的距离(跨度越大、距离越远)。在上图中,连线上带有数字的箭头就代表前进指针,而那个数字就是跨度。当程序从表头向表尾进行遍历时,访问会沿着层的前进指针进行。

      每次创建一个新跳跃表节点的时候,程序都根据幂次定律(powerlaw,越大的数出现的概率越小)随机生成一个介于1和32之间的值作为level数组的大小,这个大小就是层的“高度”。

• 后退(backward)指针：

      节点中用BW字样标记节点的后退指针,它指向位于当前节点的前一个节点。后退指针在程序从表尾向表头遍历时使用。与前进指针所不同的是每个节点只有一个后退指针，因此每次只能后退一个节点。

• 分值(score):

      各个节点中的1.0、2.0和3.0是节点所保存的分值。在跳跃表中,节点按各自所保存的分值从小到大排列。

• 成员对象(oj):

      各个节点中的o1、o2和o3是节点所保存的成员对象。在同一个跳跃表中,各个节点保存的成员对象必须是唯一的,但是多个节点保存的分值却可以是相同的:分值相同的节点将按照成员对象在字典序中的大小来进行排序,成员对象较小的节点会排在前面(靠近表头的方向),而成员对象较大的节点则会排在后面(靠近表尾的方向)。

import java.util.ArrayList;
import java.util.List;
import java.util.Random;
/**
 * 实现跳跃表
 */
public class SkipList<T> {
    public static void main(String[] args) {
        SkipList<String> list = new SkipList<>();
        list.put(1, "1");
        list.put(2, "2");
        list.put(3, "3");
        list.put(5, "5");
        list.put(100, "100");
        list.put(66, "66");

        System.out.println(list);
        System.out.println("查找66 : " + list.get(66));
        list.delete(66);
    }

    /**
     * 跳跃表的节点的构成
     *
     * @param <E>
     */
    private static class SkipNode<E> {
        /**
         * 存储的数据
         */
        E val;
        /**
         * 跳跃表按照这个分数值进行从小到大排序。
         */
        Integer score;
        /**
         * next指针，指向下一层的指针
         */
        SkipNode<E> next, down;

        SkipNode(E val, int score) {
            this.val = val;
            this.score = score;
        }
    }
    /** 节点的高度，这里限制最高 4 层 */
    private static final int MAX_LEVEL = 4;

    /**
     * 跳跃表数据结构
     */
    private SkipNode<T> head;
    /** 节点级别 */
    private int level = 0;
    /**
     * 用于产生随机数的Random对象
     **/
    private Random random = new Random();

    public SkipList() {
        //创建默认初始高度的跳跃表
        this(4);
    }

    /**
     * 跳跃表的初始化
     */
    public SkipList(int level) {
        this.level = level;
        int i = level;
        SkipNode<T> temp = null;
        SkipNode<T> prev = null;
        while (i-- != 0) {
            temp = new SkipNode<T>(null, Integer.MAX_VALUE);
            temp.down = prev;
            prev = temp;
        }
        //头节点
        head = temp;
    }

    /**
     * 产生节点的高度。使用抛硬币
     *
     * @return
     */
    private int getRandomLevel() {
        int lev = 1;
        while (random.nextInt() % 2 == 0) {
            lev++;
        }
        return lev > MAX_LEVEL ? MAX_LEVEL : lev;
    }

    /**
     * 查找跳跃表中的一个值
     *
     * @param score 分数
     * @return
     */
    public T get(Integer score) {
        SkipNode<T> t = head;
        while (t != null) {
            if (t.score.equals(score)) {
                return t.val;
            }
            if (t.next == null) {
                if (t.down != null) {
                    t = t.down;
                    continue;
                } else {
                    return null;
                }
            }
            if (t.next.score > score) {
                t = t.down;
            } else {
                t = t.next;
            }
        }
        return null;
    }

    /**
     *
     * @param score 分数键（排序）
     * @param val  值
     */
    public void put(Integer score, T val) {

        SkipNode<T> t = head, cur = null;
        //记录每一层当前节点的前驱节点
        List<SkipNode<T>> path = new ArrayList<>();
        while (t != null) {
            if (t.score .equals(score)) {
                //表示存在该值的点，表示需要更新该节点
                cur = t;
                break;
            }
            if (t.next == null) {
                //需要向下查找，先记录该节点
                path.add(t);
                if (t.down != null) {
                    //进入下一个层级
                    t = t.down;
                    continue;
                } else {
                    break;
                }
            }
            if (t.next.score > score) {
                //需要向下查找，先记录该节点
                path.add(t);
                if (t.down == null) {
                    break;
                }
                t = t.down;
            } else {
                t = t.next;
            }
        }
        if (cur != null) {
            while (cur != null) {
                cur.val = val;
                cur = cur.down;
            }
        } else {
            //随机层级
            int lev = getRandomLevel();

            if (lev > level) {
                SkipNode<T> temp = null;
                //前驱节点现在是top了
                SkipNode<T> prev = head;
                while (level++ != lev) {
                    temp = new SkipNode<T>(null, Integer.MIN_VALUE);
                    //加到path的首部
                    path.add(0, temp);
                    temp.down = prev;
                    prev = temp;
                }
                //头节点
                head = temp;
                //level长度增加到新的长度
                level = lev;
            }
            //从后向前遍历path中的每一个节点，在其后面增加一个新的节点
            SkipNode<T> downTemp = null, temp, prev;
            for (int i = level - 1; i >= level - lev; i--) {
                temp = new SkipNode<T>(val, score);
                prev = path.get(i);
                temp.next = prev.next;
                prev.next = temp;
                temp.down = downTemp;
                downTemp = temp;
            }
        }
    }

    /**
     * 根据score的值来删除节点。
     *
     * @param score 分数键（排序）
     */
    public void delete(Integer score) {
        //1,查找到节点列的第一个节点的前驱
        SkipNode<T> t = head;
        while (t != null) {
            if (t.next == null) {
                t = t.down;
                continue;
            }
            // 在这里说明找到了该删除的节点
            if (t.next.score.equals(score)) {
                t.next = t.next.next;
                t = t.down;
                //删除当前节点后，还需要继续查找之后需要删除的节点
                continue;
            }

            if (t.next.score > score) {
                t = t.down;
            } else {
                t = t.next;
            }
        }
    }

    /**
     * 输出结果，一层一层输出
     * @return
     */
    @Override
    public String toString() {
        StringBuilder sb = new StringBuilder();
        SkipNode<T> t = head, next;
        while (t != null) {
            next = t;
            while (next != null) {
                sb.append(next.score).append(" ");
                next = next.next;
            }
            sb.append("\n");
            t = t.down;
        }
        return sb.toString().replace(Integer.MAX_VALUE+"","").replace("-2147483648","");
    }
}

2.2 Redis跳跃表常用操作的时间复杂度

本文重点

• 跳跃表基于单链表加索引的方式实现
• 跳跃表以空间换时间的方式提升了查找速度
• Redis有序集合在节点元素较大或者元素数量较多时使用跳跃表实现
• Redis的跳跃表实现由 zskiplist和 zskiplistnode两个结构组成,其中 zskiplist用于保存跳跃表信息(比如表头节点、表尾节点、长度),而zskiplistnode则用于表示跳跃表节点
• Redis每个跳跃表节点的层高都是1至32之间的随机数
• 在同一个跳跃表中,多个节点可以包含相同的分值,但每个节点的成员对象必须是唯一的跳跃表中的节点按照分值大小进行排序,当分值相同时,节点按照成员对象的大小进行排序。

参考文章

存储系统中的算法：LSM 树设计原理