环境保护理工科人程项目,Redis压缩列表原理与应

作者:百态生活

图片 1一:压缩背景保留主体。

图片 2

> 山东威海市石岛首家生活垃圾压缩站近日正式建成并开始投入运使用。据悉,该压缩站日处理垃圾300余吨,或将解决石岛区域垃圾填埋带来的一系列问题,促进当地环卫工作一体化。 威海石岛首家生活垃圾压缩站投入运行 近日,总投资2400万元的山东威海石岛首家生活垃圾压缩站,正式建成并投入运行。石岛管理区生活垃圾今后将全部实行压缩化、密闭式转运及无害化处理,进一步提高城乡环境卫生水平。 在斥山街道吴家村北的石岛生活垃圾压缩站内,一辆辆垃圾运送车正源源不断驶入中转车间,并在各自泊位将垃圾倾倒至一个7米多高的圆柱形封闭罐体内,随后,下方的垃圾转运车辆再将整个罐体转至车上运走。在一旁的数字化调度中心内,工作人员借助工作台及遍布各处的监控探头,控制和观察各种设备的运行等情况。“这是我们刚投入使用的垃圾压缩罐,每个罐的容纳能力约为18吨。垃圾倒入罐内后,为节约其占用空间,便于运输,我们需要用压缩锤将其进一步压缩,然后统一运至荣成市生活垃圾处理场进行无害化处理。”现场工作人员介绍。 当日从石岛管理区城乡建设局环卫处了解到,近年来,随着石岛城区人口不断增多,生活垃圾产量也日渐增加,原有垃圾填埋场处理能力已远远不能满足城市环境卫生处理需求。为促进垃圾减量化、无害化,改善区域环境质量,石岛管理区于去年启动实施了生活垃圾压缩站项目,并将其列为今年11大类民生工程之一。该项目总投资2400万元,规划总建筑面积5300平方米,分为生活垃圾压缩站、环卫工作站、环卫公寓、数字化调度中心等四个功能区,并建设中转作业车间、场地道路等系列配套设施。 经过一年多的紧张建设,截至目前,整座垃圾压缩站已完成主体施工,并开始投入使用。它每天可处理垃圾300余吨,将彻底解决石岛区域垃圾填埋带来的一系列问题,对改善区域生态和环境质量、促进石岛管理区环卫工作一体化等都具有十分重要的意义。

这个功能很实用啊,但就是效果有点儿不好控制。

摘要

图片 3

Redis是一款著名的key-value内存数据库软件,同时也是一款卓越的数据结构服务软件。它支持字符串、列表、哈希表、集合、有序集合五种数据结构类型,同时每种数据结构类型针对不同的应用场景又支持不同的编码方式。这篇文章主要介绍压缩列表编码,在理解压缩列表编码原理的基础上介绍Redis对压缩列表的应用,最后再对Redis压缩列表应用进行分析。Redis压缩列表原理与应用

如果我们想把这张照片压扁,按照正常的压缩方法,会出现人过于扁而显得不真实。

压缩列表是一种数据结构,这种数据结构的功能是将一系列数据与其编码信息存储在一块连续的内存区域,这块内存物理上是连续的,逻辑上被分为多个组成部分,其目的是在一定可控的时间复杂读条件下尽可能的减少不必要的内存开销,从而达到节省内存的效果,这么介绍有点玄乎,我们先一起看看它的实现原理吧,Redis3.2版本中,作者对压缩列表的实现在ziplist.h和ziplist.c中。压缩列表原理

用内容识别比例可以很好的解决这个问题,

我认为将数据按照一定规则存储在内存中可以用“编码”这个词描述,因此下面会常用“编码”这个词。总体编码

不过有时候它的自动识别比较差,你可以先建立一个alpha通道,然后在选项里面选择这个受保护的区域(不被压缩区域)。

上面说到压缩列表是一块连续的内存区域,这块内存区域布编码示意图大致如下:

图片 4

图片 5

这是对比图:

Redis压缩列表内存编码示意图

图片 6

常态的压缩列表内存编码如上图所示,整个内存块区域内分为五个部分,下面分别介绍着五个部分:

教程未完,请看下一页!

zlbytes:存储一个无符号整数,固定四个字节长度,用于存储压缩列表所占用的字节,当重新分配内存的时候使用,不需要遍历整个列表来计算内存大小。

zltail:存储一个无符号整数,固定四个字节长度,代表指向列表尾部的偏移量,偏移量是指压缩列表的起始位置到指定列表节点的起始位置的距离。

zllen:压缩列表包含的节点个数,固定两个字节长度,源码中指出当节点个数大于2^16-2个数的时候,该值将无效,此时需要遍历列表来计算列表节点的个数。

entryX:列表节点区域,长度不定,由列表节点紧挨着组成。

zlend:一字节长度固定值为255,用于表示列表结束。列表元素编码

上面介绍了压缩列表的总体内存布局,对于初entryX区域以外的四个区域的长度都是固定的,下面再看看entryX区域的编码情况。

每个列表节点由三部分组成:

图片 7

压缩列表节点编码示意图

每个压缩列表节点区域头部包含两部分,一部分叫做previous length,另一部分叫encoding,最后是主体内容,叫做content,下面分别介绍他们:previous length

用于存储上一个节点的长度,因此压缩列表可以从尾部向头部遍历,即当前节点位置减去上一个节点的长度即得到上一个节点的起始位置。previous length的长度可能是1个字节或者是5个字节,如果上一个节点的长度小于254,则该节点只需要一个字节就可以表示前一个节点的长度了,如果前一个节点的长度大于等于254,则previous length的第一个字节为254,后面用四个字节表示当前节点前一个节点的长度。这么做很有效地减少了内存的浪费。encoding

节点的encoding保存的是节点的content的内容类型以及长度,encoding类型一共有两种,一种字节数组一种是整数,encoding区域长度为1字节、2字节或者5字节长。Redis作者巧妙的利用了前两个字节来表示content存储的内容类型和encoding区域的长度,我们先看看字节数组类型的encoding内容:

图片 8

content为字节数组的encoding内容

再看看整数编码类型的encoding内容:

图片 9

content为整数的encoding内容content

content区域用于保存节点的内容,节点内容类型和长度由encoding决定,上面可以看出目前content的内容类型有整数类型和字节数组类型,且某些条件下content的长度可能为0。

相信到这里,我们都明白了压缩列表的原理,压缩列表并不是对数据利用某种算法进行压缩,而是将数据按照一定规则编码在一块连续的内存区域,目的是节省内存。下面我们看看压缩列表在Redis中的应用领域。Redis中压缩列表的应用

Redis中,不同的数据类型广泛地应用了压缩列表编码,整理如下表:

图片 10

Redis中数据结构类型与压缩列表的应用

上表总结了压缩列表编码在Redis不同的数据类型中的应用,Redis一共支持五种数据结构类型,其中有三种数据结构在一定条件下会应用压缩列表,至于什么条件后面会分析,值得一提的是Redis当前支持的GEO对压缩列表也有应用,具体此处不做讨论。Redis压缩列表应用分析

上面部分介绍了Redis压缩列表的原理与应用,下面简单分析一下,主要从通过试图回答一些问题来分析:Redis为什么使用压缩列表?使用压缩列表的好处是什么?使用压缩列表的好处还有什么?压缩列表的应用对与我们使用内存有没有什么启发?

Redis对于每种数据结构、无论是列表、哈希表还是有序集合,在决定是否应用压缩列表作为当前数据结构类型的底层编码的时候都会依赖一个开关和一个阈值,开关用来决定我们是否要启用压缩列表编码,阈值总的来说通常指当前结构存储的key数量有没有达到一个数值,或者是value值长度有没有达到一定的长度。任何策略都有其应用场景,不同场景应用不同策略。为什么当前结构存储的数据条目达到一定数值使用压缩列表就不好?压缩列表的新增、删除的操作平均时间复杂度为O,随着N的增大,时间必然会增加,他不像哈希表可以以O的时间复杂度找到存取位置,然而在一定N内的时间复杂度我们可以容忍。然而压缩列表利用巧妙的编码技术除了存储内容尽可能的减少不必要的内存开销,将数据存储于连续的内存区域,这对于Redis本身来说是有意义的,因为Redis是一款内存数据库软件,想办法尽可能减少内存的开销是Redis设计者一定要考虑的事情。

另外,经过仔细琢磨,我认为使用压缩列表的好处除了节约内存之外,还有减少内存碎片的作用,我把这种行为叫做"合并存储",也就是将很多小的数据块存储在一个比较大的内存区域,试想想,如果我们将要存储的数据都是很小的条目,我们为每一个数据条目都单独的申请内存,结果是这些条目将有可能分散在内存的每一个角落,最终导致碎片增加,这是一件令人头疼的事情。总结

这篇文章在介绍Redis压缩列表原理与应用的基础之上对Redis压缩列表的应用进行分析,分析部分主要掺杂着个人的理解与认知,如果有不同观点或者补充观点,欢迎留言讨论。

本文由欧洲杯竞彩发布,转载请注明来源

关键词: 2020欧洲杯官方 欧洲杯竞彩