数据库索引与全表扫描有什么区别

数据库索引与全表扫描有什么区别

本篇内容主要讲解“数据库索引与全表扫描有什么区别”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“数据库索引与全表扫描有什么区别”吧!

磁盘结构和基本耗时

磁盘的组织结构 盘片->磁道->扇区。由于盘片是并行操作的,因此可以忽略寻找盘片的时间。所以基本上要找一个数据需要找到对应的磁道(类似树的年轮),再找对应的扇区(一段扇形)。

磁盘性能的主要度量指标有以下几个:

访问时间:从发出读写请求到数据开始传输之间的时间。也就是磁盘定位数据的时间,在程序中就是那个 seek。访问时间包括寻道时间(找磁道)和旋转等待时间(找扇区)。一般在几毫秒级。

数据传输率:在定位数据之后。就开始将数据从磁盘和内存之间传输了。这个时间一般每秒几十MB。

顺序访问 vs 随机访问

磁盘上的文件是一块一块组织的,这里的块(block)是逻辑概念,可能512字节到几KB。从磁盘读数据需要一块一块读。即使你只读1Byte数据,也会读一块。

顺序访问:连续访问磁盘相邻的块。这样磁盘只需要一次磁盘寻道。

随机访问:随机访问磁盘不同位置的块,一般每次只读少量数据。这样磁盘每处理一个随机访问请求就需要一次磁盘寻道。随机访问的效率远低于顺序访问。

存储模型

硬件:磁盘数据传输率记做 T,平均访问时间记为 S。

数据:一个包含 N 个数据的数据集,数据是可比较的。数据在磁盘上无序存储,数据均匀分布。每个数据所占空间为 X,那么数据的总大小为 NX。

这张图表示数据在磁盘上的存放顺序:

索引:在数据上建立索引,索引可以看成数据的一种映射,一种表示方式。可以全部放在内存中,并且精确定位原始数据。

查询流程

查询模式:查询有过滤条件,假设过滤条件的选择度为 F,意思是查询结果集占总数据量的 F 倍,F 处于 [0,1] 之间。

现在有两种查询方式:全表扫描、索引。全表扫描和索引都是逻辑概念。

全表扫描:最简单的查询操作。即将数据从磁盘上一个个读到内存中做过滤,最后返回结果。这种方式的特点是不管数据有没有用,都先读出来,磁盘读取数据总量大,但是seek只有一次。对应磁盘的顺序访问

黄色表示需要从磁盘读到内存中的数据,全表扫描时候就是这样:

全表扫描总耗时 = IO耗时 = NX/T

索引:由于磁盘上数据是乱序的,我们建一个B+树索引,并在内存中维护索引,索引将所有数据排序,并记录对应的磁盘位置。在查询时,首先在索引上过滤出所有结果集在磁盘上的位置,再到磁盘上去精确读取结果集。这种包括少量的磁盘IO+大量的 seek。对应磁盘的随机访问

效果图如下图:磁盘的操作为定位一个数据,读取,再定位下一个数据......

Seek耗时:NFS

IO耗时:NFX/T

索引查询总耗时 = Seek耗时 + IO 耗时 = NFS + NFX/T

比较

接下来看看这些参数,在不考虑更新硬件时,磁盘吞吐率 T、平均访问耗时 S、数据量 N、每个数据大小 X 都是常量,没得改。

一共就 NTFSX 五个参数,接下来只有 F 了,这个东西是个变量,取决于查询过滤条件。比如你想查身高150以上的男生,这个过滤条件就没啥区分度,可能 F=0.8,大部分都会被选出来,但是如果查190以上的男生,可能 F=0.1,只有一小部分会被选出来。

有区别就有不同的应对措施,我们可以根据 F 选择查索引还是全表扫描。直接算一下什么时候索引查询比全表扫描快,也就是下边这个式子:

NFS + NFX/T <NX/T

即:F < X / (TS+X)

可以看到,跟总数据量没关系,当 F 足够小的时候,选择索引比较好。如果结果集比较多,seek过多,那么全表扫描是更优的。

例子

举个实际例子感受一下:

平均Seek时间: S=5 ms

磁盘吞吐率:T=300 MB/s

单个数据大小:X=128 Byte

这个时候,过滤条件的选择度需要小于 0.008%。

到此,相信大家对“数据库索引与全表扫描有什么区别”有了更深的了解,不妨来实际操作一番吧!这里是亿速云网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!

发布于 2022-01-06 23:25:47
收藏
分享
海报
0 条评论
201
上一篇:如何用Python代码从零开始建立回归树 下一篇:区块链中比特币技术写入流程是什么
目录

    0 条评论

    本站已关闭游客评论,请登录或者注册后再评论吧~

    忘记密码?

    图形验证码