2017数据库大会实录-MySQL核心参数含义的源码解析(4)

再接下来,通过上面的计算,我们从不同维度分别得出三个建议刷新的数量：分别为当前的脏页刷新的平均速度,也就是一秒钟刷新了多少脏页；根据脏页百分比,以及活跃日志量的大小,以及所设置的innodb_io_capacity 参数所得出建议刷新的数量；以及根据重做日志产生速度计算得出的建议刷新数量.将这三个值相加之后再平均,得出的就是考虑了上面所有因素的一个综合建议,由变量n_pages保存.

接下来,这个建议刷新的总量n_pages会跟innodb_io_capacity_max这个参数进行比较,也就是建议刷新的总量最大不能超过所设置的磁盘最大随机io能力.

最后,生成最终的刷新建议.生成最终的刷新建议时,会考虑当前数据库的活跃日志量的大小,当前活跃日志比较少的时候,认为重做日志文件有足够可以使用的空间(以变量pct_for_lsn小于30为依据),则不需要考虑每个buffer pool 之间的脏页年龄分布不均的情况,每个buffer pool 刷新相同的数量,数量就刷新总量除以buffer pool的个数.如果活跃日志比较多(以变量pct_for_lsn大于等于30为依据),则需要考虑脏页的年龄在每个buffer pool的分布不同,每个buffer刷新不同的数量的脏页,老的脏页比较多的buffer pool instance刷新的数量也就多.

以上就是建议函数生成刷新建议时的计算流程,下面根据源码来分析如何具体考虑这些因素,以便让我们有非常直观的理解.

首先来计算平均值,前面已经有比较清楚的讲过,现在大家来简单地看一下这部分代码,主要请关注这个if条件：当循环次数达到innodb_flush_avg_loops时或者经历的时间达到该值时,才进行新的平均值的计算.因此,大家清楚了这个参数的含义,是用来指明隔多久计算一次平均值.平均值计算规则就是新平均速度=当前的平均速度+最近这段期间平均速度,再除以2 .

接下来这一段代码呢,是首先计算lsn的age,也就是活跃日志量的大小,然后调用相关函数根据脏页百分比来计算io_capacity的百分比,用变量pct_for_dirty保存,然后根据活跃日志量的大小来计算io_capacity的百分比,用变量pct_for_lsn来保存,这个值后面会被是使用到,用来决定每个buffer pool是建议刷新相同的数量的脏页,还是刷新不同的数量.当pct_for_lsn<30的时候,建议每个buffer刷新相同数量的页面.否则,建议刷新不同数量的页面.

最后比较这两个变量的大小,大的值作为最终的io_capacity的百分比,用变量pct_total保存.接下来我们将来看看是如何具体跟据这两项来计算io_capacity的百分比的.

函数af_get_pct_for_dirty()的计算逻辑是：

首先获取缓存池的脏页百分比,然后根据这个值进行判断.

如果参数最大脏页百分比的低水位设置为0(默认值),当dirty_pct大于参数innodb_max_dirty_pages_pct,则返回100,否则返回0 .

如果设置了最大脏页百分比的低水位,当脏页百分比超过该值时,则返回相应的比例.当脏页百分比越接近最大脏页百分比,返回比例越接近100.? 否则为0.

再来看看根据lsn的age,即活跃日志量来计算io_capacity百分比的规则.

如果活跃日志量占日志文件大小的百分比小于参数innodb_adaptive_flushing_lwm,即自适应刷新的低水位,默认是10,则直接返回0.

如果没有设置自适应刷新参数innodb_adaptive_flushing_lwm,默认为on,则需要等待活跃的日志量大于max_async_age的值,才会返回相应的百分比,否则返回0.可以简单的理解为,如果没有开启自适应刷新,则必须等待活跃日志量的过大,大到存在危害数据库的可用性风险时,才开始考虑基于活跃日志量的大小来进行脏页刷新.

如果开启了自适应刷新,活跃日志量所占百分比大于自适应刷新的低水位时(innodb_adaptive_flushing_lwm),返回相应的百分比.具体计算公式查看ppt上的内容.

接下来,我们来看看是怎么根据重做日志的生成速度来计算每个buffer需要刷新多少脏页的.这一段代码,不涉及数据库的任何参数,代码的功能就是根据重做日志生产的速度,来计算每个buffer需要刷新多少页面以及所有buffer pool所建议刷新的总量,但这个不是最终的建议.

首先,根据前面计算得出的lsn_avg_rate,即重做日志产生的平均速度,计算出一个target_lsn号.

然后从每一个buffer pool的脏页列表的队尾开始取出脏页,将脏页的old_modifiaction(最小的lsn)跟target_lsn进行比较,这里简单的说明一下脏页的oldest_modification的含义,它表示的是脏页第一次修改时的lsn号,也就是脏页的最小lsn号.如果它小于target_lsn,然后将其作为刷新对象进行计数,否则,退出这个buffer pool 内的循环.因为刷新列表时按照脏页的最小lsn号进行排序的,前面的脏页的最小lsn都大于target_lsn,所以不需要再继续找下去.

从上面的计算方式可以看出,当重做日志生成的平均速度越大,target_lsn 就越大,同时,如果buffer_pool中的脏页的old_modition小于target_lsn的数量越多,也就是老的脏页越多,被建议刷新的页面就越多.

这张ppt上一张ppt代码段的注释.

生成最终的刷新建议.

通过前面的计算,我们从不同维度分别得出三个建议刷新的数量,然后将这个三个值进行平均,得出了综合所有因素的一个刷新建议总量,由变量n_pages保存.

影响刷新总量的因素有：脏页的百分比,活跃日志量的大小,当前redo生成的平均速度,当前脏页刷新平均速度,以及脏页的age分布情况,以及参数innodb_io_capacity,innodb_io_capacity_max.

（编辑：ASP站长网）