InnoDB(2,如何访问Redis中的海量数据

HarmonyOS学习 2021-11-25 18:42:03
java 面试 编程语言 后端开发

插入缓冲并不是缓冲池里的一部分,他的结构与数据页一样,也是物理页的组成部分之一。

 聚集索引

在InnoDB存储引擎中,聚集索引其实就是主键(关键字为primary key,唯一自增),一般是自动增长的列,插入时,对该列插入NULL值的话,会自动增长,但也有例外情况,比如指定值进行插入,或者主键是UUID这样的列,都可能会造成非连续的主键插入。

一般情况下,插入时,页中的记录会按照自增的主键去进行按顺序安放,这样做的好处当插入时,不需要离散地去访问另一个页中的记录(页其实是索引中的一个结点),因为是按顺序的,很可能插入的位置就是最后一个页的末尾

但一个表中不仅仅有主键索引,还有辅助索引(关键字为key,不唯一且不自增),对于辅助索引会另外生成一棵非聚集索引B+树,当插入辅助索引列的值不是按顺序时,就需要离散地去访问非聚集索引页了(非聚集索引B+树的结点),由于随机读取的存在导致插入操作性能下降,其实总的来说,就是维护非聚集索引的代价影响了插入操作性能

 Insert Buffer

InnoDB设置了Insert Buffer就是针对非聚集索引的插入或者更新操作,有了Insert buffer之后,不再是每一次的插入都直接插入到辅助索引页中,而是先判断缓冲池中是否有该辅助索引页的缓冲,若有的话,则直接插入到缓冲池中的辅助索引页中(待后面进行刷新脏页进磁盘),如果没有,则先放入到Insert buffer中,然后再以一定的频率和或者发生指定情况进行Insert Buffer和辅助索引页的合并操作,通常是Insert buffer中已经含有多个插入操作,直接将多个合并到一个操作中(因为这里是同一个辅助索引页,其实就是一次性实现多次插入),这样就大大提高了辅助索引的插入效率

对Insert Buffer的使用要包括下面两个条件

  • 索引是辅助索引

  • 索引不是唯一的(不是Unique,可以重复)

当然,这种方式提高了插入效率,但同时降低了恢复效率,因为使用Insert buffer来缓冲要插入的数据,而不是第一时间插入,假如数据还在Insert buffer中,此时发生了宕机,那么后续恢复数据时就要花费更多的时间了(因为数据没有第一时间持久化进磁盘,未进磁盘的数据都要进行恢复)

同时,索引不可以是唯一的,因为Insert buffer刷新进索引页时,并不会去判断插入的新数据是否是唯一,无法保证唯一性。

//查看INNODB引擎状态

SHOW ENGINE INNODB STATUS;

InnoDB(2,如何访问Redis中的海量数据_Java

Ibuf指的是Insert buffer缓冲池的情况

  • size:代表已经合并记录页的数量

  • free list:代表空闲列表的长度

  • seg size:Insert Buffer当前池的大小

  • merges:代表合并的次数

merged

《一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义》

【docs.qq.com/doc/DSmxTbFJ1cmN1R2dB】 完整内容开源分享

operations指的是执行了多少次合并操作,至于下面的insert、delete mark、delete会在下面Change Buffer讨论。

Insert Buffer除了数据恢复慢的问题,还有另外一个问题就是他会占用缓冲池内存,尤其在写操作密集的情况下,会占用过多的缓冲池内存,会给其他操作带来一系列的影响。

 Change Buffer

Change Buffer可以看作是Insert Buffer的升级,从这个版本开始(InnoDB 1.0.X版本引入了Change Buffer),InnoDB存储引擎可以对DML操作都进行缓冲(即可以对Insert、Delete、Update进行缓冲),分别为下面的缓冲池

  • Insert Buffer

  • Delete Buffer

  • Purge Buffer

这三个Buffer和Insert Buffer一样,适用的对象仍然是不唯一的辅助索引(即满足上面提到的两个条件)

对一条记录进行UPDATE操作可能分为两个或三个过程

  • 将记录标记为已删除

  • 真正将记录删除

  • 将新的记录进行插入

Delete Buffer对应的就是将记录标记为已删除,接下来Purge Buffer将记录真正删除(Insert Buffer将新的记录插入)。

可以通过innodb_change_buffer_max_size来查看Change Buffer最大使用内存的数量

SHOW VARIABLES LIKE “innodb_change_buffer_max_size”;

InnoDB(2,如何访问Redis中的海量数据_Java_02

默认值是25,表示最多可以占用缓冲池四分之一的空间。

接下来,我们回到上面提到的insert、delete mark、delete

InnoDB(2,如何访问Redis中的海量数据_后端开发_03

  • insert表示Insert Buffer执行合并的次数

  • delete mark表示delete buffer执行合并的次数

  • delete表示purege buffer执行合并的次数

  • 下面的discarded表示,当Change Buffer发生merge操作时,表已经被删除,无序进行合并了

 Insert Buffer的内部实现

Insert Buffer本质其实也是一棵B+树,在MySQL4.1版本之前,每张表都有一棵独立的Insert Buffer B+树,之后的版本,全局中只有一棵Insert Buffer B+树,存放在共享表空间中,负责对所有表的辅助索引进行Insert Buffer。

Insert Buffer是一棵B+树,因此也是由叶结点和内部结点构成,非叶子结点存放的是查询的search key(键值,共占9个字节),其构造如下图所示

InnoDB(2,如何访问Redis中的海量数据_Java_04

前面提到Insert buffer全局只有一棵,那么首先要解决的问题就是要锁定哪张表,space就是表示待插入的记录所在表的表空间id(每张表都有独一无二的id),占用了4个字节,marker是为了兼容老版本的Insert buffer的,占用了一个字节,offset表示页所在的偏移量,占用了4个字节

  • space:占用4字节,储存插入记录的表id

  • markder:占用1字节,兼容老版本需要

  • offset:占用4字节,插入数据所在页的偏移量(即在页中的位置,根据偏移量去定位到正确位置)

当一个辅助索引要插入到页(space,offset)时,如果这个页不再缓冲池中,首先InnoDB引擎会根据上述规则创建一个search key,接下来就要开始查询Insert Buffer这棵B+树,search key成为内部结点,同时这条记录将被插入到Insert Buffer B+树的叶子结点中去。

但对于插入到叶子结点的数据并不是普通的插入,而是需要根据下面的规则进行插入

首先要构造出叶子结点,叶子结点的结构如下所示

InnoDB(2,如何访问Redis中的海量数据_Java_05

space,markder,offset与内部结点保持一致,意义也是一样的(这里一共占了9个字节),不一样的就是多了一个metadata字段和后面的字段

 metadata字段

metadata是一个4个字节的字段,里面保存了3个内容

  • IBUF_REC_OFFSET_COUNT :占两个字节,用来排序每个记录进入Insert buffer的顺序,保证对Insert buffer进行刷新时,是按插入顺序就行刷新。

  • IBUF_REC_OFFSET_TYPE:占一个字节

  • IBUF_REC_OFFSET_FLAGS:占一个字节

metadata后面开始,就是插入记录里面的数据了(主要是各个字段的数据)

 Insert Buffer Bitmap

插入数据时,辅助索引页的数据可能会被插入到Insert Buffer中,那么此时就需要有另外一个页去存储标记每个辅助索引页的可用空间,这个页的类型就成为Insert Buffer Bitmap,这样就可以确保每一次Merge Insert Buffer页(辅助索引页合并插入缓冲)的成功执行

每个Insert Buffer Bitmap页用来追踪16384( 2 14 2^{14} 214)个索引页,也就是256个区(64个页成为一个区,即 2 6 2^6 26)

总结

我们总是喜欢瞻仰大厂的大神们,但实际上大神也不过凡人,与菜鸟程序员相比,也就多花了几分心思,如果你再不努力,差距也只会越来越大。

面试题多多少少对于你接下来所要做的事肯定有点帮助,但我更希望你能透过面试题去总结自己的不足,以提高自己核心技术竞争力。每一次面试经历都是对你技术的扫盲,面试后的复盘总结效果是极好的!

InnoDB(2,如何访问Redis中的海量数据_面试_06

本文已被 CODING开源项目:【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

版权声明
本文为[HarmonyOS学习]所创,转载请带上原文链接,感谢
https://blog.51cto.com/u_15438507/4690483

  1. GitHub上霸榜久居不下的《Java面试突击宝典》,java图形用户界面设计基础
  2. GitHub上访问下载破百万的神仙文档《Java面试神技》看完我呆了,java面试问项目中遇到的问题
  3. GitHub上标星75k 超牛的《Java面试突击版,java高级工程师技能
  4. Docker development environment Preview
  5. JavaScript高級深入淺出:掌握 this 指向
  6. JavaScript Advanced Insight and outside: Mastering this direction
  7. Vue de l'application pratique de Javascript, drop drag Event
  8. docker 安装部署 Jenkins 2.322
  9. kafka安装
  10. 近九万字图文详解RabbitMQ
  11. Engaged in Java for one and a half years, how to break through yourself
  12. 输出9*9乘法表----java
  13. 判断一个数是不是素数-------java
  14. java项目,记录页面修改值,内部打“官司”用
  15. Docker installation Deployment Jenkins 2.322
  16. Comment porter un pantalon en hiver? Les petits hommes, les jambes épaisses et la largeur de l'entrejambe peuvent être vus. 3 techniques pour éviter la foudre
  17. MySQL下载和安装教程
  18. In depth analysis of rocketmq source code - message storage module
  19. Spring transaction management
  20. mysql恢复ibd数据,为何频频报错?
  21. [skills with annual salary of 60W] after working for 5 years, do you really understand netty and why to use it? (deep dry goods)
  22. Pourquoi MySQL récupère - t - il fréquemment les données ibd?
  23. Tutoriels de téléchargement et d'installation MySQL
  24. In IntelliJ idea, develop a fishing and reading plug-in
  25. Talk about how to integrate SPI with spring
  26. 重学Spring系列之Swagger2.0和Swagger3.0
  27. Hadoop05【命令操作】,Java400道面试题通关宝典助你进大厂
  28. Guava Cache缓存设计原理,java基础入门
  29. Gson:GitHub 标星 18K 的 JSON 解析器,Google 出品的 Java JSON 解析器
  30. gRPC学习之六:gRPC-Gateway集成swagger,java语言程序设计与数据结构进阶版
  31. Projet Java, enregistrer la valeur de modification de la page, utilisé pour les litiges internes
  32. Déterminer si un nombre est un nombre premier - - Java
  33. Sortie 9 * 9 tableau de multiplication - Java
  34. Plusieurs façons de réinitialiser le déplacement du Groupe de consommateurs Kafka
  35. GRPC Learning six: GRPC Gateway Integrated Swagger, Java language programming and data structure Advanced Edition
  36. python数据结构:数组、列表、栈、队列及实现
  37. Gson: json Parser for github Star 18k, Java json Parser from Google
  38. hive学习笔记之二:复杂数据类型,五分钟搞懂MySQL主从复制原理
  39. hive学习笔记之一:基本数据类型,java实现分页技术详解
  40. HDU-3038-How Many Answers Are Wrong【 带权并查集 】题解,java实战项目论坛
  41. HDU 1078 FatMouse and Cheese(记忆化搜索,DP,rocketmq教程教程
  42. Principes de conception du cache Guava, Introduction à la base Java
  43. Un pantalon beige = élégant, blanc + haut de gamme, si beau cet hiver!
  44. Hadoop05 【 commande 】, Java 400 questions d'entrevue pour vous aider à entrer dans l'usine
  45. [Java multithreading] static synchronized method and synchronized (class) code block
  46. [Java multithreading] synchronized statement block
  47. [Java multithreading] synchronized synchronization method
  48. [Java multithreading] thread priority and guard thread
  49. [Java multithreading] stop the thread
  50. Several methods of [Java multithreading] thread
  51. [Java multithreading] Java multithreading skills
  52. Structure des données Python: tableaux, listes, piles, files d'attente et implémentations
  53. Re - Learning Swagger 2.0 and Swagger 3.0 of Spring Series
  54. Error editing HTML5 using webstorm
  55. 【Spring】mybatis-spring
  56. JavaScript post request returned an exception, possibly Cross - Domain request
  57. Springboot + mybatis Plus + springsecurity + JWT implements user stateless request authentication (front and back end separation)
  58. SQL injection and XSS attack of springboot security vulnerability
  59. Docker employee readme: Why did docker lose to kubernetes?
  60. 19 high force linux commands, hurry to use them!