快盘下载:好资源、好软件、快快下载吧!

快盘排行|快盘最新

当前位置:首页软件教程电脑软件教程 → MySQL同步原理

MySQL同步原理

时间:2022-04-28 15:49:46人气:作者:快盘下载我要评论

MySQL同步原理image.png

主从复制是怎么实现的呢?更新语句会记录 binlog,它是一种逻辑日志。
有了这个 binlog,从服务器会获取主服务器的 binlog 文件,然后解析里面的 SQL 语句,在从服务器上面执行一遍,保持主从的数据一致。

这里面涉及到三个线程,连接到 master 获取 binlog,并且解析 binlog 写入中继日 志,这个线程叫做 I/O 线程。
Master 节点上有一个 log dump 线程,是用来发送 binlog 给 slave 的。
从库的 SQL 线程,是用来读取 relay log,把数据写入到数据库的。

做了主从复制的方案之后,我们只把数据写入 master 节点,而读的请求可以分担到 slave 节点。我们把这种方案叫做读写分离。


image.png

读写分离可以一定程度低减轻数据库服务器的访问压力,但是需要特别注意主从数 据一致性的问题。如果我们在 master 写入了,马上到 slave 查询,而这个时候 slave 的 数据还没有同步过来,怎么办? 所以,基于主从复制的原理,我们需要弄明白,主从复制到底慢在哪里?

单线程

在早期的 mysql 中,slave 的 SQL 线程是单线程。master 可以支持 SQL 语句的并 行执行,配置了多少的最大连接数就是最多同时多少个 SQL 并行执行。
而 slave 的 SQL 却只能单线程排队执行,在主库并发量很大的情况下,同步数据肯 定会出现延迟
为什么从库上的 SQL Thread 不能并行执行呢?举个例子,主库执行了多条 SQL 语 句,首先用户发表了一条评论,然后修改了内容,最后把这条评论删除了。这三条语句 在从库上的执行顺序肯定是不能颠倒的

insert into user_comments (10000009,'nice'); 
update user_comments set content ='very good' where id =10000009;
 delete from user_comments where id =10000009;


怎么解决这个问题呢?怎么减少主从复制的延迟?

异步与全同步

首先我们需要知道,在主从复制的过程中,MySQL 默认是异步复制的。也就是说, 对于主节点来说,写入 binlog,事务结束,就返回给客户端了。对于 slave 来说,接收 到 binlog,就完事儿了,master 不关心 slave 的数据有没有写入成功。

MySQLimage.png
如果要减少延迟,是不是可以等待全部从库的事务执行完毕,才返回给客户端呢? 这样的方式叫做全同步复制。从库写完数据,主库才返会给客户端。


这种方式虽然可以保证在读之前,数据已经同步成功了,但是带来的副作用大家应 该能想到,事务执行的时间会变长,它会导致 master 节点性能下降。
有没有更好的办法呢?既减少 slave 写入的延迟,又不会明显增加 master 返回给客 户端的时间?

半同步复制

介于异步复制和全同步复制之间,还有一种半同步复制的方式。
主库在执行完客户端提交的事务后不是立刻返回给客户端,而是等待至少一个从库 接收到 binlog 并写到 relay log 中才返回给客户端。master 不会等待很长的时间,但是 返回给客户端的时候,数据就即将写入成功了,因为它只剩最后一步了:就是读取 relay log,写入从库。


MySQLimage.png

如果我们要在数据库里面用半同步复制,必须安装一个插件,这个是谷歌的一位工 程师贡献的。这个插件在 mysql 的插件目录下已经有提供:
cd /usr/lib64/mysql/plugin/
主库和从库是不同的插件,安装之后需要启用:

-- 主库执行 
INSTALL PLUGIN rpl_semi_sync_master SONAME 'semisync_master.so';
set global rpl_semi_sync_master_enabled=1; 
show variables like '%semi_sync%'; 


-- 从库执行 
INSTALL PLUGIN rpl_semi_sync_slave SONAME 'semisync_slave.so'; 
set global rpl_semi_sync_slave_enabled=1; 
show global variables like '%semi%';


相对于异步复制,半同步复制提高了数据的安全性,同时它也造成了一定程度的延 迟,它需要等待一个 slave 写入中继日志,这里多了一个网络交互的过程,所以,半同步 复制最好在低延时的网络中使用。

这个是从主库和从库连接的角度,来保证 slave 数据的写入。

另一个思路,如果要减少主从同步的延迟,减少 SQL 执行造成的等待的时间,那有 没有办法在从库上,让多个 SQL 语句可以并行执行,而不是排队执行呢?

多库并行复制

怎么实现并行复制呢?设想一下,如果 3 条语句是在三个数据库执行,操作各自的 数据库,是不是肯定不会产生并发的问题呢?执行的顺序也没有要求。当然是,所以如 果是操作三个数据库,这三个数据库的从库的 SQL 线程可以并发执行。这是 MySQL 5.6 版本里面支持的多库并行复制。

MySQLimage.png

但是在大部分的情况下,我们都是单库多表的情况,在一个数据库里面怎么实现并 行复制呢?或者说,我们知道,数据库本身就是支持多个事务同时操作的;为什么这些 事务在主库上面可以并行执行,却不会出现问题呢?

因为他们本身就是互相不干扰的,比如这些事务是操作不同的表,或者操作不同的 行,不存在资源的竞争和数据的干扰。那在主库上并行执行的事务,在从库上肯定也是 可以并行执行,是不是?比如在 master 上有三个事务同时分别操作三张表,这三个事务 是不是在 slave 上面也可以并行执行呢?

5 异步复制之 GTID 复制

https://dev.mysql.com/doc/refman/5.7/en/replication-gtids.html
所以,我们可以把那些在主库上并行执行的事务,分为一个组,并且给他们编号, 这一个组的事务在从库上面也可以并行执行。这个编号,我们把它叫做 GTID(Global Transaction Identifiers),这种主从复制的方式,我们把它叫做基于 GTID 的复制。

MySQLimage.png

如果我们要使用 GTID 复制,我们可以通过修改配置参数打开它,默认是关闭的:

show global variables like 'gtid_mode';


无论是优化 master 和 slave 的连接方式,还是让从库可以并行执行 SQL,都是从数 据库的层面去解决主从复制延迟的问题。

——学自咕泡学院

相关文章

  • 一步步带你设计MySQL索引数据结构

    一步步带你设计MySQL索引数据结构,想想我们生活中的例子,比如新华字典,我们有一个目录,目录根据拼音排序,内容包含了汉字位于字典中具体的的页码。聪明的你肯定也想到了,我们也可以借鉴这种思想,建立一个MySQL的目录,叫做“索引”。...
  • 影刀连接Mysql数据库

    影刀连接Mysql数据库,影刀配置连接mysql数据库基础版...

网友评论

快盘下载暂未开通留言功能。

关于我们| 广告联络| 联系我们| 网站帮助| 免责声明| 软件发布

Copyright 2019-2029 【快快下载吧】 版权所有 快快下载吧 | 豫ICP备10006759号公安备案:41010502004165

声明: 快快下载吧上的所有软件和资料来源于互联网,仅供学习和研究使用,请测试后自行销毁,如有侵犯你版权的,请来信指出,本站将立即改正。