使用Atlas配置MySQL读写分离
Atlas是360团队弄出来的一套基于MySQL-Proxy基础之上的代理,修改了MySQL-Proxy的一些BUG,并且优化了很多东西。而且安装方便。配置与注释写的都很详细,并且是都是中文,不过从Altas在github上的代码来看,将近一年没更新了。与Atlas类似的产品有Cobar、Cobar、amoeba、TDDL、mycat等,不过这些产品部分已经停滞或文档不全面,mycat相对比较活跃。
Atlas官方文档链接:https://github.com/Qihoo360/Atlas/blob/master/README_ZH.md
Atlas下载链接:https://github.com/Qihoo360/Atlas/releases
一、主机规划
环境:
系统 | IP | 配置 |
---|---|---|
CentOS 6.8 | 192.168.122.10 | Atlas代理服务 |
CentOS 6.8 | 192.168.122.20 | 主MySQL数据库 |
CentOS 6.8 | 192.168.122.30 | 从MySQL数据库 |
二、用户及数据库准备
首先需要在两台 mysql 主机上分别创建一个 mysql 用户,用于两台mysql 主机之间做主从配置,同时也可以让 atlas 代理可以使用该用户可以连接到两台realserver 。具体实施步骤如下:
1mysql> grant all on *.* to sync@'%' identified by "361way.com";
2mysql> use mysql;
3mysql> select user, host from user; //确认增加的用户是否成功
4mysql> flush privileges;
上面我们创建了一个sync用户,密码为361way.com 。
三、mysql 主从配置
很早之前我写就写过 mysql主从配置 ,具体可以查看:https://blog.361way.com/mysql-replicate/975.html ,这里再简单的列下步骤。
1、my.cnf配置
修改主mysql 主机my.cnf 的配置如下:
1[mysqld]
2datadir=/data/mysql
3socket=/var/lib/mysql/mysql.sock
4user=mysql
5#主从复制配置
6innodb_flush_log_at_trx_commit=1
7sync_binlog=1
8#需要备份的数据库
9binlog-do-db=test
10#不需要备份的数据库
11binlog-ignore-db=mysql
12#启动二进制文件
13log-bin=mysql-bin
14#服务器ID
15server-id=1
16# Disabling symbolic-links is recommended to prevent assorted security risks
17symbolic-links=0
18[mysqld_safe]
19log-error=/var/log/mysqld.log
20pid-file=/var/run/mysqld/mysqld.pid
注:若没有配置binlog-do-db和binlog_ignore_db,表示备份全部数据库。
修改备mysql 主机的my.cnf 配置如下:
1[mysqld]
2datadir=/var/lib/mysql
3socket=/var/lib/mysql/mysql.sock
4user=mysql
5server-id=2
6# Disabling symbolic-links is recommended to prevent assorted security risks
7symbolic-links=0
8[mysqld_safe]
9log-error=/var/log/mysqld.log
10pid-file=/var/run/mysqld/mysqld.pid
这里就增加了server-id=2 一行,其他都是默认配置 。
2、主备同步配置
在主服务器上配置同步权限设置,并配置表只读及查看服务器binlog日志信息:
1mysql> grant replication slave on *.* to 'sync'@'%' identified by '361way.com';
2Query OK, 0 rows affected (0.00 sec)
3mysql> flush tables with read lock;
4Query OK, 0 rows affected (0.00 sec)
5mysql> show master status;
6+------------------+----------+--------------+------------------+
7| File | Position | Binlog_Do_DB | Binlog_Ignore_DB |
8+------------------+----------+--------------+------------------+
9| mysql-bin.000003 | 757 | test | mysql |
10+------------------+----------+--------------+------------------+
111 row in set (0.00 sec)
备用mysql 服务器上配置同步(该操作之前,确认通过上面的用户连接到主mysql 服务器上,避免iptables等的影响):
1mysql> change master to master_host='192.168.122.20',
2master_user='sync',master_password='361way.com',
3master_port=3306,master_log_file='mysql-bin.000003',
4master_log_pos=757,master_connect_retry=10;
并在备用mysql 服务器上启动 slave 并查看主备同步状态 :
1mysql> start slave;
2mysql> show slave status \G;
查看slave状态时,确认Slave_IO_Running和Slave_SQL_Running都是ok的。
四、Atlas安装配置
1、Atlas安装
Atlas会有两个版本,其中有个分表的版本,但是这个需要其他的依赖,一般场景下不需要分表这种需求,所以这里选择安装普通的版本:
Atlas (普通) : Atlas-2.2.1.el6.x86_64.rpm
Atlas (分表) : Atlas-sharding_1.0.1-el6.x86_64.rpm
安装如下:
1# wget https://github.com/Qihoo360/Atlas/releases/download/2.2.1/Atlas-2.2.1.el6.x86_64.rpm
2# rpm -ivh Atlas-2.2.1.el6.x86_64.rpm
其安装后,目前结构如下:
1[root@atlas ~]# cd /usr/local/mysql-proxy/
2[root@atlas mysql-proxy]# ll
3total 16
4drwxr-xr-x. 2 root root 4096 Dec 12 04:14 bin
5drwxr-xr-x. 2 root root 4096 Dec 13 02:27 conf
6drwxr-xr-x. 3 root root 4096 Dec 12 04:14 lib
7drwxr-xr-x. 2 root root 4096 Dec 13 02:38 log
bin目录下放的都是可执行文件
1. “encrypt”是用来生成MySQL密码加密的,在配置的时候会用到
2. “mysql-proxy”是MySQL自己的读写分离代理
3. “mysql-proxyd”是360弄出来的,后面有个“d”,服务的启动、重启、停止。都是用他来执行的
conf目录下放的是配置文件
1. “test.cnf”只有一个文件,用来配置代理的,可以使用vim来编辑
lib目录下放的是一些包,以及Atlas的依赖 ,log目录下放的是日志,如报错等错误信息的记录 。
2、Atlas配置
加密数据库使用的密码:
1[root@atlas bin]# ./encrypt 361way.com
2FVqTnS1W5uzgSv1GServJg==
编辑/usr/local/mysql-proxy/conf/test.cnf文件 。这是用来登录到Atlas的管理员的账号与密码,与之对应的是“#Atlas监听的管理接口IP和端口”,也就是说需要设置管理员登录的端口,才能进入管理员界面,默认端口是2345,也可以指定IP登录,指定IP后,其他的IP无法访问管理员的命令界面。
1#管理接口的用户名
2admin-username = user
3#管理接口的密码
4admin-password = pwd
通过管理接口,简化管理工作,DB的上下线对应用完全透明,同时可以手动上下线。这个后面再提 。接下来配置主数据的地址与从数据库的地址:
1#Atlas后端连接的MySQL主库的IP和端口,可设置多项,用逗号分隔
2proxy-backend-addresses = 192.168.122.20:3306
3#Atlas后端连接的MySQL从库的IP和端口,@后面的数字代表权重,用来作负载均衡,若省略则默认为1,可设置多项,用逗号分隔
4proxy-read-only-backend-addresses = 192.168.122.30:3306@1
5#用户名与其对应的加密过的MySQL密码,密码使用PREFIX/bin目录下的加密程序encrypt加密,下行的user1和user2为示例,将其替换为你的MySQL的用户名和加密密码!
6#pwds = user1:+jKsgB3YAG8=, user2:GS+tr4TPgqc=
7pwds = sync:FVqTnS1W5uzgSv1GServJg==
上面用到的pwds密码为encrypt加密过后的密码 。
1#Atlas监听的工作接口IP和端口
2proxy-address = 0.0.0.0:1234
3#Atlas监听的管理接口IP和端口
4admin-address = 0.0.0.0:2345
以上为连接端口和管理端口配置 。其中管理端口用于连接增删节点 ,默认为2345端口 。1234端口为连接端口,连接完这个端口可以正常执行数据库的增删改查 sql 语句 。
可以通过如下操作启动altas:
1[root@atlas bin]# ./mysql-proxyd test start
2OK: MySQL-Proxy of test is started
五、连接与测试
1、连接管理接口
1# mysql -h127.0.0.1 -P2345 -uuser -ppwd
管理接口可以执行的命令如下:
可以看出这里管理的内容和test.cnf配置文件内使用的内容相关 。这里和直接修改配置文件的区别是,在这里执行语句的修改可以立即生效,无需重再重启atlas服务 。
2、读写分离测试
操作前,可以先修改test.cnf文件,开启sql-log = REALTIME ,这样执行的sql操作及连接的主机都会在日志中显示。先把mysql的主节点关闭,执行select查询操作:
1MySQL [test]> select max(id) from my;
2+---------+
3| max(id) |
4+---------+
5| 9999 |
6+---------+
71 row in set (0.00 sec)
8MySQL [test]> select * from my where id=9999;
9+------+-------+
10| id | name |
11+------+-------+
12| 9999 | XnBQJ |
13+------+-------+
141 row in set (0.00 sec)
15MySQL [test]> insert my values(10000,'xxxxx');
16ERROR 2013 (HY000): Lost connection to MySQL server during query
17MySQL [test]> insert my values(10000,'xxxxx');
18ERROR 2006 (HY000): MySQL server has gone away
19No connection. Trying to reconnect...
20Connection id: 10010
21Current database: test
22Query OK, 1 row affected (0.03 sec)
可以发现,当主节点出现问题后。查询操作仍然不受影响,写入操作会受到影响。接着将主mysql节点开启,把从mysql节点关闭,发现插入和写入都不受影响:
1MySQL [test]> insert my values(10001,'361way.com');
2Query OK, 1 row affected (0.01 sec)
3MySQL [test]> select max(id) from my;
4+---------+
5| max(id) |
6+---------+
7| 10001 |
8+---------+
91 row in set (0.01 sec)
开始sql-log实时日志后,可以查看日志,发现其连接情况如下:
1[root@atlas log]# more sql_test.log
2[12/08/2016 01:43:25] C:127.0.0.1:55946 S:192.168.122.30:3306 OK 1.546 "show databases"
3[12/08/2016 01:43:25] C:127.0.0.1:55946 S:192.168.122.30:3306 OK 0.911 "show tables"
4[12/08/2016 01:43:35] C:127.0.0.1:55946 S:192.168.122.30:3306 OK 1.735 "show databases"
5[12/08/2016 01:43:39] C:127.0.0.1:55946 S:192.168.122.30:3306 OK 1.143 "SELECT DATABASE()"
6[12/08/2016 01:43:50] C:127.0.0.1:55946 S:192.168.122.30:3306 OK 5.462 "select max(id) from my"
7[12/08/2016 01:45:32] C:127.0.0.1:55946 S:192.168.122.20:3306 OK 8.488 "insert my values(10002,'361way.com')"
8[12/08/2016 01:46:06] C:127.0.0.1:55946 S:192.168.122.30:3306 OK 2.940 "select * from my where id=10002"
9[12/08/2016 01:46:40] C:127.0.0.1:55946 S:192.168.122.20:3306 OK 2.718 "help 'update'"
10[12/08/2016 01:47:24] C:127.0.0.1:55946 S:192.168.122.20:3306 OK 16.327 "update my set name='yunwei' where id=10002"
这里可以发现查询相关的操作都是在从mysql 上执行的,select和update操作在主mysql 上操作的。
六、总结
1.主库宕机不影响读 主库宕机,Atlas自动将宕机的主库摘除,写操作会失败,读操作不受影响。从库宕机,Atlas自动将宕机的从库摘除,对应用没有影响。在mysql官方的proxy中主库宕机,从库亦不可用。
2.通过管理接口,简化管理工作,DB的上下线对应用完全透明,同时可以手动上下线。 比如可以通过add slave手动添加一台从库。
3.自己实现读写分离
(1)为了解决读写分离存在写完马上就想读而这时可能存在主从同步延迟的情况,Altas中可以在SQL语句前增加 /*master*/ 就可以将读请求强制发往主库。
(2)主库可设置多项,用逗号分隔,从库可设置多项和权重,达到负载均衡。
4.其在安全方面还具有可以根据用户或IP进行过滤的功能。在分表功能上也可以将单个大表拆分成多个小表,但这里有一个限制,多个小表必须在同一台DB的同一个库里,具分表需要手动创建好。
本篇就先小结到这里,后面可以考虑配合keepalived做高可用 。
捐赠本站(Donate)
如您感觉文章有用,可扫码捐赠本站!(If the article useful, you can scan the QR code to donate))
- Author: shisekong
- Link: https://blog.361way.com/atlas-mysql/5310.html
- License: This work is under a 知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议. Kindly fulfill the requirements of the aforementioned License when adapting or creating a derivative of this work.