mysqlbinlog的应用
一、mysql 日志的类型
分别为:
– 错误日志: -log-err
– 查询日志: -log
– 慢查询日志: -log-slow-queries
– 更新日志: -log-update
– 二进制日志: -log-bin
– 事务性日志:ib_logfile
具体可以参看mysql官方文档或查看mysql基础篇:
http://dev.mysql.com/doc/refman/5.1/zh/database-administration.html#log-files
http://wenku.baidu.com/view/4def1840be1e650e52ea99e8.html
二、mysqlbinlog进行数据恢复的实例
mysqlbinlog工具的使用,大家可以看MySQL的帮助手册。里面有详细的用,在这个例子中,重点是–start-position参数和–stop-position参数的使用。
- –start-position=N 从二进制日志中第1个位置等于N参量时的事件开始读。
- –stop-position=N 从二进制日志中第1个位置等于和大于N参量时的事件起停止读。
OK,现在开始,要启动二进制日志记录,要先在my.cnf / my.ini文件的mysqld里添加 log-bin=日志名
。在这里,我的设置是log-bin=boke。然后再启动mysql服务,windows系统,就执行net start mysql命令,linux就执行service mysqld restart 。
然后在一测试数据库里,创建一个表,并添加记录。
1mysql> create table test(id int auto_increment not null primary key,val int,data varchar(20));
2mysql> insert into test(val,data) values(10,'liang');
3Query OK, 1 row affected (0.03 sec)
4mysql> insert into test(val,data) values(20,'jia');
5Query OK, 1 row affected (0.08 sec)
6mysql> insert into test(val,data) values(30,'hui');
7Query OK, 1 row affected (0.03 sec)
8mysql> flush logs; --产生第二个日志文件
9Query OK, 0 rows affected (0.09 sec)
10mysql> insert into test(val,data) values(40,'aaa');
11Query OK, 1 row affected (0.05 sec)
12mysql> insert into test(val,data) values(50,'bbb');
13Query OK, 1 row affected (0.03 sec)
14mysql> insert into test(val,data) values(60,'ccc');
15Query OK, 1 row affected (0.03 sec)
16mysql> delete from test where id between 4 and 5; --删除记录
17Query OK, 2 rows affected (0.05 sec)
18mysql> insert into test(val,data) values(70,'ddd');
19Query OK, 1 row affected (0.03 sec)
20mysql> flush logs; --产生第三个文件文件
21Query OK, 0 rows affected (0.11 sec)
22mysql> insert into test(val,data) values(80,'dddd');
23Query OK, 1 row affected (0.05 sec)
24mysql> insert into test(val,data) values(90,'eeee');
25Query OK, 1 row affected (0.03 sec)
26mysql> drop table test; --删除表
27Query OK, 0 row affected (0.05 sec)
OK,现在测试数据已经建好了,要求是什么呢?就是将test表的数据全部恢复出来。先用mysqlbinlog工具将日志文件生成txt文件出来分析。
1mysqlbinlog liangck.000001 > G:\01.txt
2mysqlbinlog liangck.000002 > G:\02.txt
3mysqlbinlog liangck.000003 > G:\03.txt
通过这三个命令,可以在G盘下生成3个文件,里面分别记录了日志文件的内容,也就是用户操作的步骤。因为我们需要重做第一个日志文件的所有操作,所以这里只需要将第一个日志文件全恢复就行了。
1mysqlbinlog liangck.000001 | mysql -uroot –p
Ok,接着,我们需要分析的是第二个日志文件。为什么要分析它呢,因为它中途执行了一个操作是DELETE,因为我们要做的是恢复全部数据,也就是我们不希望去重做这个语句。所以在这里我们要想办法去绕开它。我们先打开002.txt文件来分析一下。
1# at 805
2#090427 15:30:21 server id 1 end_log_pos 875 Query thread_id=1 exec_time=0 error_code=0
3SET TIMESTAMP=1240817421/*!*/;
4BEGIN
5/*!*/;
6# at 875
7#090427 15:30:21 server id 1 end_log_pos 981 Query thread_id=1 exec_time=0 error_code=0
8SET TIMESTAMP=1240817421/*!*/;
9delete from test where id between 4 and 5
10/*!*/;
11# at 981
12#090427 15:30:21 server id 1 end_log_pos 1008 Xid = 15
13COMMIT/*!*/;
14# at 1008
15#090427 15:30:34 server id 1 end_log_pos 1078 Query thread_id=1 exec_time=0 error_code=0
16SET TIMESTAMP=1240817434/*!*/;
在这个文件中,我们可以看到DELETE的操作的起始位置是875,终止位置是1008.那么我们只要重做第二个日志文件的开头到875的操作,然后再从1008到末尾的操作,我们就可以把数据给恢复回来,而不会DELETE数据。所以执行两个命令:
1mysqlbinlog liangck.000002 --stop-pos=875 | mysql -uroot -p
2mysqlbinlog liangck.000002 --start-pos=1008 | mysql -uroot -p mytest
OK,现在第二个日志文件的数据了。为了避免昨时表所引的问题,官方并不推荐使用上面的方法进行恢复,官方推荐的两种方式如下:
1shell> mysqlbinlog hostname-bin.000001 hostname-bin.000002 | mysql
2另一个方法是:
3
4shell> mysqlbinlog hostname-bin.000001 > /tmp/statements.sql
5shell> mysqlbinlog hostname-bin.000002 >> /tmp/statements.sql
6shell> mysql -e "source /tmp/statements.sql"
第三个日志文件也是同理,只要找到DROP TABLE的位置,就可以了。
1mysqlbinlog liangck.000003 --stop-pos=574 | mysql -uroot –p
现在我们再查一下数据看看:
1mysql> select * from test;
2+----+------+-------+
3| id | val | data |
4+----+------+-------+
5| 1 | 10 | liang |
6| 2 | 20 | jia |
7| 3 | 30 | hui |
8| 4 | 40 | aaa |
9| 5 | 50 | bbb |
10| 6 | 60 | ccc |
11| 7 | 70 | ddd |
12| 8 | 80 | dddd |
13| 9 | 90 | eeee |
14+----+------+-------+
159 rows in set (0.00 sec)
可以看到,全部数据都回来了。binlog日志的清理:
1清除指定的 binlog
2PURGE MASTER LOGS TO 'mysql-bin.0010';
3
4该命令将清除 mysql-bin.0010 文件。清除指定日期前的 binlog。
5PURGE MASTER LOGS BEFORE '2010-08-01 00:00:00';
6
7清除2010年8月的binlog,在 contab 中设置:下面语句定期删除7天前的 binlog
80 1 * * * `mysql -uroot -e 'PURGE MASTER LOGS BEFORE DATE_SUB( NOW( ), INTERVAL 7 DAY)';
mysql官方提供的mysqlbinlog的用法及恢复操作:
http://dev.mysql.com/doc/refman/5.1/zh/client-side-scripts.html#mysqlbinlog
http://dev.mysql.com/doc/refman/5.1/zh/database-administration.html#backup
三、mysqlbinlog的相关调整参数
其实在my.cnf中有几个参数可以控制bin-log的,其中经常用到的有下面三个:expire_logs_days、SQL_LOG_BIN、max-binlog-size 、binlog-do-db、binlog-ignore-db
,expire_logs_days为二进制日志自动删除的天数。默认值为0,表示“没有自动删除”。
在my.cnf中设置如下:
1expire_logs_days = 10 设置自动删除10天前的日志文件
2
3在运行时修改如下:
4show binary logs;
5show variables like '%log%';
6set global expire_logs_days = 10;
SQL_LOG_BIN 可以定义你此时的session的语句是否记到binlog中。关掉的话貌似可以提高1%的性能。max-binlog-size与设置日志文件大小相关:
1查看binlog大小设置 show variables like 'max_%log_size';
2如果max_relay_log_size > 0,日志文件大小默认为:max_relay_log_size
3否则如果max_relay_log_size = 0;则日志文件大小默认为 max_binlog_size,
4查看: select @@max_relay_log_size; || select @@max_binlog_size;
5默认1G(1073741824)1个,可以通过 select @@max_binlog_size; 查看,可以修改为256M左右,提高系统性能。
6
7[mysqld]
8expire-logs-days=2
9max-binlog-size=268435456
- binlog-do-db设置用于记录mysql二进制日志文件的数据库。如:设置binlog-do-db=db1,则除db1之外的库的操作都不会被记录。
- binlog-ignore-db参数刚好与binlog-ignore-db参数的功能相反。
捐赠本站(Donate)
如您感觉文章有用,可扫码捐赠本站!(If the article useful, you can scan the QR code to donate))
- Author: shisekong
- Link: https://blog.361way.com/mysqlbinlog/930.html
- License: This work is under a 知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议. Kindly fulfill the requirements of the aforementioned License when adapting or creating a derivative of this work.