svn备份和还原
svn的备份和还原是svn维护中的日常工作。以下将对其备份和还原策略做下分类说明。
一、 备份策略
svn的备份方式一般有三种:
11)svnadmin dump
22)svnadmin hotcopy
33)svnsync
注意,svn备份不宜采用普通的文件拷贝方式(除非你备份的时候将库暂停),如copy命令、rsync命令。
笔者曾经用 rsync命令来做增量和全量备份,在季度备份检查审计中,发现备份出来的库大部分都不可用,因此最好是用svn本身提供的功能来进行备份。
以上三种方式各自的优缺点如下:
第一种svnadmin dump是官方推荐的备份方式,优点是比较灵活,可以全量备份也可以增量备份,并提供了版本恢复机制。
缺点是:如果版本比较大,如版本数增长到数万、数十万,那么dump的过程将非常慢;备份耗时,恢复更耗时;不利于快速进行灾难恢复。
个人建议在版本数比较小的情况下使用这种备份方式。
第二种svnadmin hotcopy原设计目的估计不是用来备份的,只能进行全量拷贝,不能进行增量备份;
- 优点是:备份过程较快,灾难恢复也很快;如果备份机上已经搭建了svn服务,甚至不需要恢复,只需要进行简单配置即可切换到备份库上工作。
- 缺点是:比较耗费硬盘,需要有较大的硬盘支持。
第三种svnsync实际上是制作2个镜像库,当一个坏了的时候,可以迅速切换到另一个。不过,必须svn1.4版本以上才支持这个功能。
- 优点是:当制作成2个镜像库的时候起到双机实时备份的作用;
- 缺点是:当作为2个镜像库使用时,没办法做到“想完全抛弃今天的修改恢复到昨晚的样子”;而当作为普通备份机制每日备份时,操作又较前2种方法麻烦。
二、备份命令
dump、hotcopy、svnsync三种备份方式的备份方式如下:
1、全备份
1#dump备份
2svnadmin dump 版本库路径及名称 –revision 导出的版本号> 导出的命名
3#hotcopy备份
4svnadmin hotcopy path/to/repository path/to/backup –clean-logs
5#svnsync备份
6$svnsync init file:////home/usrname/svn-storage-bak 初始化目标仓库
7$svnsync sync file:///home/usrname/svn-storage-bak 开始同步
2、增量备份(只会dump的,另两种是否有,可以自查下)
使用svnadmin dump的–incremental选项来实现
1svnadmin dump 版本库路径及名称 –revision 上次导出的版本号:到本次要导出到的版本号 –incremental > 导出的命名
技巧:如果你有一个较大的Subsersion版本库而你又想用最少的空间来将它备份下来,用这个命令(请将/repo替换成你的版本库路径)
1svnadmin dump --deltas /repo |bzip2 |tee dump.bz2 | md5sum >dump.md5
分步解释:最重要的一步是 -deltas,将消耗更多的CPU资源,但拥有更有效的差异存储办法。
bzip2压缩方案比gzip慢,但换来的更好的压缩率。
更有趣的是,tee方法将压缩的数据流转向到文件dump.bz2,同时将其输出到标准输出,后者有转向给了MD5摘要计算工具。
三、还原命令
1svnadmin load 要恢复的版本库路径及名称
四、脚本实现
a、svnadmin dump实现
1、备份策略
- 备份频度:每周六进行一次全量备份,每周日到周五进行增量备份
- 备份地点:备份存储路径到/home/backup/svn/
- 备份命名:全量备份文件名为:weekly_fully_backup.yymmdd,增量备份文件命名为:daily-incremental-backup.yymmdd
- 备份时间:每晚21点开始
- 备份检查:每月末进行svnadmin load恢复试验。
2、完全备份perl脚本
在~/下建立一个perl脚本文件,名为weekly_backup.pl,执行全量备份,并压缩备份文件,代码如下(本代码只针对一个库的备份,如果是多个库请做相应改动):
1#!/usr/bin/perl -w
2my $svn_repos="/home/svn/repos/project1";
3my $backup_dir="/home/backup/svn/";
4my $next_backup_file = "weekly_fully_backup.".`date +%Y%m%d`;
5$youngest=`svnlook youngest $svn_repos`;
6chomp $youngest;
7print "Backing up to revision $youngestn";
8my $svnadmin_cmd="svnadmin dump --revision 0youngest $svn_repos >$backup_dir/$next_backup_file";
9`$svnadmin_cmd`;
10open(LOG,">$backup_dir/last_backed_up"); #记录备份的版本号
11print LOG $youngest;
12close LOG;
13#如果想节约空间,则再执行下面的压缩脚本
14print "Compressing dump file...n";
15print `gzip -g $backup_dir/$next_backup_file`;
3、增量备份脚本
在全量备份的基础上,进行增量备份:在~/下建立一个perl脚本文件,名为:daily_backup.pl,代码如下:
1#!/usr/bin/perl -w
2my $svn_repos="/home/svn/repos/project1";
3my $backup_dir="/home/backup/svn/";
4my $next_backup_file = "daily_incremental_backup.".`date +%Y%m%d`;
5open(IN,"$backup_dir/last_backed_up");
6$previous_youngest = <in>;
7chomp $previous_youngest;
8close IN;
9$youngest=`svnlook youngest $svn_repos`;
10chomp $youngest;
11if ($youngest eq $previous_youngest)
12{
13 print "No new revisions to backup.n";
14 exit 0;
15}
16my $first_rev = $previous_youngest + 1;
17print "Backing up revisions $youngest ...n";
18my $svnadmin_cmd = "svnadmin dump --incremental --revision $first_revyoungest $svn_repos > $backup_dir/$next_backup_file";
19`$svnadmin_cmd`;
20open(LOG,">$backup_dir/last_backed_up"); #记录备份的版本号
21print LOG $youngest;
22close LOG;
23#如果想节约空间,则再执行下面的压缩脚本
24print "Compressing dump file...n";
25print `gzip -g $backup_dir/$next_backup_file`;
4、crontab配置,在此略过
5、恢复检验
在月底恢复检查中或者在灾难来临时,请按照如下步骤进行恢复:恢复顺序从低版本逐个恢复到高版本;即,先恢复最近的一次完整备份 weekly_full_backup.071201(举例),然后恢复紧挨着这个文件的增量备份 daily_incremental_backup.071202,再恢复后一天的备份071203,依次类推。如下:
1user1>mkdir newrepos
2user1>svnadmin create newrepos
3user1>svnadmin load newrepos svnadmin load newrepos svnadmin load newrepos zcat weekly_full_backup.071201 | svnadmin load newrepos
4user1>zcat daily_incremental_backup.071202 | svnadmin load newrepos
b、svnadmin hotcopy整库拷贝方式
1、备份策略
- 备份频度:每天进行一次全量备份,
- 备份地点:备份目录以日期命名,备份路径到 /home/backup/svn/${mmdd}
- 备份保留时期:保留10天到15天,超过15天的进行删除。
- 备份时间:每晚21点开始
- 备份检查:备份完毕后自动运行检查脚本、自动发送报告。
2、备份脚本
在自己home目录 ~/下创建一个文件,backup.sh:
1#!/bin/bash
2SRCPATH=/home/svn/repos/; #定义仓库parent路径
3DISTPATH=/home/backup/svn/`date +%m%d`/ ; #定义存放路径;
4if [ -d "$DISTPATH" ]
5then
6else
7 mkdir $DISTPATH
8 chmod g+s $DISTPATH
9fi
10echo $DISTPATH
11svnadmin hotcopy $SRCPATH/Project1 $DISTPATH/Project1 >/home/backup/svn/cpreport.log 2>&1;
12svnadmin hotcopy $SRCPATH/Project2 $DISTPATH/Project2
13cp $SRCPATH/access $DISTPATH; #备份access文件
14cp $SRCPATH/passwd $DISTPATH; #备份passwd文件
15perl /home/backup/svn/backup_check.pl #运行检查脚本
16perl /home/backup/svn/deletDir.pl #运行删除脚本,对过期备份进行删除。
3、验证脚本
在上面指定的地方/home/backup/svn/下建立一个perl脚本:backup_check.pl
备份完整性检查的思路是:对备份的库运行 svnlook youngest,如果能正确打印出最新的版本号,则表明备份文件没有缺失;如果运行报错,则说明备份不完整。我试过如果备份中断,则运行svnlook youngest会出错。
perl脚本代码如下:
1#! /usr/bin/perl
2## Author:xuejiang
3## 2007-11-10
4## http://www.scmbbs.com
5use strict;
6use Carp;
7use Net::SMTP;
8### defined the var #####
9my $smtp =Net::SMTP->new('mail.scmbbs.com', Timeout => 30, Debug => 0)|| die "cann't connect to mail.scmbbs.comn";
10my $bkrepos="/home/backup/svn/".&get_day;#定义备份路径
11my $ssrepos="http://www.scmbbs.com/repos";#定义仓库url
12my @repos = ("project1","project2");
13my $title="echo "如下是昨晚备份结果与真实库对比的情况,如果给出备份版本数,则表示备份成功;如果给报错信息或没有备份版本数,则表示备份失败:" >./report";
14system $title || die "exec failedn";
15foreach my $myrepos(@repos)
16{
17 my $bkrepos1=$bkrepos."/".$myrepos;
18 my $ssrepos1=$ssrepos."/".$myrepos;
19 my $svnlookbk1 = "echo "$myrepos 昨晚备份的版本是:">>./report;svnlook youngest ".$bkrepos1." >> ./report 2>&1";
20 my $svnlookss1 = "echo "$myrepos 真实库中的最新版本及最后修改时间是:">>./report;svn log -r'HEAD' ".$ssrepos1." >> ./report 2>&1";
21 system $svnlookbk1 || die "exec failedn";
22 system $svnlookss1 || die "exec failedn";
23}
24my $body ="echo "=========================================================================" >>./report";
25my $bottom ="echo "备份位置:来自http://www.scmbbs.com的".$bkrepos."" >>./report";
26system $body || die "exec failedn";
27system $bottom || die "exec failedn";
28#### report the result ###
29open(SESAME,"./report")|| die "can not open ./report";
30my @svnnews = <sesame>;
31close(SESAME);
32foreach my $line1 (@svnnews)
33{
34 print $line1."n";
35}
36my @email_addresses =("[email protected]","[email protected]","[email protected]");
37my $to = join(', ', @email_addresses);
38$smtp->mail("[email protected]");
39$smtp->recipient(@email_addresses);
40$smtp->data();
41$smtp->datasend("Toton");
42$smtp->datasend("From: [email protected]");
43$smtp->datasend("Subject:svn备份检查报告".&get_today."n");
44$smtp->datasend("Reply-to:[email protected]");
45$smtp->datasend("@svnnews");
46$smtp->dataend();
47$smtp->quit;
48#########
49sub get_today
50{
51my( $sec, $min, $hour, $day, $month, $year ) = localtime( time() );
52$year += 1900;
53$month++;
54my $today = sprintf( "%04d%02d%02d", $year, $month, $day);
55return $today;
56}
57sub get_day
58{
59 my( $sec, $min, $hour, $day, $month, $year ) = localtime( time() );
60$year += 1900;
61$month++;
62my $today = sprintf( "%02d%02d", $month, $day);
63return $today;
64}
c、windows下的备份还原脚本
以下以visual svn为例。备份,需要把脚本放在版本库根目录下运行,例如dumpall.bat, 不指定参数则备份到当前目录下,否则备份到指定目录:
1@ECHO OFF
2SET DUMPTO_DIR="."
3if not "%1" == "" (
4 echo Back up all to %1
5 SET DUMPTO_DIR=%1
6)
7SET VAR_DATE=%DATE:~0,4%%DATE:~5,2%%DATE:~8,2%
8dir /B /AD > DIRS
9IF EXIST DUMP_FILES (
10 DEL /Q DUMP_FILES
11)
12FOR /F %%i IN (DIRS) DO (
13 SET REPOS_NAME=%%i
14 CALL :DUMP_REPOS
15)
16SET REPOS_NAME=
17ECHO.
18IF EXIST %DUMPTO_DIR%Repos_%VAR_DATE%.zip (
19 echo Delete existing compressed dump file
20 del %DUMPTO_DIR%Repos_%VAR_DATE%.zip
21)
22ECHO Compressing dump files...
23zip -j %DUMPTO_DIR%Repos_%VAR_DATE%.zip %DUMPTO_DIR%*.bin
24ECHO Delete dump files...
25FOR /F %%i IN (DUMP_FILES) DO (
26 DEL /Q %DUMPTO_DIR%%%i
27)
28DEL /Q DIRS
29DEL /Q DUMP_FILES
30SET DUMPTO_DIR=
31ECHO Successed.
32GOTO :EOF
33::==== Functions ====
34:DUMP_REPOS
35SET DUMP_FILE=%REPOS_NAME%.bin
36ECHO Dumping repository ^"%REPOS_NAME%^" ...
37svnadmin dump ^"%REPOS_NAME%^" -q > %DUMPTO_DIR%/%DUMP_FILE%
38IF %errorlevel%==0 (
39 ECHO %DUMP_FILE% >> DUMP_FILES
40) ELSE (
41 DEL /Q %DUMP_FILE%
42 ECHO Dump ^"%REPOS_NAME%^" failed.
43)
44SET DUMP_FILE=
45ECHO.
还原:cd到备份目录,再运行,例如loadall.bat, 如果不指定参数,则认为当前目录就是备份的目录,否则从指定目录进行还原。另外, 如果是备份到了压缩包,需要先解压。
1SET VAR_IS_EMPTY_DIR=TRUE
2SET LOAD_DIR=".";
3IF NOT "%1"=="" (
4 SET LOAD_DIR=%1
5)
6echo %LOAD_DIR%
7SET VAR_IS_EMPTY_DIR=
8dir /B /A-D %LOAD_DIR%*.bin > DUMP_FILES
9IF "%errorlevel%"=="0" (
10 ECHO Finded dump file.
11) ELSE (
12 ECHO Error : Can not find dump file.
13 DEL DUMP_FILES
14 GOTO :EOF
15)
16FOR /F %%i IN (DUMP_FILES) DO (
17 SET REPOS_FILE=%%i
18 CALL :LOAD_REPOS
19)
20SET REPOS_FILE=
21DEL /Q DUMP_FILES
22ECHO Successed.
23GOTO :EOF
24::==== Functions ====
25:LOAD_REPOS
26SET REPOS_NAME=%REPOS_FILE:~0,-4%
27mkdir %REPOS_NAME%
28ECHO %REPOS_NAME%
29ECHO Loading repository ^"%REPOS_NAME%^" ...
30svnadmin create %REPOS_NAME%
31svnadmin load -q %cd%%REPOS_NAME% > DUMP_FILES
32) ELSE (
33 RMDIR /Q %REPOS_NAME%
34 ECHO Load ^"%REPOS_NAME%^" failed.
35)
36SET REPOS_NAME=
37ECHO.
捐赠本站(Donate)
如您感觉文章有用,可扫码捐赠本站!(If the article useful, you can scan the QR code to donate))
- Author: shisekong
- Link: https://blog.361way.com/svn-backup/2867.html
- License: This work is under a 知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议. Kindly fulfill the requirements of the aforementioned License when adapting or creating a derivative of this work.