通过rsync远程增量备份您的数据

王朝other·作者佚名  2008-05-19
宽屏版  字体: |||超大  

备份是写代码的人必不可少的一项工作,传统的备份,一般就是copy所有数据到一个地方,然后贴上标签,表示是什么时候备份的,这种备份被称之为“整体备份”。

如 果经常进行整体备份,对磁盘的空间占用需求就很大,尤其当你备份大容量的数据的时候,有时候,比如一个星期,只对其中一小部分的内容进行了修改,但是还是 需要全部重新备份一次,很显然,太浪费磁盘空间了;此时增量备份就派上用场了,增量备份,又叫做差异备份,意如其名,只备份修改过的部分。

好了,废话说完了,来看看如何实际操作,我们用到的软件是大名鼎鼎的 rsync,很多网站的镜像就是用它来完成的。

====================

环境介绍:

====================

备份服务器: 192.168.0.1

需要备份的目录:/data 和 /home/work

备份时验证用户名和密码: backup/secret

备份客户机(备份数据存放地):192.168.0.11

客户机和服务器均需安装 rsync 软件包

====================

服务器端配置:

====================

创建 /etc/rsyncd.conf 主配置文件:

## file of /etc/rsyncd.conf

motd file=/var/rsync/welcome.msg

pid file = /var/rsync/rsyncd.pid

lock file = /var/rsync/rsync.lock

log file = /var/rsync/rsyncd.log

### 需要备份的模块

[data]

comment = our data for service

path = /data

use chroot = no

max connections = 4

read only = true

list = false

uid = nobody

gid = nogroup

secrets file = /etc/rsyncd.secrets

hosts allow = 192.168.0.11

hosts deny = 0.0.0.0/0

ignore errors = yes

transfer logging = yes

log format = "%a %f %l"

auth users = backup

### 需要备份的模块

[work]

comment = our work information

path = /home/work

use chroot = no

max connections = 4

read only = true

list = false

uid = nobody

gid = nogroup

secrets file = /etc/rsyncd.secrets

hosts allow = 192.168.0.11

hosts deny = 0.0.0.0/0

ignore errors = yes

transfer logging = yes

log format = "%a %f %l"

auth users = backup

上面定义了2个备份点,只允许 192.168.0.11 连接,需要验证的用户名为 backup

然后创建密码文件,每一行格式为: 用户名:密码,都是明文的

### file of /etc/rsyncd.secrets

backup:secret

创建日志或运行目录: mkdir /var/rsync

好了,服务器端的工作完成了,只需要运行 rsyn --daemon 启动 rsync 服务即可

====================

客户端的配置

====================

客户端就不用创建什么配置文件了,可以直接运行命令来完成备份,但是为了方便操作,用脚本来完成似乎更理想。

备份要求: 所有的数据统一放到一个根目录下,主备份用每个备份点名字命名,增量备份目录为 Increment,每个备份点的增量备份数据,全部放到这个目录下面,目录为当前日期,格式为 2007-08-11_11-22

文件目录树如下:

/backup/ 备份根目录

|------- work/ 备份点1的主目录,这个目录里面的数据是备份完成后最新的

|------- data/ 备份点2的主目录,同上

`------- Increment/ 增量备份根目录

|

`----- work/ 备份点1的差异/修改备份数据

|

|--- 2007-08-11_10-22 从最开始备份到08月11日10点22分,所修改的数据

`--- 2007-08-11_11-22 从10点22分到11点22分,所修改过的数据

准备工作:

创建备份根目录: mkdir /backup,其他的目录备份时会自动被创建

创建密码文件(这样可以不用手动输入密码): echo "secret" > /backup/passwd

下面就是备份的脚本了

#****************************************************

# Author: Muddyboot - toobyddum@gmail.com

# Last modified: 2007-08-10 21:39

# Filename: rsync.sh

# Description: backup files via rsyn

#****************************************************

### 默认备份时没有任何输出

### 如果需要看到备份的详细信息或备份进度,加上 verb 和 progress

unset verb progress

for i in $*; do

[ "$i" = "verb" ] && verb=v

[ "$i" = "progress" ] && progress="--progress"

done

### 备份服务器地址

RSYNC_SERVER=192.168.0.1

### 备份时验证用户名

AUTH_USER=backup

### 备份根目录

BAKROOT=/backup

[ ! -e $BAKROOT ] && mkdir -p $BAKROOT

### 密码文件

PASSWD_FILE=$BAKROOT/passwd

### 检查密码文件的权限,因为是明文的,所以设为 0600 比较安全

PASSWD_PERM=`ls -l $PASSWD_FILE|awk '{print $1}'`

if [ "$PASSWD_PERM" != "-rw-------" ]; then

echo -e "\nWARNING: permission of passwd file changed to 0600 \n";

chmod 0600 $PASSWD_FILE

fi

### 备份日志

LOGFILE=$BAKROOT/backup.log

### 备份时需要排除的文件

EXCLUDES=$BAKROOT/exclude_file

[ ! -e $EXCLUDES ] && touch $EXCLUDES

### 备份点

BACKUP_MODULES="data work"

### rsync 的参数

OPTIONS="--force --ignore-errors --delete --delete-excluded

--exclude-from=$EXCLUDES $progress

--password-file=$PASSWD_FILE --backup"

### 删除以前的临时日志文件

rm -f $BAKROOT/log.*

log_id=0

for bakdir in $BACKUP_MODULES; do

log_id=`expr $log_id + 1`

SUBOPTS="--backup-dir=$INC_DIR/$bakdir/$BAKTIME -az${verb}"

rsync $OPTIONS $SUBOPTS $AUTH_USER@$RSYNC_SERVER::$bakdir

$BAKROOT/$bakdir | tee $BAKROOT/log.$log_id

done

### 合并临时日志到备份日志中

cat $BAKROOT/log.* >> $LOGFILE

rm -f $BAKROOT/log.*

##### end of rsync.sh

OK,脚本完成了,chmod 755 rsync.sh

开始备份: ./rsync.sh verb progress 就可以了,备份时,会自动从密码文件读取密码进行验证,备份的详细信息及进度会在当前终端输出,同时也记录到 backup.log 文件中。

两次备份后,如果数据在这段时间内有改动,会产生差异备份数据,用当前时间命名,便于以后查找

如果有些数据你不想备份,可以加入到 exclude_file 文件中,每条记录占一行,支持通配符,比如

/tmp ## 排除名为 tmp 的根目录

.[a-z]* ## 不备份以点开头的隐藏文件

====================

rsync 后记

====================

1. 备份时若需要考虑到传输数据的安全,可以通过 rsync over ssh 来完成,加入一个 -e ssh 参数即可,适用于远程备份机密数据的场合;内网备份或对数据安全没有什么要求,就不必了,通过ssh后备份速度会有所减慢。

2. 备份参数中需要注意 --delete 参数,意为:删除本地备份目录存在,但是远程备份服务器不存在的文件和目录,也就是说,如果备份点删除了某个文件,备份过后,备份目的地的该文件也将被删 除。还好有增量备份的存在,这个文件会移到增量备份目录中,如果没有增量备份,那么这个文件就永久被删除了。

3. 暂时没了,以后想到了再补充

 
 
 
免责声明:本文为网络用户发布,其观点仅代表作者个人观点,与本站无关,本站仅提供信息存储服务。文中陈述内容未经本站证实,其真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
© 2005- 王朝网络 版权所有