Glusterfs(distribute) + DRBD + heartbeat + mon 实现分布式文件系统1-白红宇

由于最新公司业务使用的NFS系统偶尔发生故障,恢复起来需要很多时间,于是学习了下文件系统,之前一直在做mfs的测试,但是由于mfs有单点故障的存在,也就放下了,希望以后mfs可以解决单点的问题,那就造福于大众了.

Glusterfs的简介:

GlusterFS

是一个高层次的分布式文件系统解决方案.通过增加一个逻辑层，对上层使用者掩盖了下面的实现,使用者不用了解也不需知道,文件的存储形式、分布.内部实现是整合了许多存储块（server）通过Infiniband RDMA 或者Tcp/Ip方式互联的一个并行的网络文件系统,这样的许多存储块可以通过许多廉价的x86 主机,通过网络搭建起来.

采用这种方式的理由:

由于glusterfs文件系统可以采用多种模式,之前做了cluster/Replicate,但是经过读写性能测试,发现写操作不是很理想,虽然可以确保数据的完整性和防止单点故障.于是有了标题这个方式,既可以确保读写速度又可以确保数据完整性和防止单点故障.利用heartbeat来检测2个主机的存活,glusterfs磁盘挂载的切换.

网络拓扑:

说明:由于drbd同步机制只允许在一个服务器上进行磁盘的挂载,另外一个服务器不允许再进行挂载,否则导致同步失败.为了避免master节点down机之后 ,还需要手动去slave节点上进行手动挂载,在此时间内客户端无法正常的读写数据,这里利用heartbeat来自动进行磁盘挂载切换工作,当master节点down机,它会把磁盘资源释放到slave文件服务器,切换工作仅仅需要10秒左右的时间,大大的提高了故障恢复相应时间.由于heartbeat不能对服务项进行检测,于是又写了moniter脚本来弥补这个缺陷.

测试环境

平台：

REDHAT AS 5.1

地址规划:

192.168.0.59 glusterfs-1 drbd-1

192.168.0.60 glusterfs-2 drbd-2

磁盘规划:

Sda:

安装相关的安装包

Sdb:

用来做drbd的同步

Sofrware:

fuse-2.8.3.tar.gz

glusterfs-3.0.3.tar.gz

drbd-8.3.5.tar.gz

libnet-1.1.2.1.tar.gz

heartbeat-2.0.7.tar.gz

安装相关的包

在2个server节点都安装glusterfs和drbd,由于glusterfs使用到了fuse模块,所以需要先安装FUSE.

#tar zxvf fuse-2.8.3.tar.gz

#cd fuse-2.8.3

#./configure -enable-dependency-tracking -enable-lib -enable-util

#make && make install

#tar zxvf glusterfs-3.0.3.tar.gz

#cd glusterfs-3.0.3

#./configure

#make && make install

#tar zxvf drbd-8.3.5.tar.gz

#cd drbd-8.3.5

#make && make install

#tar zxvf libnet-1.1.2.1.tar.gz

#cd libnet

#./configure

#make && make install

#tar zxvf heartbeat-2.0.7.tar.gz

#cd heartbeat-2.0.7

./ConfigureMe configure --disable-swig --disable-snmp-subagent

#make && make install

相关文件的配置

在2个节点上添加如下的hosts.

# vi hosts

192.168.0.59 drbd-1

192.168.0.60 drbd-2

配置master节点的glusterfs配置文件

#cd /usr/local/etc/glusterfs

#cp glusterfsd.vol.sample glusterfsd.vol

#vi glusterfsd.vol //

配置如下

### Export volume "brick" with the contents of "/home/export" directory.

volume brick

type storage/posix # POSIX FS translator

option directory /home/gluster # Export this directory

end-volume

volume locker

type features/locks

subvolumes brick

end-volume

volume bricks

type performance/io-threads

option thread-count 50 //

开启50个线程

subvolumes locker

end-volume

### Add network serving capability to above brick.

volume server

type protocol/server

option transport-type tcp/server

option listen-port 6996 # Default is 6996

subvolumes locker

option auth.addr.bricks.allow *

option auth.addr.locker.allow *

end-volume

配置slave节点的glusterfs配置文件

### Export volume "brick" with the contents of "/home/export" directory.

volume brick

type storage/posix # POSIX FS translator

option directory /home/gluster # Export this directory

end-volume

volume locker

type features/posix-locks

subvolumes brick

end-volume

volume bricks

type performance/io-threads

option thread-count 50 //

开启50个线程

subvolumes locker

end-volume

### Add network serving capability to above brick.

volume server

type protocol/server

option transport-type tcp/server

option listen-port 6996

subvolumes locker

option auth.addr.bricks.allow *

option auth.addr.locker.allow *

end-volume

在2个节点上执行下面的命令,启动server端的服务

#gluster –f /usr/loca/etc/gluster/glusterfd.vol

配置drbd的配置文件,2个节点的配置相同

common {

syncer { rate 100M; } //

限制流量

}

resource db {

protocol C; //

使用C协议

disk {

on-io-error detach;

}

on drbd-1 {

//drbd-1

为第一台机器的机器名

device /dev/drbd0; //

创建的虚拟资源

disk /dev/sdb1; //

实际的物理分区

address 192.168.0.59:7788; //

第一台机器的ip地址,及通讯端口

meta-disk internal; //

类型,局域网

}

on drbd-2 {

device /dev/drbd0;

disk /dev/sdb1;

address 192.168.1.60:7788;

meta-disk internal;

}

在2个节点上执行如下命令, 创建相应的元数据保存的数据块

#modprobe /lib/modules/2.6.18-53.el5/kernel/drivers/block/drbd.ko

#lsmod |grep drbd //drbd

模块是否加载成功

由于我这里是有数据的,先要保存下数据.

drbd-1 # dd if=/dev/sdb1 of=/root/backup bs=500M count=1

这里要根据自己的数据

大小进行修改.

#drbdadm create-md db //

在2个主机上的 /dev/sdb1 分区上创建相应的元数据保存的数据块

#/etc/init.d/drbd start

#chkconfig drbd on

# ps aux | grep drbd

avahi 2239 0.0 1.1 2552 1384 ? Ss 19:38 0:00 avahi-daemon: running [drbd-1.local]

root 2702 0.0 0.0 0 0 ? S 20:32 0:00 [drbd1_worker]

root 2715 0.0 0.0 0 0 ? S 20:32 0:00 [drbd1_receiver]

root 2726 0.0 0.0 0 0 ? S 20:32 0:00 [drbd1_asender]

如果看到这4个进程就说明drbd启动正常. drbd0_worker是drbd0的主要进程drbd0_asender是primary上drbd0的数据发送进程,drbd0_receiver是secondary上drbd0的数据接收进程.

本文转自wiliiwin 51CTO博客，原文链接:http://blog.51cto.com/wiliiwin/303123