使用NFS服务提高Hadoop 可靠性_服务器应用_Linux公社-Linux系统门户网站

众所周知 Hadoop是一个单点系统,即所谓的spof,所以元数据的保护就是重中之重。目前元数据写两份,分别是本地的磁盘,远程的磁盘。还有一个secondary namenode做冷备。写到远程的磁盘就需要的是NFS服务了。

NFS(Network File System, 网络文件系统)可以通过网络将分享不同主机(不同的OS)的目录——可以通过NFS挂载远程主机的目录, 访问该目录就像访问本地目录一样。

首先下载NFS,网址是http://sourceforge.net/projects/nfs/files/ 选择合适的版本下载。到server和client机器安装。

编辑server主机的文件/etc/exports /etc/hosts.allow /etc/hosts.deny三个文件。

对/etc/exports  加入例如:/data0 10.39.2.121(rw,no_root_squash)

其中/data0为对外开放的目录  后面是机器加权限,详细说明见 http://nfs.sourceforge.net/nfs-howto/ar01s03.html

启动nfs server的服务:

/etc/init.d/portmap start

/etc/init.d/nfslock start

/etc/init.d/nfs start   

    在client端同样启动相同的服务。

同时在client端挂在远程目录  sudo mount master:/data0/ /data1

/data1是client端本地目录。

相关阅读

Hadoop在NFS上的配置  http://www.linuxidc.com/Linux/2012-04/58109.htm

Hadoop&Hbase 备份方案–NFS  http://www.linuxidc.com/Linux/2012-06/63557.htm

于Hadoop集群的Hive安装 http://www.linuxidc.com/Linux/2013-07/87952.htm

Hadoop环境配置过程中可能遇到问题的解决方案 http://www.linuxidc.com/Linux/2013-07/87905.htm

基于Ubuntu 12.04+Hadoop1.2.0 的Hadoop集群搭建 http://www.linuxidc.com/Linux/2013-07/87583.htm

Hadoop Eclipse 插件编译安装1.2.0 http://www.linuxidc.com/Linux/2013-07/87428.htm

来源URL:http://www.linuxidc.com/Linux/2013-10/91501.htm