月度归档： 2015年8月

使用NFS服务提高Hadoop 可靠性_服务器应用_Linux公社-Linux系统门户网站

众所周知 Hadoop是一个单点系统，即所谓的spof，所以元数据的保护就是重中之重。目前元数据写两份，分别是本地的磁盘，远程的磁盘。还有一个secondary namenode做冷备。写到远程的磁盘就需要的是NFS服务了。 继续阅读“使用NFS服务提高Hadoop 可靠性_服务器应用_Linux公社-Linux系统门户网站”

Hadoop2.0 NFS方式的HA的配置_服务器应用_Linux公社-Linux系统门户网站

NFS的方式的HA的配置与启动，和QJM方式基本上是一样，唯一不同的地方就是active namenode和standby namenode共享edits文件的方式，QJM方式是采用journalnode来共享edits文件，而NFS方式则是采用NFS远程共享目录来共享edits文件。 继续阅读“Hadoop2.0 NFS方式的HA的配置_服务器应用_Linux公社-Linux系统门户网站”

分布式文件系统NFS上搭建hadoop集群 – Some things on techology – ITeye技术网站

总的来说，hadoop并不适合搭建在NFS上。一来是NFS的存储成本过高，二来损失了hadoop原本在分布式上的“本地性”特点。

不过由于各种各样的原因，有时候需要在分布式文件系统NFS上搭建hadoop。分布式NFS这种架构主要是计算节点和存储节点的分离。计算节点带有少量的存储。在某些情况下甚至没有存储可以用，这是因为计算节点除了装系统的空间外，不给用户在计算节点上存储任何东西。 继续阅读“分布式文件系统NFS上搭建hadoop集群 – Some things on techology – ITeye技术网站”

Hadoop分布式文件系统：架构和设计要点

原文：http://hadoop.apache.org/core/docs/current/hdfs_design.html
一、前提和设计目标
1、硬件错误是常态，而非异常情况，HDFS可能是有成百上千的server组成，任何一个组件都有可能一直失效，因此错误检测和快速、自动的恢复是HDFS的核心架构目标。 继续阅读“Hadoop分布式文件系统：架构和设计要点”

linux – Getting “mount.nfs: mount system call failed” on mounting HDFS – Stack Overflow

2

down vote

favorite

I am trying to mount the HDFS file system as per the content in the URL http://hadoop.apache.org/docs/r2.5.1/hadoop-project-dist/hadoop-hdfs/HdfsNfsGateway.html

But at the final mount statement, I am getting the mount.nfs: mount system call failed 继续阅读“linux – Getting “mount.nfs: mount system call failed” on mounting HDFS – Stack Overflow”

Openstack平台搭建之第一天 基于RDO方式搭建 – Andy-xu的个人空间 – 开源中国社区

随着IT技术的不断发展以及平台费用搭建的昂贵，近些年来，响应国家可持续资源的利用的号召，IT领域也出现一些白炽化现象，即云计算的迅速推广。所谓云计算即在云端(互联网)进行的IT服务。那么按照美国国家标准与技术研究院（NIST）定义：云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问， 进入可配置的计算资源共享池（资源包括网络，服务器，存储，应用软件，服务），这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。本篇将为大家讲解Havana Release 2013.11的all in one 安装.Openstack包是默认下载在本地的，因…因此在本篇将着重讲解在RHEL6.5系统上搭建Openstack…

继续阅读“Openstack平台搭建之第一天 基于RDO方式搭建 – Andy-xu的个人空间 – 开源中国社区”

Change HostName in CentOS 7 / RHEL 7

After installing the CentOS 7 on my server, i tried to change host name by modifying the /etc/sysconfig/network; it did not take an effect of the modification. Even after multiple reboot of server, the host name remains localhost.localdomain. The procedure to change the host name in CentOS 7 is now totally different from the previous version, this guide will help you to setup the host name on CentOS 7 / RHEL 7. 继续阅读“Change HostName in CentOS 7 / RHEL 7”

CentOS 6 到 CentOS 7 的升级过程 – 技术翻译 – 开源中国社区

在红帽企业版7发布之后仅仅几周，centos7也发布了，并且包含了与红帽同样令人兴奋的功能。除了期待已久的systemd和当前热门的Docker，此次发布还使系统自动从版本6更新到版本7而不需要安装镜像文件成为可能。虽然升级还需要重启，因此不能算是一种live upgrade，但对于那些只能通过远程访问的服务器来说还是非常方便的。

红帽早已发布并且文档化了必要的更新工具。CentOS团队还来不及导入、测试和重新构建工具，但是开发人员早已经在做开始做了-而且他们提供了未测试的二进制文件。 继续阅读“CentOS 6 到 CentOS 7 的升级过程 – 技术翻译 – 开源中国社区”

解密百度大数据：百度是如何使用hadoop的，并且做了哪些改进？ | 人人都是产品经理

引读：百度作为全球最大的中文搜索引擎公司，提供基于搜索引擎的各种产品，几乎覆盖了中文网络世界中所有的搜索需求,因此，百度对海量数据处理的要求是比较高的， 要在线下对数据进行分析，还要在规定的时间内处理完并反馈到平台上。百度在互联网领域的平台需求要通过性能较好的云平台进行处理了，Hadoop就是很好 的选择。 继续阅读“解密百度大数据：百度是如何使用hadoop的，并且做了哪些改进？ | 人人都是产品经理”