Hadoop基础教程之HelloWord – 程序园

我们把hadoop下载、安装、运行起来,最后还执行了一个Hello world程序,看到了结果。现在我们就来解读一下这个Hello Word。

OK,我们先来看一下当时在命令行里输入的内容:

?
1
2
3
4
5
6
7
8
$mkdir input
$cd input
$echo "hello world">test1.txt
$echo "hello hadoop">test2.txt
$cd ..
$bin/hadoop dfs -put input in
$bin/hadoop jar build/hadoop-0.20.2-examples.jar wordcount in out
$bin/hadoop dfs -cat out/*

第1行,容易理解,我们在hadoop文件夹下建了一个input子文件夹;

第2行,进入input文件夹;

第 3行,echo是指回显示,可以理解为print, 大于符(>)为重定向,正常echo是显示在屏幕上,而用了重定向后,即内容显示在了text1.txt文件里。那这句话意思是,创建一个 test1.txt文件,其内容是”hello world”。 第4行类同;

第5行,回上一级目录

第6行,这里运行了一个hadoop命令, 参数为 dfs –put input in 意思是将input文件夹上传到hadoop文件系统中,并存于目录in中。

第7行,同样是hadoop命令,参数 jar XXX.jar wordcount in out 是指运行jar程序中wordcount类的程序,并传入参数 in out。 in 为输入目录 out 为输出结果目录,两个目录皆为hadoop文件系统中的目录,而并不是当前操作系统目录了。在第7行后,会看到屏幕在刷,是在计算。

第8行,cat是linux常用的命令,是将指定文件中的文本内容输出。 所以这里 cat out/* 是指把out文件夹下所有文件的文本内容输出,同时注意这里是dfs即是在hadoop文件系统中,且这个out正是第7步程序中输出的目录。所以输入该 命令后,我们看到了下面的结果:

这个简单的程序目的是什么,其实比较容易看出来了,就是统计每个文件中的单词出现的数量,并将结果合并后显示出来。

可能有人就想,有什么啊,这程序我们C#、java几行代码也就实现了,有什么特别的?的确,初看过程就是。但我们深入来看一下。Hadoop的框架最核心的设计就是:HDFS和MapReduce。

HDFS就是分布式数据存储,这就不一样了,也就是说我的这里需要统计的文件很多的话,可能就不存在一台机器上了,而且存在不同机器上,不需要我们人为控制,而是交给Hadoop自动完成,而我们,只需要统一的接口(bin/Hadoop dfs)来访问:

MapReduce当然就是负责计算咯,回头一想,的确这程序不简单,统计一个文件单词出现的频率容易,但时如果这些文件是分布在不同机器上,然后又需要将结果能很方便的合并起来,那就不是简单几行代码就能搞定的了。所以MapReduce就是来负责这一块的。

看到这里,我们就理解了上面的hello world,但是马上会想,这个hadoop有哪些应用场景呢?或为什么它这现在这么牛,这么流行?

现在是一个大数据时代,首先是一个存储问题,hadoop提供了一个很好的分布式文件系统,方便我们存大量数据,同时提供了统一接口。

其次,拥有了大数据,不代表能产生价值,在产生价值,就必须利用这些数据进行计算(查询、分析等),但时传统的计算就是在一台或多台机器上部署程序,然后把数据获通过接口抓取到程序里进行分析,这称之为移动数据。而hadoop不是,而是把程序自动分发到各hadoop结点上进行计算,然后通过一定机制把结果进行汇总最后返回出来,这称之为移动计算。显然,移动计算要比移动数据成本要低得多

应 用场景之一:就是搜索引擎,现在互联网数据海量,如何存储并搜索成为难点,那hadoop的两大核心框架就正符合这用处,用网络爬虫取来的海量网页数据存 于分布式库,然后当去搜索时,通过各子结点并发搜索,将数据返回合并后展示。 而hadoop的产生,也就是在google在2003年到2004年公布了关于GFS、MapReduce和BigTable三篇技术论文,即 google的三驾马车。Hadoop的HDFS对就google的GFS,MapReduce对就google的MapReduce,Hadoop的 HBase对应google的BigTable。 (注:HBase是其于hadoop开发的类似数据操作的软件)。

应用场景之二:生物医疗,大量DNA数据存储,同时要进行比对工作,用Hadoop再合式不过了。

当然还有N多其他应用场景……

到现在hadoop的核心价值总算摸清了,一是分布式存储,二是移动计算。

为了支撑这些功能,肯定会用到不少的进程,现在我们就来了解下这些进程以及相应的命令。

我们知道,运行$bin/start-all.sh来启动整个hadoop。然后运行$bin/jps可以看到所有运行的进程:

这些进程现在是安装在同一台机器上的,而实际分布式部署时,如下图:

NameNode:是HDFS的守护进程,负责记录文件是如何分割成数据块以及分配存储到哪个DataNode节点上,对内存及I/O进行集中管理。一个系统中只会有一个NameNode。

DataNode:数据结点,负责将数据包读写到硬盘上。当客户端需要数据通讯时,先问NameNode获取存放到哪个DataNode,然后,客户端直接与DataNode进行通讯。

SecondaryNameNode: 用来监控HDFS状态的辅助进程。与NameNode不同的时,它不接收或记录任何实时的数据变化,只与NameNode进行通信,以便定期地保存 HDFS元数据的快照。由于NameNode是单点的,通过SecondaryNameNode的快照功能,可以将NameNode的宕机时间和数据损失 降低到最小。同时NameNode发生问题时,Secondary NameNode可以及时地作为备用NameNode使用。

JobTracker:应用程序与Hadooop之间的纽带,代码提交到集群上,JobTracker将会确定执行计划,包括决定处理哪些文件,为不同的任务分配节点以及监察所有任务的运行,如果任务失败,JobTracker将会自动重启,但分配的节点可能会不同。

TaskTracker:负责执行由JobTracker分配的单项任务,虽然单个结点上只有一个TaskTracker,但可以利用多个JVM(Java虚拟机)并行处理多个Map或reduce任务。

了解了进程后,我们再来了解下有哪些文件操作命令,

bin/hadoop是一个批处理sh文件(与bat类似),运行时需要输入子命令。子命令列表如下:

这里比较清楚了,各个子命令的描述,但这里有下fs,是我们常用的,同里里面会还有N多子命令,比如bin/hadoop fs -ls 列出文件内容。

其它fs参数清单如下:

 

 

 

 

命令

 

 

说明

 

 

 

 

[-ls <path>]

 

 

列出文件夹下的内容

 

 

 

 

[-lsr <path>]

 

 

递归列出文件夹下的内容

 

 

 

 

[-du <path>]

 

 

显示文件点用空间

 

 

 

 

[-mv <src> <dst>]

 

 

移动文件

 

 

 

 

[-cp <src> <dst>]

 

 

复制文件

 

 

 

 

[-rm [-skipTrash] <path>]

 

 

删除文件

 

 

 

 

[-rmr [-skipTrash] <path>]

 

 

删除文件夹

 

 

 

 

[-put <localsrc> … <dst>]

 

 

将本地文件上传到服务器上

 

 

 

 

[-copyFromLocal <localsrc> … <dst>]

 

 

将服务器文件下载到本地

 

 

 

 

[-moveFromLocal <localsrc> … <dst>]

 

 

将服务器文件移至到本地

 

 

 

 

[-get [-ignoreCrc] [-crc] <src> <localdst>]

 

 

将服务器文件下载到本地

 

 

 

 

[-getmerge <src> <localdst> [addnl]]

 

 

将服务器文件夹内文件合并后下载到本地

 

 

 

 

[-cat <src>]

 

 

显示文件的文本内容

 

 

 

 

[-text <src>]

 

 

显示文件文本内容

 

 

 

 

[-copyToLocal [-ignoreCrc] [-crc] <src> <localdst>]

 

 

复制文件()到本地

 

 

 

 

[-moveToLocal [-crc] <src> <localdst>]

 

 

移动文件()到本地

 

 

 

 

[-mkdir <path>]

 

 

创建文件夹

 

 

 

 

[-setrep [-R] [-w] <rep> <path/file>]

 

 

设置文件的复制数量

 

 

 

 

[-touchz <path>]

 

 

写一个时间戳放在文件同级目录

 

 

 

 

[-test -[ezd] <path>]

 

 

测试文件是否存在

 

 

 

 

[-stat [format] <path>]

 

 

返回文件状态

 

 

 

 

[-tail [-f] <file>]

 

 

显示文件最后1KB的内容

 

 

 

 

[-chmod [-R] <MODE[,MODE]… | OCTALMODE> PATH…]

 

 

修改文件(夹)属性

 

 

 

 

[-chown [-R] [OWNER][:[GROUP]] PATH…]

 

 

修改文件owner属性

 

 

 

 

[-chgrp [-R] GROUP PATH…]

 

 

修改文件(夹)属性

 

 

 

 

[-help [cmd]]

 

 

显示帮助

来源URL:http://www.kwstu.com/ArticleView/hadoop_201408181028040408