HDFS资源管理器源码发布 – 古道 – 博客园

Hadoop对于从事分布式存储工作的朋友应该并不陌生(如果你还没有听说过请到百度百科http://baike.baidu.com/view/908354.htm看个究竟),本文主要针对Hadoop的分布式文件系统也就是HDFS展开讨论。引用Hadoop官方的一句话:HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。这么好的系统我们没有不用的道理吧,如何用呢?这里我不说如何部署Hadoop,主要讲如何让.net程序员来用。为什么只是.net程序员呢,因为Hadoop本身是Java实现且需要架设在Linux系统上,而这些都是我们习惯了Windows下.net编程的开发人员所不擅长的。下面先展示一下本文标题中所说的HDFS资源的效果,如图:

实现的功能主要有一下几点:

1、列表。可以以资源管理器方式列表文件及文件信息(如:文件格式、大小等)

2、文件下载。可以将HDFS中的文件下载到本地,可以单个或批量,按照列表下载。

3、文件上传。可以将本地的文件上传至HDFS,同样支持单个、批量。

4、文件修改。可以直接重命名、复制、粘贴、剪切HDFS中的文件。

5、删除文件恢复。可以自定义文件删除恢复机制,在指定的时间段内恢复文件。

源码和使用配置说明放在了github上,有兴趣的可以去这里(https://github.com/gudao/NetHadoop)交流。

(注:使用前提有搭建好的Hadoop集群或伪集群且启动了Hadoopfs.Thrift服务)

下篇随笔将介绍如何部署Haddopfs.Thrift服务。可以参考这篇文章:

Hadoop的thrift server配置_服务器应用_Linux公社-Linux系统门户网站

来源URL:http://www.cnblogs.com/gudao119/archive/2013/01/12/2857676.html