hadoop 2.2 集群 和eclipse 怎么配置_百度知道

Eclipse调用hadoop运行MR程序其实就是普通的java程序可以提交MR任务到集群执行而已。在Hadoop1中,只需指定jt(jobtracker)和fs(namenode)即可,一般如下:

Configuration conf = new Configuration();
conf.set(“mapred.job.tracker”, “192.168.128.138:9001”);
conf.set(“fs.default.name”,”192.168.128.138:9000″);

上面的代码在hadoop1中运行是ok的,完全可以使用java提交任务到集群运行。但是,hadoop2却是没有了jt,新增了yarn。这个要如何使用呢?最简单的想法,同样指定其配置,试试。

Configuration conf = new YarnConfiguration();
conf.set(“fs.defaultFS”, “hdfs://node31:9000”);
conf.set(“mapreduce.framework.name”, “yarn”);
conf.set(“yarn.resourcemanager.address”, “node31:8032”);

恩,这样配置后,可以运行

来源URL:http://zhidao.baidu.com/link?url=4rlSYOygoMckI65pKpmSIjtSiTh_4fWpeYfUgeZMI4dWip6CdrxtCHkOcFwr8bJXw5LeakxOVCh8sS5yEPJWOTx6-SqZz4mp3_6U2HsRS3G