`
tangjunliang
  • 浏览: 106393 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

oozie CDH4和hadoop CDH4整合出现的问题(二)

阅读更多
hadoop版本:hadoop-2.0.0-cdh4.3.0
oozie版本:oozie-3.3.2-cdh4.3.0

在使用上述版本的hadoop和oozie进行开发时,启动hadoop后,NN节点上的进程有NameNode,ResourceManager,DN节点的进程有DataNode,NodeManager,hadoop启动正常,在上面执行自己写的M/R程序也没问题,但是当使用oozie提交M/R任务时候,报了以下一个异常:
Caused by: com.google.protobuf.ServiceException: java.net.ConnectException: Call From slave4/10.95.3.65 to 0.0.0.0:10020 failed on connection exception: java.net.ConnectException: 拒绝连接; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused
	at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:212)
	at com.sun.proxy.$Proxy28.registerApplicationMaster(Unknown Source)
	at org.apache.hadoop.yarn.api.impl.pb.client.AMRMProtocolPBClientImpl.registerApplicationMaster(AMRMProtocolPBClientImpl.java:100)
	... 12 more


10020这个端口是hadoop的 jobhistory的端口,对于oozie在提交job的时候为什么要去连接jobhistory不是很理解,在map-site.xml也配置了这个选项:
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>master:10020</value>
        </property>


后来通过调试和跟踪hadoop源代码,发现oozie在提交任务后确实会去连接jobhistory,
开到debug模式后,在org.apache.hadoop.mapred.ClientCache,这个类的:
  protected MRClientProtocol instantiateHistoryProxy()
      throws IOException {
    final String serviceAddr = conf.get(JHAdminConfig.MR_HISTORY_ADDRESS);
    if (StringUtils.isEmpty(serviceAddr)) {
      return null;
    }
    LOG.debug("Connecting to HistoryServer at: " + serviceAddr);
    final YarnRPC rpc = YarnRPC.create(conf);
    LOG.debug("Connected to HistoryServer at: " + serviceAddr);
    UserGroupInformation currentUser = UserGroupInformation.getCurrentUser();
    return currentUser.doAs(new PrivilegedAction<MRClientProtocol>() {
      @Override
      public MRClientProtocol run() {
        return (MRClientProtocol) rpc.getProxy(HSClientProtocol.class,
            NetUtils.createSocketAddr(serviceAddr), conf);
      }
    });
  }

通过上面的代码可以知道确实连接了HistoryServer,因此我通过命令
mr-jobhistory-daemon.sh start historyserver 把这个服务启动,这样在NN上会启动JobHistoryServer进程,这个进程的监听端口就是10020,本以为这样这个问题就能解决了,没想到在oozie的log日志里还是报上面的错,唯一可能的原因是oozie没有读取到 jobhistory的配置, 因此我把这个配置:
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>master:10020</value>
        </property>

又在oozie/conf/hadoop-conf/core-site.xml文件中又添加了一遍,上述错误就消失了,job也能正常跑起来了。

ps: 我用的MR2,MR1在集成时不存在上述问题。
分享到:
评论

相关推荐

    Cloudera Hadoop 5&amp;Hadoop高阶管理及调优课程

    Cloudera Hadoop 5&Hadoop高阶管理及调优课程,完整版,提供课件...2、搭建本地Yum部署CDH5的重要组件和优化配置 3、Impala、Oozie和Hue的部署、使用操作及调优 4、Hadoop安全认证及授权管理 5、Hadoop各组件性能调优

    安装Oozie4.1.0-CDH版本

    安装Oozie4.1.0-CDH版本 这个安装过程同样适用于oozie4.1.0的其他的CDH版本。 先对文件进行下载: 这里使用的是CDH版本的,免编译,看着编译的过程就够了。下载地址: ...

    快速学习-Oozie的部署

    3.1 部署Hadoop(CDH版本的) 3.1.2 修改Hadoop配置 core-site.xml hadoop.proxyuser.atguigu.hosts * hadoop.proxyuser.atguigu.groups * mapred-site.xml mapreduce.jobhistory.address hadoop102:...

    CDH3.5.6 可用的一整套软件 下载链接 百度网盘,包含其他小工具,具体看资源详情

    7.hadoop-2.5.0-cdh5.3.6.tar.gz 8.hbase-0.98.6-cdh5.3.6.tar.gz 9.hive-0.13.1-cdh5.3.6.tar.gz 10.oozie-4.0.0-cdh5.3.6.tar.gz 11.sqoop-1.4.5-cdh5.3.6.tar.gz 12.zookeeper-3.4.5-cdh5.3.6.tar.gz 里面有联系...

    oozie-branch-4.1.zip

    oozie-4.1源码。github下载的。 oozie-4.1源码。github下载的。

    快速学习-Oozie的使用

    第4章 Oozie的使用 4.1 案例一:Oozie调度shell脚本 目标:使用Oozie调度Shell脚本 分步实现: 1)解压官方案例模板 [atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ tar -zxvf oozie-examples.tar.gz 2)创建工作目录 ...

    CDH版oozie网页无法显示的问题.rar

    hadoop集群

    docker-cdh5.4:Cloudera CDH 5.4.0

    此目录中的Docker脚本会生成CentOS 6 Docker VM并安装所有CDH组件(Hadoop,Spark,Hbase,Hive,Impala,Hue,Zookeeper,Oozie等)。 如何建立cdh容器? docker build -t docker-cdh54 . 如何运行cdh容器? ...

    oozie-graphite:使用石墨监控您的 oozie 服务器和 oozie 包

    v1.0.0 - 2013-10-28 - Oozie 3.3.x - CDH4 - JDK 1.6 v1.1.0 - 2015-02-14 - Oozie 4.x - CDH5 - JDK 1.7 安装 请参阅 ,了解如何使用这些扩展捆绑和配置您的 oozie 服务器。 可用模块 ...

    基于cloudera搭建hadoop集群

    二. 下载地址 4 三. 安装环境 4 四. 机器设置 5 1. 网络配置 5 2. 修改主机名(hostname) 6 3. 关闭selinux 6 4. 子节点互通配置 6 5. 用户sudo功能设置 7 6. 挂载硬盘 7 7. 配置yum源 9 8. 关闭防火墙 9 9. 配置ssh...

    Oozie安装教程

    文章目录一、安装Hadoop CDH环境1.上传安装包2.解压3.修改配置文件3.1hadoop-env.sh3.2mapred-env.sh3.3yarn-env.sh3.4core-site.xml3.5hdfs-site.xml3.6mapred-site.xml3.7yarn-site.xml3.8slaves4.远程发送配置...

    2018最新高清大数据协作框架全套视频教程(Sqoop,Flume,Oozie,WEB工具Hue)

    1.02_02_01_04 使用CDH 5.3.6版本快速搭建Hadoop 2.x和Hive伪分布式环境 网页.mp4 1.02_02_01_05 Sqoop 1安装及基本使用讲解 网页.mp4 1.02_02_01_06 使用Sqoop导入数据到HDFS及本质分析 网页.mp4 1.02_02_01_07 ...

    Cloudera CDH搭建

    cloudera hadoop搭建手册,CDH包括hdfs mapreduce hbase hive oozie sqoop zookeeper pig 等

    hue-3.9.0-cdh5.14.2.tar.gz

    Hue是一个能够与Apache Hadoop交互的Web应用程序。一个开源的Apache Hadoop UI。hue-logo.png特性:一个HDFS的文件浏览器,一个...它还附带了一个Oozie的应用程序,用于创建和监控工作流程,一个Zookeeper浏览器和SDK。

    CM_CDH大数据集群搭建总结.zip

    集群运维搭建,搭建hdfs,hadoop,hbase,spark,oozie,sqoop,MR,zookeeper,hive

    价值上万的视频教程互联网程序开发+大数据+Hadoop、hive、Spark

    HBase、 Java9 、Java10 、MySQL优化 、JVM原理 、JUC多线程、 CDH版Hadoop Impala、 Flume 、Sqoop、 Azkaban、 Oozie、 HUE、 Kettle、 Kylin 、Spark 、Mllib机器学习、 Flink、 Python、 SpringBoot、 Hadoop3.x...

    kite-apps:基于Kite和Hadoop说明性应用程序

    风筝应用[ ] Kite Apps是一种用于在Hadoop和Kite上编写,部署和管理应用程序的规范方法。 开发人员使用简单的流利的Java API来安排Crunch或Spark作业,并将其连接到Kite视图作为输入和输出。 该库处理所有调度工作,...

    searchanalytics-bigdata:客户产品搜索使用大数据Hadoop,Hive,Oozie,ElasticSearch,Akka和Spring Data进行点击分析

    使用Flume,Hadoop,Hive,Pig,Oozie,ElasticSearch,Akka,Spring Data,Spark流,Hbase分析搜索点击数据。 存储库包含单元/集成测试用例,以基于与任何电子商务网站上的产品搜索相关的点击事件来生成分析。入门...

    大数据开源框架集锦.pdf

    ⼤数据开源框架集锦 1 ⼤数据平台 Hadoop 离线数据的分布式存储和计算基础框架 分布式存储HDFS 离线计算引擎MapReduce 资源调度Apache YARN CDH 基于稳定版Hadoop及相关项⽬最成型的发⾏版本, 成为企业部署最⼴泛的...

    尚gg大数据项目实战电商数仓系统开发教程.txt

    01_数仓项目介绍.avi4 b4 Q* Q8 Z0 Y) C6 O! w 02_数仓采集_用户行为采集课程介绍.avi8 \7 f3 O. c- {: v# W& V$ Y& b 03_数仓采集_数仓的概念.avi8 Z# X* q/ c; }3 A* [ T 04_数仓采集_项目需求.avi6 B8 n s0 h! M4...

Global site tag (gtag.js) - Google Analytics