hadoop版本: cloudera hadoop2.2 CDH5
今天在安装hadoop后,启动start-yarn.sh后,nodemanager起不起来,后来查看DN节点的日志,报了以下一个错误:
FATAL org.apache.hadoop.yarn.server.nodemanager.NodeManager: Error starting NodeManager
java.lang.IllegalArgumentException: The ServiceName: mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid.The valid service name should only
contain a-zA-Z0-9_ and can not start with numbers
解决办法:
修改yarn-site.xml文件:
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
是由于yarn.nodemanager.aux-services配置错误导致。
这个我有个纳闷点,在使用cloudera CDH4 hadoop2.0版本时,这个配置的值设置的是mapreduce.shuffle,而且查了这个值的默认就是这个,为什么在CDH5版本中变成了下划线不得而知。
分享到:
相关推荐
CDH5 Hadoop发行版离线安装手册,亲自实验的经验总结
hadoop cdh5安装hadoop cdh5安装hadoop cdh5安装hadoop cdh5安装hadoop cdh5安装
Hadoop安装部署手册,使用CDH在线离线部署大数据集群环境
CDH5 Hadoop集群完全离线安装说明
一开始使用的是原生的hadoop2.6.0编译的hadoop.dll,但是一直遇到这个问题Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String...
CDH_hadoop安装汇总整理,基于CDH平台使用hadoop,本文亲自整理,没有坑。
Centos 7安装配置Hadoop生态圈CDH5版本 其中包括hadoop hbase hive spark 等组件安装
Centos6.7 + CDH5.4.5 HADOOP 集群环境离线安装
使用CDH搭建hadoop集群,yarn集群,内附详细搭建流程,并记录了里面踩过的一些坑。
CDH5安装手册:Apache Hadoop的服务的部署比较繁琐,需要手工编辑配置文件、下载依赖包等。Cloudera Manager以GUI的方式的管理CDH集群,提供向导式的安装步骤。由于需要对Hive,HBase,Impala,Spark进行功能测试,就...
CDH搭建hadoop环境文档指南,本文档是搭建基于CDH的 hadoop开发环境的文档,详细描述了如何搭建CDH的环境,同时还有其他环境的搭建,如jstorm,ElasticSearch等
cdh_hadoop5。8 kerberos认证,快捷不繁琐
而搭建CDH_Hadoop不是一件容易的事情,步骤很多,配置繁琐,这也是大数据门槛高的一个体现,很多新手都卡在这一关。经过实践和参考相关资料,个人总结整理成文档,为自己为他人,希望都有帮助。
cdh离线安装文档,安装hadoop yarn 等标准资源。配置cdh
Ubuntu安装CDH集群 CDH CM NTP HADOOP Spark 等插件集成
(CDH5.13.1)hadoop集群搭建手册,搭建流程都有包括,强烈推荐
之前一直在网上找社区版hadoop的配置,发现CDH安装直接界面搞定,自动生成配置。供检查学习。
linux系统cdh集成组件部署安装,包括分部式系统环境的基础配置shell脚本
CDH (Cloudera's Distribution, including ...Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件,对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大简化。
CDH版本Hadoop 伪分布式环境搭建 服务规划 步骤 第一步:上传压缩包并解压 cd /export/softwares/ tar -zxvf hadoop-2.6.0-cdh5.14.0.tar.gz -C ../servers/ 第二步:查看Hadoop支持的压缩方式以及本地库 cd /...