tangjunliang
- 浏览: 106970 次
- 性别:
- 来自: 北京
-
最新评论
-
zenoh：
是啊，我也纳闷，apache hadoop2.2.0的已经修复 ...
安装CDH5 hadoop2.2.0遇到的配置问题 -
Molisa：
你好，我有两个问题请教一下：1.为了密码安全，你有没有试过使用 ...
使用oozie调度sqoop从oracle导入hbase
文章列表
2013-11-07 16:09:06,470 [myid:] - INFO [main:QuorumPeerConfig@101] - Reading configuration from: /dp/zookeeper/bin/../conf/zoo.cfg
2013-11-07 16:09:06,481 [myid:] - INFO [main:QuorumPeerConfig@334] - Defaulting to majority quorums
2013-11-07 16:09:06,490 [myid:] - ERROR [main:QuorumPeerMain@86] ...
hbase 版本：hbase-0.95.2-cdh5.0.0-beta-1.tar.gz
hadoop版本：hadoop-2.2.0-cdh5.0.0-beta-1.tar.gz
zookeeper版本：zookeeper-3.4.5-cdh5.0.0-beta-1.tar.gz
hadoop和zookeeper的安装这里不赘述，安装方式可以参考我写的其他的相应文章。
服务器如下：
10.95.3.100 mast ...
zookeeper版本：zookeeper-3.4.5-cdh5.0.0-beta-1.tar.gz
服务器：
10.95.3.100 master1
10.95.3.103 slave1
10.95.3.104 slave1
1、解压zookeeper-3.4.5-cdh5.0.0-beta-1.tar.gz，进入zookeeper/conf目录下，复制一份zoo_sample.cfg (cp zoo_sample.cfg zoo.cfg)，改名为zoo.cfg。
2、修改conf/zoo.cfg文件：
# The number of mil ...
hadoop版本：hadoop-2.2.0-cdh5.0.0-beta-1
今天在安装hadoop后，启动了namenode，在执行hadoop fs -put /tmp/test.dat /test命令后，报了下面的一个错：
13/11/05 23:40:36 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
13/11/05 23:40:37 WARN hdfs.DFSClie ...
hadoop版本: cloudera hadoop2.2 CDH5
今天在安装hadoop后，启动start-yarn.sh后，nodemanager起不起来，后来查看DN节点的日志，报了以下一个错误：
FATAL org.apache.hadoop.yarn.server.nodemanager.NodeManager: Error starting NodeManager
java.lang.IllegalArgumentException: The ServiceName: mapreduce.shuffle set in yarn.nodemanager.aux-s ...
今天在使用hadoop fsck / 命令查看hadoop dfs时，输出如下：
.............................................
/user/hadoop/.staging/job_1381991904684_0036/libjars/zookeeper-3.4.5-cdh4.3.0.jar: Under replicated BP-2044520431-132.35.141.65-1381473011645:blk_-7907774648029476743_40033. Target Replicas is 10 but found 4 repli ...
hadoop fsck
Usage: DFSck <path> [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]
<path> 检查这个目录中的文件是否完整
-move 破损的文件移至/lost+found目录
-delete 删除破损的文件
-openforwrite 打印正在打开写操作的文件
-files ...
由于测试环境的改变，使用sqoop从oracle往hbase导数时一直出现下列错误：
13/10/12 10:16:54 INFO zookeeper.ZooKeeper: Client environment:java.library.path=/dw/hadoop-2.0.0-cdh4.3.0/lib/native
13/10/12 10:16:54 INFO zookeeper.ZooKeeper: Client environment:java.io.tmpdir=/tmp
13/10/12 10:16:54 INFO zookeeper.ZooKeeper: Client en ...
今天在把原来的hadoop HA的环境给变换了，在start-dfs.sh时，报了以下一个错误：
013-09-23 16:39:33,248 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: Web-server up at: slave3:50070
2013-09-23 16:39:33,248 INFO org.apache.hadoop.ipc.Server: IPC Server Responder: starting
2013-09-23 16:39:33,282 INFO org.apache.hadoop.hdfs.se ...
最近新装了Win7，打开eclipse3.7中文字体很小，简直难以辨认。在网上搜索发现这是由于Eclipse 3.7 用的字体是 Consolas，显示中文的时候默认太小了。
解决方式有两种：
一、把字体设置为Courier New
操作步骤：打开Elcipse，点击菜单栏上的“Windows”——点击“Preferences”——点击“Genneral”——点击“Appearance”——点击“Colors and Font”——在右侧框展开“Basic”文件夹--双击“Text Font”——在弹出窗选择“Courier New”（注：这里可能找不到“Courier New”，点击 ...
oozie版本：oozie-4.0.0-cdh5.0.0-beta-1
oozie默认的时区是UTC，所以我们在定时跑任务的时候，如果设置的时间是当前时间，发现JOB并不会跑起来，而是处于PREA状态。如果需要JOB按照我们的设置的时间去跑该如何设置？
我们在配置任务的时候，在coordinator.xml中，有时区的配置，默认是timezone="UTC"，当我们把它改成，启动我们的JOB，发现这个配置并没有起作用。
打开oozie的配置文件oozie-default.xml，我们发现有以下的一个配置：
<property ...
hadoop版本：hadoop-2.0.0-cdh4.3.0
oozie版本：oozie-3.3.2-cdh4.3.0
在使用上述版本的hadoop和oozie进行开发时，启动hadoop后，NN节点上的进程有NameNode，ResourceManager，DN节点的进程有DataNode，NodeManager，hadoop启动正常，在上面执行自己写的M/R程序也没问题，但是当使用oozie提交M/R任务时候，报了以下一个异常：
Caused by: com.google.protobuf.ServiceException: java.net.ConnectException: Cal ...
最近在使用oozie和hadoop进行开发
hadoop版本：hadoop-2.0.0-cdh4.3.0
oozie版本：oozie-3.3.2-cdh4.3.0
在使用oozie执行里面的例子时，
oozie在向hadoop提交任务时报出了以下错误：
Caused by: com.google.protobuf.ServiceException: java.net.ConnectException: Call From slave4/10.95.3.65 to 0.0.0.0:8030 failed on connection exception: java.net.Connec ...
最近在使用sqoop把oracle中的数据导入到hbase中， 表中的数据每个小时导入一次，使用oozie定时促发。
hadoop版本：hadoop-2.0.0-cdh4.3.0
oozie版本：oozie-3.3.2-cdh4.3.0
sqoop版本：sqoop-1.4.3-cdh4.3.0
相应的配置如下：
coordinator.xml
<coordinator-app name="cfg_check_formula-coord" frequency="${coord:hours(1)}&qu ...
基本使用
如下面这个shell脚本：
#Oracle的连接字符串，其中包含了Oracle的地址，SID，和端口号
CONNECTURL=jdbc:oracle:thin:@20.135.60.21:1521:DWRAC2
#使用的用户名
ORACLENAME=kkaa
#使用的密码
ORACLEPASSWORD=kkaa123
#需要从Oracle中导入的表名
oralceTableName=tt
#需要从Oracle中导入的表中的字段名
columns=AREA_ID,TEAM_NAME
#将Oracle中的数据导入到HDFS后的存放路径
hdfsPath=apps/as/hive/$or ...