完成的功能,执行t.sh,并且通过workflow像t.sh传递参数
workflow.xml
<workflow-app xmlns="uri:oozie:workflow:0.4" name="shell-wf">
<start to="shell-node"/>
<action name="shell-node">
<shell xmlns="uri:oozie:shell-action:0.2">
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<configuration>
<property>
<name>mapred.job.queue.name</name>
<value>${queueName}</value>
</property>
</configuration>
<exec>t.sh</exec>
<argument>/dp/bin/test.sh</argument>
<file>t.sh</file> <!--Copy the executable to compute node's current working directory -->
<capture-output/>
</shell>
<ok to="end"/>
<error to="fail"/>
</action>
<kill name="fail">
<message>Shell action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
</kill>
<end name="end"/>
</workflow-app>
job.properties
nameNode=hdfs://oozie
jobTracker=master1:8032
queueName=default
exampleRoot=example
oozie.wf.application.path=${nameNode}/user/${user.name}/${exampleRoot}/apps/shell/test
a.sh
ssh hadoop@master2 ${1}
分享到:
相关推荐
提供一个oozie job shell action 列子,例子中 配置文件有 job.properties,workflow.xml,lineCount.sh 项目开发时候,发现shell action 不好配 ,最后网上参照一个列子,配置,可以运行成功
oozie调用hive介绍,在华为大数据平台下通过oozie调用hive,并解决认证问题
Hadoop oozie报错:Table ‘oozie.VALIDATE_CONN’ doesn’t exist 。 oozie建表sql,直接下载执行
4.1 案例一:Oozie调度shell脚本 目标:使用Oozie调度Shell脚本 分步实现: 1)解压官方案例模板 [atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ tar -zxvf oozie-examples.tar.gz 2)创建工作目录 [atguigu@hadoop102...
oozie 入门 oozie概述:oozie能干什么 oozie格式:怎么用oozie oozie执行:怎么运行oozie
oozie 提交任务参数传递到下一个任务节点 oozie 提交任务参数传递到下一个任务节点
使用oozie的流程,以javaAction为例 该实例可以编写自己的Main函数,通过参数传递给oozie,并可以获取oozie的输出,作为action的下一步判断。
Oozie 部署 1 1、Maven 安装 1 3、整合Oozie和Hadoop 8 Oozie提交MapReduce任务事例 8 1上传lib和wf到hdfs上 8 2修改job.properties文件 8 3:修改workflow.xml 9 4:执行oozie客户端命令执行mapreduce 10 配置oozie...
1.Shell脚本工作流调度开发实战 2.Hive Job工作流调度开发实战 3.MapReduce工作流调度开发实战 4.复杂工作流调度实战 5.分支与合并逻辑控制组件 第四章:Oozie定时依赖调度 1.基于时间的任务流调度 2....
oozie配置mysql所需表结构。Apache Oozie是用于Hadoop平台的一种工作流调度引擎。
Oozie是一种框架,它让我们可以把多个Map/Reduce作业组合到一个逻辑工作单元中。
oozie-core
CDH安装oozie后不能看console,必须把ext依赖放入oozie的libex
使用Oozie进行资源的可视化调度,统一调度hadoop系统中常见的mr任务启动、hdfs操作、shell调度、hive操作等使得复杂的依赖关系、时间触发、事件触发使用xml语言进行表达,开发效率提高一组任务使用一个DAG来表示,...
oozie-3.0.0-distro.tar.gz
extjs2.2 oozie可以使用的 oozie需要使用extjs2.2
hadoop oozie启动或运行报错:Table ‘oozie.VALIDATE_CONN’ doesn’t exist
oozie mysql数据库表结构。文档里是oozie mysql的建表语句
oozie介绍及使用详解
大数据Oozie架构原理.pdf