`
tangjunliang
  • 浏览: 106724 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

关于oozie调用shell的一个例子

阅读更多
完成的功能,执行t.sh,并且通过workflow像t.sh传递参数

workflow.xml

<workflow-app xmlns="uri:oozie:workflow:0.4" name="shell-wf">
    <start to="shell-node"/>
    <action name="shell-node">
        <shell xmlns="uri:oozie:shell-action:0.2">
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <configuration>
                <property>
                    <name>mapred.job.queue.name</name>
                    <value>${queueName}</value>
                </property>
            </configuration>
            <exec>t.sh</exec>
            <argument>/dp/bin/test.sh</argument>
            <file>t.sh</file> <!--Copy the executable to compute node's current working directory -->
            <capture-output/>
        </shell>
        <ok to="end"/>
        <error to="fail"/>
    </action>
    <kill name="fail">
        <message>Shell action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
    </kill>
    <end name="end"/>
</workflow-app>


job.properties

nameNode=hdfs://oozie
jobTracker=master1:8032
queueName=default
exampleRoot=example

oozie.wf.application.path=${nameNode}/user/${user.name}/${exampleRoot}/apps/shell/test


a.sh

ssh hadoop@master2 ${1}
分享到:
评论

相关推荐

    oozie shell action 例子

    提供一个oozie job shell action 列子,例子中 配置文件有 job.properties,workflow.xml,lineCount.sh 项目开发时候,发现shell action 不好配 ,最后网上参照一个列子,配置,可以运行成功

    Oozie调度SparkSQL样例代码_oozie_hive_

    oozie调用hive介绍,在华为大数据平台下通过oozie调用hive,并解决认证问题

    oozie oozie

    Hadoop oozie报错:Table ‘oozie.VALIDATE_CONN’ doesn’t exist 。 oozie建表sql,直接下载执行

    快速学习-Oozie的使用

    4.1 案例一:Oozie调度shell脚本 目标:使用Oozie调度Shell脚本 分步实现: 1)解压官方案例模板 [atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ tar -zxvf oozie-examples.tar.gz 2)创建工作目录 [atguigu@hadoop102...

    oozie 入门

    oozie 入门 oozie概述:oozie能干什么 oozie格式:怎么用oozie oozie执行:怎么运行oozie

    Oozie-JavaAction

    oozie 提交任务参数传递到下一个任务节点 oozie 提交任务参数传递到下一个任务节点

    Oozie之JavaAction测试实例

    使用oozie的流程,以javaAction为例 该实例可以编写自己的Main函数,通过参数传递给oozie,并可以获取oozie的输出,作为action的下一步判断。

    Oozie安装部署及任务定义说明

    Oozie 部署 1 1、Maven 安装 1 3、整合Oozie和Hadoop 8 Oozie提交MapReduce任务事例 8 1上传lib和wf到hdfs上 8 2修改job.properties文件 8 3:修改workflow.xml 9 4:执行oozie客户端命令执行mapreduce 10 配置oozie...

    Oozie大数据调度系统从入门到精通视频教程

    1.Shell脚本工作流调度开发实战 2.Hive Job工作流调度开发实战 3.MapReduce工作流调度开发实战 4.复杂工作流调度实战 5.分支与合并逻辑控制组件 第四章:Oozie定时依赖调度 1.基于时间的任务流调度 2....

    oozie配置mysql:表结构详解

    oozie配置mysql所需表结构。Apache Oozie是用于Hadoop平台的一种工作流调度引擎。

    oozie-4.3.0

    Oozie是一种框架,它让我们可以把多个Map/Reduce作业组合到一个逻辑工作单元中。

    oozie-core-4.3.0.jar

    oozie-core

    oozie的控制台用ext依赖

    CDH安装oozie后不能看console,必须把ext依赖放入oozie的libex

    oozie调度脚本.docx

    使用Oozie进行资源的可视化调度,统一调度hadoop系统中常见的mr任务启动、hdfs操作、shell调度、hive操作等使得复杂的依赖关系、时间触发、事件触发使用xml语言进行表达,开发效率提高一组任务使用一个DAG来表示,...

    oozie 3.0.0

    oozie-3.0.0-distro.tar.gz

    extjs2.2 oozie可以使用的 1积分

    extjs2.2 oozie可以使用的 oozie需要使用extjs2.2

    MySQL :oozie建表sql

    hadoop oozie启动或运行报错:Table ‘oozie.VALIDATE_CONN’ doesn’t exist

    oozie mysql数据库表

    oozie mysql数据库表结构。文档里是oozie mysql的建表语句

    oozie介绍及使用详解

    oozie介绍及使用详解

    大数据Oozie架构原理.pdf

    大数据Oozie架构原理.pdf

Global site tag (gtag.js) - Google Analytics