首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏不温卜火

    Oozie快速入门系列(2) | 一文带你快速了解Oozie的使用(超详细!!!)

    --要执行的脚本--> <exec>mkdir</exec> <argument>/opt/module/d</argument> <capture-output configuration> <exec>mkdir</exec> <argument>/opt/module/d1</argument> <capture-output configuration> <exec>mkdir</exec> <argument>/opt/module/d2</argument> <capture-output configuration> <exec>mkdir</exec> <argument>/opt/module/d3</argument> <capture-output configuration> <exec>mkdir</exec> <argument>/opt/module/d4</argument> <capture-output

    88620发布于 2020-10-28
  • 来自专栏xingoo, 一个梦想做发明家的程序员

    Oozie分布式任务的工作流——脚本篇

    <capture-output/> </shell> <ok to="[NODE-NAME]"/> <error to="[NODE-NAME]"/> capture-output元素,用来指定输出端。shell命令输出必须是java属性这种格式,并且小于2kb.通过工作流的定义,输出也可以通过string action实现。

    1.4K90发布于 2018-01-17
  • 来自专栏xingoo, 一个梦想做发明家的程序员

    Oozie分布式工作流——从理论和实践分析使用节点间的参数传递

    并且使用<capture-output>也可以把数据输出出来,然后后面的action就可以基于EL表达式使用了。 <capture-output /> </java> <ok to="[NODE-NAME]"/> <error to="[NODE-NAME]"/> <arg>arg2</arg> <file>/oozie/lib/ojdbc7.jar#ojdbc7.jar</file> <capture-output Map-reduce的队列:mapred.job.queue.name 2 指定Main class<main-class> 3 如果依赖其他的jar,需要添加<file> 4 如果想要捕获输出,需要设置<capture-output

    1.5K50发布于 2018-01-17
  • 来自专栏云计算与大数据技术

    oozie调用shell脚本

    /configuration> <exec>${exec}</exec> <file>${shellpath}</file> <capture-output

    1.7K20发布于 2021-04-27
  • 来自专栏Spark学习技巧

    针对 Hadoop 的 Oozie 工作流管理引擎的实际应用

    <argument>${tableName}</argument> <file>${sqoopUpdTrackPath}#${sqoopUpdTrack}</file> <capture-output archive> </java> <ok to="hiveSwitch"/> <error to="fail"/> </action> 您可以通过使用 capture-output <main-class>PropertyExplorer</main-class> <java-opts></java-opts> <capture-output >${tableName}</argument> <file>${hiveSwitchScriptPath}#${hiveSwitchScript}</file> <capture-output

    1.5K30发布于 2018-10-25
  • 来自专栏xingoo, 一个梦想做发明家的程序员

    Oozie分布式工作流——EL表达式

    message) 返回出错的主要信息 int wf:run() 返回当前工作流任务的标志,0代表正常 Map wf:actionData(String node) 返回指定节点输出的内容,需要配合<capture-output MyTest</main-class> <arg> ${wf:actionData("pig-node")["hadoopJobs"]}</arg> <capture-output

    1.2K80发布于 2018-01-17
  • 来自专栏cwl_Java

    快速学习-Oozie的使用

    Oozie</argument> --> <file>/user/atguigu/oozie-apps/shell/${EXEC}#${EXEC}</file> <capture-output -- <argument>my_output=Hello Oozie</argument>--> <capture-output/> </shell> -- <argument>my_output=Hello Oozie</argument>--> <capture-output/> </shell> -- <argument>my_output=Hello Oozie</argument>--> <capture-output/> </shell> <ok

    1.2K00发布于 2020-02-20
  • 来自专栏Laikee Tech Space

    通过QEMU-GuestAgent实现从外部注入写文件到KVM虚拟机内部

    qemu-agent-command ${DOMAIN} '{"execute":"guest-exec","arguments":{"path":"mkdir","arg":["-p","/root/.ssh"],"capture-output qemu-agent-command ${DOMAIN} '{"execute":"guest-exec","arguments":{"path":"chmod","arg":["700","/root/.ssh"],"capture-output {DOMAIN} '{"execute":"guest-exec","arguments":{"path":"touch","arg":["/root/.ssh/authorized_keys"],"capture-output DOMAIN} '{"execute":"guest-exec","arguments":{"path":"chmod","arg":["600","/root/.ssh/authorized_keys"],"capture-output

    3.1K20编辑于 2022-04-25
  • 来自专栏黑泽君的专栏

    大数据技术之_14_Oozie学习

    Oozie</argument> -->         <file>/user/atguigu/oozie-apps/shell/${EXEC1}#${EXEC1}</file>         <capture-output argument> -->             <file>/user/atguigu/oozie-apps/shell/${EXEC1}#${EXEC1}</file>             <capture-output argument> -->             <file>/user/atguigu/oozie-apps/shell/${EXEC2}#${EXEC2}</file>             <capture-output Oozie</argument>-->           <file>/user/atguigu/oozie-apps/cron/${EXEC3}#${EXEC3}</file>           <capture-output

    1.3K20发布于 2019-03-19
  • 来自专栏民工哥技术之路

    进击大数据系列(十一)Hadoop 任务调度框架 Oozie

    Oozie</argument> --> <file>/user/atguigu/oozie-apps/shell/${EXEC}#${EXEC}</file> <capture-output -- <argument>my_output=Hello Oozie</argument>--> <capture-output/> </shell> -- <argument>my_output=Hello Oozie</argument>--> <capture-output/> </shell> -- <argument>my_output=Hello Oozie</argument>--> <capture-output/> </shell> <ok

    1.4K20编辑于 2023-08-22
  • 来自专栏大数据成长之路

    Oozie多任务串联和定时任务执行?看这篇就懂了!

    argument> --> <file>/user/root/oozie_works/sereval-actions/${EXEC}#${EXEC}</file> <capture-output argument> --> <file>/user/root/oozie_works/cron-job/${EXEC}#${EXEC}</file> <capture-output

    1.4K30发布于 2021-01-27
  • 来自专栏Hadoop数据仓库

    HAWQ取代传统数仓实践(十三)——事实表技术之周期快照

    <host>${focusNodeLogin}</host> <command>${myScript}</command> <capture-output <host>${focusNodeLogin}</host> <command>${myScript1}</command> <capture-output

    2.1K80发布于 2018-01-03
  • 来自专栏Hadoop实操

    如何使用Oozie API接口向非Kerberos环境的CDH集群提交Shell工作流

    name-node> <exec>${exec}</exec> <argument>${argument}</argument> <capture-output

    1.3K70发布于 2018-03-30
  • 来自专栏Hadoop实操

    如何使用Oozie API接口向Kerberos环境的CDH集群提交Shell作业

    name-node> <exec>${exec}</exec> <argument>${argument}</argument> <capture-output

    2K60发布于 2018-03-30
  • 来自专栏大数据成长之路

    什么是Oozie?如何使用Oozie?蒟蒻博主带你快速上手Oozie!

    Hello Oozie</argument> --> <file>/user/root/oozie_works/shell/${EXEC}#${EXEC}</file> <capture-output

    2.9K20发布于 2021-01-27
  • 来自专栏Hadoop数据仓库

    HAWQ取代传统数仓实践(五)——自动调度工作流(Oozie、Falcon)

    <host>${focusNodeLogin}</host> <command>${myScript}</command> <capture-output

    2.5K60发布于 2018-01-03
  • 来自专栏Hadoop数据仓库

    OushuDB入门(六)——任务调度篇

    <host>${focusNodeLogin}</host> <command>${myScript}</command> <capture-output

    1.1K10发布于 2019-05-25
领券