怎么编译Oozie
怎么编译Oozie
本篇内容介绍了“怎么编译Oozie”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!
一、什么是工作流?
工作流(WorkFlow)就是工作流程的计算模型,即将工作流程中的工作如何前后组织在一起的逻辑和规则在计算机中以恰当的模型进行表示并对其实施计算。工作流要解决的主要问题是:为实现某个业务目标,在多个参与者之间,利用计算机,按某种预定规则自动传递。下面我们以“员工请假的流程”为例,来为大家介绍什么是工作流。
这个例子包含了一个完整的员工请假流程。从“请假流程开始”,到“员工填写请假条”,再到“部门经理审批”,如果审批不通过,流程回到“员工填写请假条”;如果部门经理审批通过,则流程进入下一个节点;直到最后的流程结束。在Java中,我们可以使用一些框架帮助我们来实现这样的过程。Java的三大主流工作流引擎分别是:Shark,osworkflow,JBPM
二、什么是Oozie?
关于什么是Oozie,其实Oozie是服务于Hadoop生态系统的工作流调度工具,Job运行平台是区别于其他调度工具的最大的不同。但其实现的思路跟一般调度工具几乎完全相同。Oozie工作流通过HPDL(一种通过XML自定义处理的语言,类似JBOSS JBPM的JPDL)来构造。Oozie工作流中的Action在运程系统运行如(Hadoop,Pig服务器上)。一旦Action完成,远程服务器将回调Oozie的接口 并通知Action已经完成,这时Oozie又会以同样的方式执行工作流中的下一个Action,直到工作流中所有Action都完成(完成包括失败)。Oozie工作流提供各种类型的Action用于支持不同的需要,如Hadoop Map/Reduce,Hadoop File System,Pig,SSH,HTTP,Email,Java以及Oozie子流程。Oozie也支持自定义扩展以上各种类型的Action。
一个正常工作的Oozie系统须包含如下四个模块:Oozie Client、Oozie Server、DataBase和Hadoop集群。
Oozie Client可以通过Web Service API、Java API、Command line 方式向Oozie Server提交工作流任务请求。Oozie客户端可以通过REST API或者Web GUI来从Oozie服务端获取Job的日志流。通常在Client端包括工作流配置文件、工作流属性文件和工作流库。
Oozie Server负责接收客户端请求、调度工作任务、监控工作流的执行状态。Oozie本身不会执行具体的Job,而是将Job的配置信息发送到执行环境。
DataBase用于存储Bundle、Coordinator、Workflow工作流的Action信息、Job信息,记录Oozie系统信息。简单说,除了Oozie 运行日志存在本地硬盘不存在DB中,其他信息都存储到DB。
Hadoop集群运行Oozie工作流的实体,负责处理Oozie Server提交来的各种Job。包括HDFS、MapReduce、Hive、Sqoop等Hadoop组件提交的Job。
三、编译Oozie
使用的版本信息如下
Hadoop2.4.1JDK1.7Maven3.5.0Oozie4.3
在oozie解压后的目录下,编译oozie,执行命令:
bin/mkdistro.sh-DskipTests-Dhadoop.version=2.4.1
注意:如果第一次安装,Maven会自动下载依赖的jar包,时间可能 会比较长。
如果出现下面的错误,表示Maven的内存溢出。
设置环境变量:exportMAVEN_OPTS="-Xmx512m-XX:MaxPermSize=128m",并且重新编译。
编译完成,成功出现以下提示。
四、安装部署Oozie
解压安装包
tar-zxvfoozie-4.3.0-distro.tar.gz-C~/training/
设置环境变量
建立MySQL数据库
createdatabaseoozie;createuser'oozieowner'@'%'identifiedby'password';grantallonoozie.*TO'oozieowner'@'%';grantallonoozie.*TO'oozieowner'@'localhost'identifiedby'password';
修改文件:conf/oozie-site.xml
配置oozie的web console
(*)创建目录:mkdir/root/training/oozie-4.3.0/libext(*)将文件ext-2.2.zip和mysql的驱动上传到这个目录(*)拷贝$HADOOP_HOME/share/hadoop/*/*.jar和$HADOOP_HOME/share/hadoop/*/lib/*.jar到Oozie的libext目录下(*)由于hadoop和oozie自带的tomcatjar包有冲突,所以需要把冲突的jar包驱动。执行下面的命令:cd/root/training/oozie-4.3.0/libextmvservlet-api-2.5.jarservlet-api-2.5.jar.bakmvjsp-api-2.1.jarjsp-api-2.1.jar.bakmvjasper-compiler-5.5.23.jarjasper-compiler-5.5.23.jar.bakmvjasper-runtime-5.5.23.jarjasper-runtime-5.5.23.jar.bak
初始化oozie
(*)生成ooziewebconsole的war包:oozie-setup.shprepare-war(*)初始化数据库:ooziedb.shcreate-sqlfileoozie.sql-run(*)将不同任务依赖的共享jar包上传到HDFS:oozie-setup.shsharelibcreate-fshdfs://hadoop111:9000(*)修改oozie-4.3.0/oozie-server/conf/server.xml,注释掉下面的记录:
启动oozie和Hadoop的historyserver
oozied.shstartmr-jobhistory-daemon.shstarthistoryserver
访问URL地址:http://192.168.88.111:11000/oozie/
“怎么编译Oozie”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注恰卡编程网网站,小编将为大家输出更多高质量的实用文章!
推荐阅读
-
在Python中,将K添加到列元组列表中的最小元素
处理数据集涉及识别特定列中的最小值并通过添加常量值(K)来更新它。通过实施优化的解决方案,我们可以有效地执行此操作,这对于数据...
-
使用switch case语句编写的C程序,用于计算几何图形的面积
#includevoidmain(){intfig_code;floatside,base,length,...
-
如何使 C# 代码可重用?
要在C#中使代码可重用,请使用接口。接口定义属性、方法和事件,这些成员是接口的成员。接口只包含成员的声明。派生类负责定义成员。这通...
-
C# 中的覆盖和隐藏有什么区别?
方法隐藏在C#中也称为隐藏。父类的方法可供子类使用,无需在遮蔽中使用override关键字。子类有其自己版本的相同函数。在...
-
在Java中使用示例双倍longValue()函数
Java是一种强大的面向对象语言,可以对各种数据类型进行高度的控制和精确度。其中一种功能是doublelongValue(),...
-
如何在Java中定义JSON字段名称的命名约定?
TheFieldNamingPolicycanbeusedtodefineafewstandardnaming...
-
Servlet中的HttpSession接口
在JavaWeb开发领域,了解HttpSession接口是创建动态和响应式Web应用程序的关键。在本文中,我们将探讨...
-
使用while循环查找自然数之和的Java程序
自然数之和可以使用编程语言中的不同迭代语句来计算。迭代语句是执行一组特定代码行直到循环语句中的条件失败的语句。在本文中,我们将讨论...
-
我们可以将Java数组转换为列表吗?
我们可以使用Arrays.asList()方法轻松地将Java数组转换为List。语法publicstaticLi...
-
Java中如何在不使用任何外部库的情况下读取网页内容?
TheURLclassofthejava.netpackagerepresentsaUniformResour...