PS 2021锁死各项AI新技术！
|
业务流程框架提供的一些功能是：
让我们回顾一下一些选项… Apache Oozie Apache Oozie是Hadoop的调度程序，作业创建为DAG，并且可以由基于cron的调度或数据可用性触发。 Oozie是作为Java Web应用程序运行的可伸缩，可靠和可扩展的系统。 它与Sqoop等提取工具和Spark等处理框架集成在一起。 Oozie工作流程定义以hPDL(XML)编写。 工作流包含控制流节点和动作节点。 控制流节点定义工作流的开始和结束(开始，结束和失败节点)，并提供一种机制来控制工作流的执行路径(决策，派生和联接节点)[1]。 动作节点是一种机制，工作流通过该机制触发任务的执行。 Oozie支持不同类型的操作(map-reduce，Pig，SSH，HTTP，电子邮件…)，并且可以扩展以支持其他类型的操作[1]。 同样，可以对工作流程进行参数设置，并且可以同时执行几个相同的工作流程作业。 它是Hadoop的第一个调度程序，非常流行，但是已经有点过时了，如果您完全依赖Hadoop平台，它仍然是一个不错的选择。 Apache Airflow Airflow是一个平台，可用于计划，运行和监视工作流程。 由于其易用性和创新的工作流作为代码方法，它已成为大数据管道的最著名协调者，其中DAG在Python代码中定义，可以像其他任何可交付的软件一样进行测试。 它使用DAG创建复杂的工作流程。 图中的每个节点都是一个任务，边定义了任务之间的依赖关系。 任务分为两类：
Airflow Scheduler在遵循您描述的指定依赖项的同时，在一组工作线程上执行您的任务。 它具有模块化架构，并使用消息队列来协调任意数量的工作程序，并且可以扩展到无穷大[2]。 它为您生成DAG，从而最大程度地提高了并行度。 DAG是用Python编写的，因此您可以在本地运行它们，对其进行单元测试并将其与开发工作流程集成。 当工作流定义为代码时，它们变得更加可维护，可版本控制，可测试和协作[2]。
丰富的用户界面可以轻松地可视化生产中运行的管道，监视进度并在需要时对问题进行故障排除[2]。 它快速，易于使用且非常有用。 它具有多种视图和多种方法来解决问题。 它保留了运行的历史记录，以供以后参考。 （编辑：南通站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
