字节跳动开源序列推理引擎LightSeq

不要仅以经验去评判一名开发人员，这远远不够。正如谷歌CEO所说：“我雇佣了比你们更有经验的开发人员，但你们在这里的工作效率比我雇佣的任何人都要高，取得的成就也更多。”

不管你是有20年的实际工作经验，还是刚刚进入科技行业，没有实习经验只有一个大学学位。无论是过去还是现在，当涉及到效率、生产力和原始编程天赋时，多年来积累的知识并不绝对重要。以资历去判断一名开发人员的聪慧程度或他是否值得尊重，这并不科学。
 

用例

让我们看一些例子…

• 我有一个旧的Hadoop集群，其Spark批处理作业的运行速度很慢，您的团队符合Scala开发人员的要求，而您的DAG并不太复杂。 在这种情况下，Ozzie是一个不错的选择，因为它提供了计划Spark作业的简单方法。
• 我有许多具有复杂依赖关系的运行缓慢的Spark作业，您需要能够测试依赖关系并最大化并行性，您需要一个易于部署且提供大量故障排除功能的解决方案。 在这种情况下，Airflow是您最好的选择。
• 我需要从许多来源实时获取数据，您需要跟踪数据沿袭，路由数据，丰富数据并能够调试任何问题。 这是您的BA所需要的实时数据流传输管道，他们没有太多的编程知识。 在这种情况下，Apache NiFi是您最好的选择，因为它不需要Python技能即可提供所需的所有功能。 如果您的团队具备Python技能，请考虑使用Dagster。
• 我想在云中创建实时和批处理管道，而不必担心维护服务器或配置系统。 我需要一个快速，强大的解决方案来增强基于Python的分析团队的能力。 在这种情况下，请使用Prefect Cloud。
• 我有短暂的，瞬息万变的工作，要处理要跟踪的复杂数据，我需要一种方法来解决问题并快速进行生产变更。 在这种情况下，请考虑Dagster。
• 我处理数百TB的数据，我有一个复杂的依赖项，我想自动化我的工作流程测试。 对于这种情况，请使用Airflow，因为它可以扩展，与许多系统交互并可以进行单元测试。 Dagster或Prefect可能在此规模的数据上存在规模问题。
• 我不确定我需要什么。 在这种情况下，请从Airflow开始，因为它是最受欢迎的选择。

结论

我们似乎是一些最常见的业务流程框架。 如您所见，它们中的大多数将DAG用作代码，因此您可以在将新的工作流程投入生产之前在本地进行测试，调试管道并对其进行正确的测试。 考虑本文讨论的所有功能，并选择最适合该工作的工具。

简而言之，如果您的需求只是编排不需要共享数据的独立任务，并且/或者您的工作很慢，并且/或者您不使用Python，请使用Airflow或Ozzie。 对于需要数据沿袭和跟踪的数据流应用程序，请对非开发人员使用NiFi; 或Dagster或Prefect(适用于Python开发人员)。

在可能的情况下，请尝试使工作保持简单并在Orchestrator外部管理数据依赖关系，这在Spark中很常见，在Spark中您将数据保存到深度存储中而不传递。 在这种情况下，Airflow是一个不错的选择，因为它不需要跟踪数据流，并且您仍然可以使用XCOM传递小的元数据，例如数据的位置。 对于更小，运行速度更快，基于python的作业或更多动态数据集，您可能希望在Orchestrator中跟踪数据依赖性并使用Dagster之类的工具。
 

总 结

对于开发人员而言，熟练上手使用Kubernetes并不简单，目前许多企业仍然在努力寻找一种方法来抽象Kubernetes的复杂性。这往往导致定制化的平台缺乏许多功能，限制了Kubernetes的潜力，并且是另一个维护负担。

将DevSpace、Rancher和loft结合起来，让开发者可以直接访问Kubernetes，并且只需要一个命令：devspace dev。

Rancher十分擅长创建和管理多个集群，DevSpace擅长为开发者提供工具。将Rancher和DevSpace相结合是十分简单的，并且可以显著提升开发人员的生产力。

此外，loft为开发团队提供了更多有用的功能，让开发者可以随时获得Kubernetes的工作环境，同时保持低成本。将Rancher、DevSpace和loft这三个工具结合起来，对于使用Kubernetes的开发团队来说，是一个十分理想的设置。

（编辑：南通站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!