问题是什么？

我们的目标是以自动化方式大规模构建、打包、测试和分发经过精心策划且可信赖的容器。这些容器可以是任何性质的，这意味着我们需要一种解决方案，允许我们使用任何类型的构建工具（如 Maven、Rust、Java、Ant 或 Go）构建任何种类的软件。

这些容器的构建需要安装多个库（甚至可能冲突），并协调复杂的包含多个集成的流程，这些流程可以是定期执行的，也可以由外部系统的事件触发。

最后，我们的构建管道将由上游源代码的发布触发。这意味着只要软件所有者发布新版本，我们就需要触发我们的管道。

Apache Airflow 如何帮助解决这个问题？

事实证明，Apache Airflow 是实现和控制我们管道的完美解决方案。它能够以编程方式协调复杂的流程并监控其执行，同时还辅以全面的图形界面和详细的日志视图。

凭借 Python 这样的高级语言的可扩展性，我们能够以代码形式定制我们的流程，具有令人难以置信的灵活性和高质量。Apache Airflow 使我们能够动态创建和执行源自外部源的任务，将它们调度为批处理运行，从而可靠地执行大规模流程。

Apache Airflow 还允许在不同性质的节点上执行依赖任务。这帮助我们协调在适当的工作节点上构建每个容器的步骤。它提供了多种预构建功能，以便于与外部 API 集成，并在事件发生时通过 Slack 或电子邮件通知。其隔离任务执行的能力使我们能够扩展，无需担心底层细节。其完整的 REST API 使我们能够通过外部源产生的事件触发流程。

结果是什么？

得益于 Apache Airflow，我们得以在创纪录的时间内自动化创建容器集合的生命周期。我们可以更快、更可靠地执行并发进程，通过简单配置就能控制上游故障处理或任务级并发等方面。