DatabricksRunNowOperator

使用 DatabricksRunNowOperator 通过 api/2.1/jobs/run-now API 端点触发现有 Databricks 作业的运行。

使用操作符

有两种方法可以实例化此操作符。在第一种方法中，你可以获取通常用于调用 api/2.1/jobs/run-now 端点的 JSON 有效负载，并通过 json 参数将其直接传递给我们的 DatabricksRunNowOperator。

实现相同目标的另一种方法是直接使用 DatabricksRunNowOperator 的命名参数。请注意，jobs/run-now 端点中的每个顶级参数恰好有一个命名参数。

唯一必需的参数是

  • job_id - 指定现有 Databricks 作业的 ID

  • job_name - 现有 Databricks 作业的名称。如果没有找到作业，或者如果有多个具有相同名称的作业，它将引发异常。

所有其他参数都是可选的，并在 DatabricksRunNowOperator 的文档中进行了说明。例如，你可以使用以下参数之一将附加参数传递给作业，具体取决于作业中的任务类型

  • notebook_params

  • python_params

  • python_named_parameters

  • jar_params

  • spark_submit_params

  • idempotency_token

  • repair_run

  • cancel_previous_runs

DatabricksRunNowDeferrableOperator

可延迟版本的 DatabricksRunNowOperator 操作符。

它允许使用 Airflow 2.2.0 中引入的新功能 更有效地利用 Airflow 工作器

此条目是否有帮助？