Azure Synapse 操作符¶

Azure Synapse Analytics 是一种无限的分析服务，它将数据集成、企业数据仓库和大数据分析结合在一起。它让您可以自由地使用无服务器或专用选项按需查询数据——并且可以大规模进行。 Azure Synapse 通过统一的体验将这些领域结合在一起，以摄取、探索、准备、转换、管理和服务数据，从而满足即时 BI 和机器学习的需求。

AzureSynapseRunSparkBatchOperator¶

使用 AzureSynapseRunSparkBatchOperator 在 Synapse Analytics 中执行 Spark 应用程序。默认情况下，该操作符会定期检查已执行的 Spark 作业的状态，以“成功”状态终止。

以下是使用此操作符在 Azure Synapse 上执行 Spark 应用程序的示例。

tests/system/microsoft/azure/example_azure_synapse.py[源代码]

run_spark_job = AzureSynapseRunSparkBatchOperator(
    task_id="run_spark_job",
    spark_pool="provsparkpool",
    payload=SPARK_JOB_PAYLOAD,  # type: ignore
)

AzureSynapseRunPipelineOperator¶

使用:class:~airflow.providers.microsoft.azure.operators.synapse.AzureSynapseRunPipelineOperator 在 Synapse Analytics 中执行管道应用程序。该操作符将执行 Synapse 管道。

tests/system/microsoft/azure/example_synapse_run_pipeline.py[源代码]

run_pipeline1 = AzureSynapseRunPipelineOperator(
    task_id="run_pipeline1",
    azure_synapse_conn_id="azure_synapse_connection",
    pipeline_name="Pipeline 1",
    azure_synapse_workspace_dev_endpoint="azure_synapse_workspace_dev_endpoint",
)

参考¶

有关更多信息，请参阅 Microsoft 文档

Azure Synapse Analytics 文档