Azure Synapse 操作符¶

Azure Synapse Analytics 是一项无限的分析服务，它汇集了数据集成、企业数据仓库和大数据分析。它让你可以自由地根据自己的条件查询数据，使用无服务器或专用选项 — 按比例缩放。Azure Synapse 将这些世界汇集在一起，提供统一的体验，以便摄取、探索、准备、转换、管理和提供数据，以满足即时的商业智能和机器学习需求。

AzureSynapseRunSparkBatchOperator¶

使用 AzureSynapseRunSparkBatchOperator 在 Synapse Analytics 中执行 Spark 应用程序。默认情况下，操作符将定期检查已执行 Spark 作业的状态，以“成功”状态终止。

以下是使用此操作符在 Azure Synapse 上执行 Spark 应用程序的示例。

tests/system/providers/microsoft/azure/example_azure_synapse.py[源代码]

run_spark_job = AzureSynapseRunSparkBatchOperator(
    task_id="run_spark_job",
    spark_pool="provsparkpool",
    payload=SPARK_JOB_PAYLOAD,  # type: ignore
)

AzureSynapseRunPipelineOperator¶

使用: class:~airflow.providers.microsoft.azure.operators.synapse.AzureSynapseRunPipelineOperator 在 Synapse Analytics 中执行管道应用程序。该操作符将执行 Synapse 管道。

tests/system/providers/microsoft/azure/example_synapse_run_pipeline.py[源代码]

run_pipeline1 = AzureSynapseRunPipelineOperator(
    task_id="run_pipeline1",
    azure_synapse_conn_id="azure_synapse_connection",
    pipeline_name="Pipeline 1",
    azure_synapse_workspace_dev_endpoint="azure_synapse_workspace_dev_endpoint",
)

参考¶

有关更多信息，请参阅 Microsoft 文档

Azure Synapse Analytics 文档