`airflow.providers.microsoft.azure.hooks.data_factory`¶

拼写例外。

模块内容¶

类¶

`AzureDataFactoryPipelineRunStatus`	Azure Data Factory 管道操作状态。
`AzureDataFactoryHook`	用于与 Azure Data Factory 交互的 Hook。
`AzureDataFactoryAsyncHook`	一个异步 Hook，用于连接到 Azure Data Factory 以执行管道操作。

函数¶

`provide_targeted_factory`(func)	如果未指定，则将目标工厂提供给装饰函数。
`get_field`(extras, field_name[, strict])	从 extra 获取字段，首先检查短名称，然后为了向后兼容，检查带前缀的名称。
`provide_targeted_factory_async`(func)	如果未指定，则将目标工厂提供给异步装饰函数。

属性¶

`凭据`
`异步凭据`
`T`

airflow.providers.microsoft.azure.hooks.data_factory.Credentials[source]¶

airflow.providers.microsoft.azure.hooks.data_factory.AsyncCredentials[source]¶

airflow.providers.microsoft.azure.hooks.data_factory.T[source]¶

airflow.providers.microsoft.azure.hooks.data_factory.provide_targeted_factory(func)[source]¶

如果未指定，则将目标工厂提供给装饰函数。

如果未提供 resource_group_name 或 factory_name，则默认为连接 extras 中指定的值。

class airflow.providers.microsoft.azure.hooks.data_factory.AzureDataFactoryPipelineRunStatus[source]¶

Azure Data Factory 管道操作状态。

QUEUED = 'Queued'[source]¶

IN_PROGRESS = 'InProgress'[source]¶

SUCCEEDED = 'Succeeded'[source]¶

FAILED = 'Failed'[source]¶

CANCELING = 'Canceling'[source]¶

CANCELLED = 'Cancelled'[source]¶

TERMINAL_STATUSES[source]¶

INTERMEDIATE_STATES[source]¶

FAILURE_STATES[source]¶

exception airflow.providers.microsoft.azure.hooks.data_factory.AzureDataFactoryPipelineRunException[source]¶

基类：airflow.exceptions.AirflowException

一个表示管道运行未能完成的异常。

airflow.providers.microsoft.azure.hooks.data_factory.get_field(extras, field_name, strict=False)[source]¶

从 extra 获取字段，首先检查短名称，然后为了向后兼容，检查带前缀的名称。

class airflow.providers.microsoft.azure.hooks.data_factory.AzureDataFactoryHook(azure_data_factory_conn_id=default_conn_name)[source]¶

基类：airflow.hooks.base.BaseHook

用于与 Azure Data Factory 交互的 Hook。

参数: azure_data_factory_conn_id (str) – Azure Data Factory 连接 ID。

conn_type: str = 'azure_data_factory'[source]¶

conn_name_attr: str = 'azure_data_factory_conn_id'[source]¶

default_conn_name: str = 'azure_data_factory_default'[source]¶

hook_name: str = 'Azure Data Factory'[source]¶

classmethod get_connection_form_widgets()[source]¶

返回要添加到连接表单的连接小部件。

classmethod get_ui_field_behaviour()[source]¶

返回自定义字段行为。

get_conn()[source]¶

返回钩子的连接。

refresh_conn()[source]¶

get_factory(resource_group_name, factory_name, **config)[source]¶

获取工厂。

参数

resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

返回

工厂。

返回类型

azure.mgmt.datafactory.models.Factory | None

update_factory(factory, resource_group_name, factory_name, if_match=None, **config)[source]¶

更新工厂。

参数

factory (azure.mgmt.datafactory.models.Factory) – 工厂资源定义。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
if_match (str | None) – 工厂实体的 ETag。应仅针对更新指定，它应与现有实体匹配，或者可以为 * 进行无条件更新。默认值为 None。
config (Any) – ADF 客户端的额外参数。

引发

AirflowException – 如果工厂不存在。

返回

工厂。

返回类型

azure.mgmt.datafactory.models.Factory

create_factory(factory, resource_group_name, factory_name, **config)[source]¶

创建工厂。

参数

factory (azure.mgmt.datafactory.models.Factory) – 工厂资源定义。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

引发

AirflowException – 如果工厂已存在。

返回

工厂。

返回类型

azure.mgmt.datafactory.models.Factory

delete_factory(resource_group_name, factory_name, **config)[source]¶

删除工厂。

参数

resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

get_linked_service(linked_service_name, resource_group_name, factory_name, if_none_match=None, **config)[source]¶

获取链接服务。

参数

linked_service_name (str) – 链接服务名称。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
if_none_match (str | None) – 链接服务实体的 ETag。应仅针对获取指定。如果 ETag 与现有实体标记匹配，或者提供了 *，则不会返回任何内容。默认值为 None。
config (Any) – ADF 客户端的额外参数。

返回

链接服务。

返回类型

azure.mgmt.datafactory.models.LinkedServiceResource | None

update_linked_service(linked_service_name, linked_service, resource_group_name, factory_name, **config)[source]¶

更新链接服务。

参数

linked_service_name (str) – 链接服务名称。
linked_service (azure.mgmt.datafactory.models.LinkedServiceResource) – 链接服务资源定义。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

引发

AirflowException – 如果链接服务不存在。

返回

链接服务。

返回类型

azure.mgmt.datafactory.models.LinkedServiceResource

create_linked_service(linked_service_name, linked_service, resource_group_name, factory_name, **config)[source]¶

创建链接服务。

参数

linked_service_name (str) – 链接服务名称。
linked_service (azure.mgmt.datafactory.models.LinkedServiceResource) – 链接服务资源定义。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

引发

AirflowException – 如果链接服务已存在。

返回

链接服务。

返回类型

azure.mgmt.datafactory.models.LinkedServiceResource

delete_linked_service(linked_service_name, resource_group_name, factory_name, **config)[source]¶

删除链接服务。

参数

linked_service_name (str) – 链接服务名称。
resource_group_name (str) – 链接服务名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

get_dataset(dataset_name, resource_group_name, factory_name, **config)[source]¶

获取数据集。

参数

dataset_name (str) – 数据集名称。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

返回

数据集。

返回类型

azure.mgmt.datafactory.models.DatasetResource | None

update_dataset(dataset_name, dataset, resource_group_name, factory_name, **config)[source]¶

更新数据集。

参数

dataset_name (str) – 数据集名称。
dataset (azure.mgmt.datafactory.models.DatasetResource) – 数据集资源定义。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

引发

AirflowException – 如果数据集不存在。

返回

数据集。

返回类型

azure.mgmt.datafactory.models.DatasetResource

create_dataset(dataset_name, dataset, resource_group_name, factory_name, **config)[source]¶

创建数据集。

参数

dataset_name (str) – 数据集名称。
dataset (azure.mgmt.datafactory.models.DatasetResource) – 数据集资源定义。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

引发

AirflowException – 如果数据集已存在，则抛出此异常。

返回

数据集。

返回类型

azure.mgmt.datafactory.models.DatasetResource

delete_dataset(dataset_name, resource_group_name, factory_name, **config)[source]¶

删除数据集。

参数

dataset_name (str) – 数据集名称。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

get_dataflow(dataflow_name, resource_group_name, factory_name, if_none_match=None, **config)[source]¶

获取数据流。

参数

dataflow_name (str) – 数据流名称。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
if_none_match (str | None) – 数据流实体的 ETag。仅应为获取操作指定。如果 ETag 与现有实体标签匹配，或者提供了 *，则不会返回任何内容。默认值为 None。
config (Any) – ADF 客户端的额外参数。

返回

DataFlowResource。

返回类型

azure.mgmt.datafactory.models.DataFlowResource

update_dataflow(dataflow_name, dataflow, resource_group_name, factory_name, if_match=None, **config)[source]¶

更新数据流。

参数

dataflow_name (str) – 数据流名称。
dataflow (azure.mgmt.datafactory.models.DataFlowResource | IO) – 数据流资源定义。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
if_match (str | None) – 数据流实体的 ETag。仅应为更新操作指定，且应与现有实体匹配，或者可以是 * 表示无条件更新。默认值为 None。
config (Any) – ADF 客户端的额外参数。

引发

AirflowException – 如果数据集不存在。

返回

DataFlowResource。

返回类型

azure.mgmt.datafactory.models.DataFlowResource

create_dataflow(dataflow_name, dataflow, resource_group_name, factory_name, if_match=None, **config)[source]¶

创建数据流。

参数

dataflow_name (str) – 数据流名称。
dataflow (azure.mgmt.datafactory.models.DataFlowResource) – 数据流资源定义。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
if_match (str | None) – 工厂实体的 ETag。应仅针对更新指定，它应与现有实体匹配，或者可以为 * 进行无条件更新。默认值为 None。
config (Any) – ADF 客户端的额外参数。

引发

AirflowException – 如果数据集已存在，则抛出此异常。

返回

数据集。

返回类型

azure.mgmt.datafactory.models.DataFlowResource

delete_dataflow(dataflow_name, resource_group_name, factory_name, **config)[source]¶

删除数据流。

参数

dataflow_name (str) – 数据流名称。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

get_pipeline(pipeline_name, resource_group_name, factory_name, **config)[source]¶

获取管道。

参数

pipeline_name (str) – 管道名称。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

返回

管道。

返回类型

azure.mgmt.datafactory.models.PipelineResource | None

update_pipeline(pipeline_name, pipeline, resource_group_name, factory_name, **config)[source]¶

更新管道。

参数

pipeline_name (str) – 管道名称。
pipeline (azure.mgmt.datafactory.models.PipelineResource) – 管道资源定义。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

引发

AirflowException – 如果管道不存在，则抛出此异常。

返回

管道。

返回类型

azure.mgmt.datafactory.models.PipelineResource

create_pipeline(pipeline_name, pipeline, resource_group_name, factory_name, **config)[source]¶

创建管道。

参数

pipeline_name (str) – 管道名称。
pipeline (azure.mgmt.datafactory.models.PipelineResource) – 管道资源定义。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

引发

AirflowException – 如果管道已存在，则抛出此异常。

返回

管道。

返回类型

azure.mgmt.datafactory.models.PipelineResource

delete_pipeline(pipeline_name, resource_group_name, factory_name, **config)[source]¶

删除管道。

参数

pipeline_name (str) – 管道名称。
resource_group_name (str) – 管道名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

run_pipeline(pipeline_name, resource_group_name, factory_name, **config)[source]¶

运行管道。

参数

pipeline_name (str) – 管道名称。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

返回

管道运行。

返回类型

azure.mgmt.datafactory.models.CreateRunResponse

get_pipeline_run(run_id, resource_group_name, factory_name, **config)[source]¶

获取管道运行。

参数

run_id (str) – 管道运行标识符。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

返回

管道运行。

返回类型

azure.mgmt.datafactory.models.PipelineRun

get_pipeline_run_status(run_id, resource_group_name, factory_name)[source]¶

获取管道运行的当前状态。

参数

run_id (str) – 管道运行标识符。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。

返回

管道运行的状态。

返回类型

str

wait_for_pipeline_run_status(run_id, expected_statuses, resource_group_name, factory_name, check_interval=60, timeout=60 * 60 * 24 * 7)[source]¶

等待管道运行达到预期状态。

参数

run_id (str) – 管道运行标识符。
expected_statuses ( str | set[str] ) – 要检查的管道运行的当前状态所期望的状态。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
check_interval ( int ) – 检查管道运行状态的时间间隔，以秒为单位。
timeout ( int ) – 等待管道达到最终状态或期望状态的超时时间，以秒为单位。

返回

布尔值，指示管道运行是否已达到 expected_status。

返回类型

bool

cancel_pipeline_run(run_id, resource_group_name, factory_name, **config)[源代码]¶

取消管道运行。

参数

run_id (str) – 管道运行标识符。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

get_trigger(trigger_name, resource_group_name, factory_name, **config)[源代码]¶

获取触发器。

参数

trigger_name ( str ) – 触发器名称。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

返回

触发器。

返回类型

azure.mgmt.datafactory.models.TriggerResource | None

update_trigger(trigger_name, trigger, resource_group_name, factory_name, if_match=None, **config)[源代码]¶

更新触发器。

参数

trigger_name ( str ) – 触发器名称。
trigger (azure.mgmt.datafactory.models.TriggerResource) – 触发器资源定义。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
if_match ( str | None ) – 触发器实体的 ETag。仅应为更新指定，为此它应与现有实体匹配，或者可以是 * 用于无条件更新。默认值为 None。
config (Any) – ADF 客户端的额外参数。

引发

AirflowException – 如果触发器不存在。

返回

触发器。

返回类型

azure.mgmt.datafactory.models.TriggerResource

create_trigger(trigger_name, trigger, resource_group_name, factory_name, **config)[源代码]¶

创建触发器。

参数

trigger_name ( str ) – 触发器名称。
trigger (azure.mgmt.datafactory.models.TriggerResource) – 触发器资源定义。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

引发

AirflowException – 如果触发器已存在。

返回

触发器。

返回类型

azure.mgmt.datafactory.models.TriggerResource

delete_trigger(trigger_name, resource_group_name, factory_name, **config)[源代码]¶

删除触发器。

参数

trigger_name ( str ) – 触发器名称。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

start_trigger(trigger_name, resource_group_name, factory_name, **config)[源代码]¶

启动触发器。

参数

trigger_name ( str ) – 触发器名称。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

返回

一个 Azure 操作轮询器。

返回类型

azure.core.polling.LROPoller

stop_trigger(trigger_name, resource_group_name, factory_name, **config)[源代码]¶

停止触发器。

参数

trigger_name ( str ) – 触发器名称。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

返回

一个 Azure 操作轮询器。

返回类型

azure.core.polling.LROPoller

rerun_trigger(trigger_name, run_id, resource_group_name, factory_name, **config)[源代码]¶

重新运行触发器。

参数

trigger_name ( str ) – 触发器名称。
run_id ( str ) – 触发器运行标识符。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

cancel_trigger(trigger_name, run_id, resource_group_name, factory_name, **config)[源代码]¶

取消触发器。

参数

trigger_name ( str ) – 触发器名称。
run_id ( str ) – 触发器运行标识符。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

test_connection()[源代码]¶

测试已配置的 Azure 数据工厂连接。

airflow.providers.microsoft.azure.hooks.data_factory.provide_targeted_factory_async(func)[源代码]¶

如果未指定，则向异步修饰函数提供目标工厂。

如果未提供 resource_group_name 或 factory_name，则默认为连接 extras 中指定的值。

class airflow.providers.microsoft.azure.hooks.data_factory.AzureDataFactoryAsyncHook(azure_data_factory_conn_id=default_conn_name)[源代码]¶

基类: AzureDataFactoryHook

一个异步 Hook，用于连接到 Azure Data Factory 以执行管道操作。

参数: azure_data_factory_conn_id (str) – Azure Data Factory 连接 ID。

default_conn_name: str = 'azure_data_factory_default'[源代码]¶

async get_async_conn()[源代码]¶

获取异步连接并连接到 Azure 数据工厂。

async refresh_conn()[源代码]¶

async get_pipeline_run(run_id, resource_group_name, factory_name, **config)[源代码]¶

异步连接到 Azure 数据工厂，以按运行 ID 获取管道运行详细信息。

参数

run_id (str) – 管道运行标识符。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

async get_adf_pipeline_run_status(run_id, resource_group_name, factory_name)[来源]¶

异步连接到 Azure 数据工厂，并通过 run_id 获取管道状态。

参数

run_id (str) – 管道运行标识符。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。

async cancel_pipeline_run(run_id, resource_group_name, factory_name, **config)[来源]¶

取消管道运行。

参数

run_id (str) – 管道运行标识符。
resource_group_name (str) – 资源组名称。
factory_name (str) – 工厂名称。
config (Any) – ADF 客户端的额外参数。

airflow.providers.microsoft.azure.hooks.data_factory¶

模块内容¶

类¶

函数¶

属性¶

`airflow.providers.microsoft.azure.hooks.data_factory`¶