airflow.providers.microsoft.azure.operators.adls

模块内容

类

ADLSCreateObjectOperator

在指定的 Azure Data Lake 文件上，使用传递的数据创建一个新对象。

ADLSDeleteOperator

删除指定路径中的文件。

ADLSListOperator

列出指定路径中的所有文件。

属性

DEFAULT_AZURE_DATA_LAKE_CONN_ID

airflow.providers.microsoft.azure.operators.adls.DEFAULT_AZURE_DATA_LAKE_CONN_ID = 'azure_data_lake_default'[源代码]
class airflow.providers.microsoft.azure.operators.adls.ADLSCreateObjectOperator(*, file_system_name, file_name, data, length=None, replace=False, azure_data_lake_conn_id=DEFAULT_AZURE_DATA_LAKE_CONN_ID, **kwargs)[源代码]

基类: airflow.models.BaseOperator

在指定的 Azure Data Lake 文件上，使用传递的数据创建一个新对象。

另请参阅

有关如何使用此操作符的更多信息，请查看以下指南: ADLSCreateObjectOperator

参数

  • file_system_name (str) – 文件系统的名称或 FileSystemProperties 的实例。

  • file_name (str) – 需要在文件系统中创建的文件的名称。

  • data (bytes | str | collections.abc.Iterable[AnyStr] | IO[AnyStr]) – 将要上传的数据。

  • length (int | None) – 数据的大小，以字节为单位（可选）。

  • replace (bool) – 是否强制覆盖现有的文件/目录。如果为 False，且远程路径是目录，无论是否会覆盖任何文件，都会退出。如果为 True，则仅实际覆盖匹配的文件名。

  • azure_data_lake_conn_id (str) – 指向 Azure Data Lake 连接的引用。

template_fields: collections.abc.Sequence[str] = ('file_system_name', 'file_name', 'data')[源代码]
ui_color = '#e4f0e8'[源代码]
execute(context)[源代码]

在创建操作符时派生。

上下文是与呈现 jinja 模板时使用的相同字典。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.microsoft.azure.operators.adls.ADLSDeleteOperator(*, path, recursive=False, ignore_not_found=True, azure_data_lake_conn_id=DEFAULT_AZURE_DATA_LAKE_CONN_ID, **kwargs)[源代码]

基类: airflow.models.BaseOperator

删除指定路径中的文件。

另请参阅

有关如何使用此操作符的更多信息，请查看以下指南：ADLSDeleteOperator

参数

  • path (str) – 要删除的目录或文件

  • recursive (bool) – 是否循环进入位置中的目录并删除文件

  • ignore_not_found (bool) – 如果找不到要删除的文件，是否引发错误

  • azure_data_lake_conn_id (str) – 指向 Azure Data Lake 连接的引用。

template_fields: collections.abc.Sequence[str] = ('path',)[源代码]
ui_color = '#901dd2'[源代码]
execute(context)[源代码]

在创建操作符时派生。

上下文是与呈现 jinja 模板时使用的相同字典。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.microsoft.azure.operators.adls.ADLSListOperator(*, path, azure_data_lake_conn_id=DEFAULT_AZURE_DATA_LAKE_CONN_ID, **kwargs)[source]

基类: airflow.models.BaseOperator

列出指定路径中的所有文件。

该操作符返回一个 Python 列表，其中包含文件名，可供下游任务中的 xcom 使用。

xcom 在下游任务中使用。

另请参阅

有关如何使用此操作符的更多信息，请查看指南： ADLSListOperator

参数

  • path (str) – 要查找对象的 Azure Data Lake 路径。支持 glob 字符串（已模板化）

  • azure_data_lake_conn_id (str) – 指向 Azure Data Lake 连接的引用。

template_fields: collections.abc.Sequence[str] = ('path',)[source]
ui_color = '#901dd2'[source]
execute(context)[source]

在创建操作符时派生。

上下文是与呈现 jinja 模板时使用的相同字典。

有关更多上下文，请参阅 get_template_context。

此条目是否有帮助？