Azure DataLake 存储操作符¶

先决任务¶

要使用这些操作符，您必须执行以下操作

使用 AZURE PORTAL 或 AZURE CLI 创建必要的资源。
通过 pip 安装 API 库。
pip install 'apache-airflow[azure]'
详细信息请参见 Airflow™ 安装
设置连接.

ADLSCreateObjectOperator¶

ADLSCreateObjectOperator 允许您将数据上传到 Azure DataLake 存储

以下是使用此操作符将数据上传到 ADL 的示例。

tests/system/providers/microsoft/azure/example_adls_create.py[源代码]

    upload_data = ADLSCreateObjectOperator(
        task_id="upload_data",
        file_system_name="Fabric",
        file_name=REMOTE_FILE_PATH,
        data="Hello world",
        replace=True,
    )

ADLSDeleteOperator¶

使用 ADLSDeleteOperator 从 Azure DataLake 存储中删除文件

以下是一个使用此运算符从 ADL 中删除文件的示例。

tests/system/providers/microsoft/azure/example_adls_delete.py[源代码]

    remove_file = ADLSDeleteOperator(task_id="delete_task", path=REMOTE_FILE_PATH, recursive=True)

ADLSListOperator¶

使用 ADLSListOperator 从 Azure DataLake Storage 中列出所有文件

以下是一个使用此运算符从 ADL 中列出文件的示例。

tests/system/providers/microsoft/azure/example_adls_list.py[源代码]

    adls_files = ADLSListOperator(
        task_id="adls_files",
        path="folder/output/*.parquet",
        azure_data_lake_conn_id="azure_data_lake_default",
    )

参考¶

有关更多信息，请查看

Azure Data Lake Storage 文档