从本地文件系统上传数据到 Azure Data Lake¶

Azure Data Lake (ADL) 使得存储任何大小、形状和速度的数据变得很容易。此页面展示了如何从本地文件系统上传数据到 ADL。

先决任务¶

要使用这些操作符，您必须执行以下操作

使用 AZURE PORTAL 或 AZURE CLI 创建必要的资源。
通过 pip 安装 API 库。
pip install 'apache-airflow[azure]'
详细的信息可在 Airflow™ 安装中找到
设置连接.

LocalFilesystemToADLSOperator¶

LocalFilesystemToADLSOperator 允许您从本地文件系统上传数据到 ADL。

以下是使用此运算符将文件上传到 ADL 的示例。

tests/system/providers/microsoft/azure/example_local_to_adls.py[源代码]

    upload_file = LocalFilesystemToADLSOperator(
        task_id="upload_task",
        local_path=LOCAL_FILE_PATH,
        remote_path=REMOTE_FILE_PATH,
    )

参考¶

有关更多信息，请查看

Azure Data Lake Storage 文档