本地文件系统到 Amazon S3¶

使用 LocalFilesystemToS3Operator 传输将数据从 Airflow 本地文件系统复制到 Amazon 简单存储服务 (S3) 文件。

先决条件任务¶

要使用这些操作符，您必须执行以下操作

使用 AWS 控制台或 AWS CLI 创建必要的资源。
通过 pip 安装 API 库。
pip install 'apache-airflow[amazon]'
详细信息请参阅 Airflow™ 安装
设置连接.

操作符¶

本地到 Amazon S3 传输操作符¶

此操作符将数据从本地文件系统复制到 Amazon S3 文件。

要获取有关此操作符的更多信息，请访问： LocalFilesystemToS3Operator

示例用法

tests/system/providers/amazon/aws/example_local_to_s3.py[源代码]

create_local_to_s3_job = LocalFilesystemToS3Operator(
    task_id="create_local_to_s3_job",
    filename=TEMP_FILE_PATH,
    dest_key=s3_key,
    dest_bucket=s3_bucket_name,
    replace=True,
)

参考¶

Amazon S3 的 AWS boto3 库文档