Amazon Redshift 到 Amazon S3¶

使用 RedshiftToS3Operator 传输操作符将数据从 Amazon Redshift 表复制到 Amazon Simple Storage Service (S3) 文件。

先决条件任务¶

要使用这些操作符，您必须执行以下几项操作

使用 AWS 控制台或 AWS CLI 创建必要的资源。
通过 pip 安装 API 库。
pip install 'apache-airflow[amazon]'
详细信息请参考Airflow® 的安装
设置连接.

操作符¶

Amazon Redshift 到 Amazon S3 传输操作符¶

此操作符将数据从 Amazon Redshift 表加载到现有的 Amazon S3 存储桶。

要获取有关此操作符的更多信息，请访问：RedshiftToS3Operator

示例用法

tests/system/amazon/aws/example_redshift_s3_transfers.py

transfer_redshift_to_s3 = RedshiftToS3Operator(
    task_id="transfer_redshift_to_s3",
    redshift_data_api_kwargs={
        "database": DB_NAME,
        "cluster_identifier": redshift_cluster_identifier,
        "db_user": DB_LOGIN,
        "wait_for_completion": True,
    },
    s3_bucket=bucket_name,
    s3_key=S3_KEY,
    schema="PUBLIC",
    table=REDSHIFT_TABLE,
)

您可以在此处找到有关所使用的 UNLOAD 命令的更多信息。

Amazon Redshift 到 Amazon S3¶

先决条件任务¶

操作符¶

Amazon Redshift 到 Amazon S3 传输操作符¶

参考¶