CopyFromExternalStageToSnowflakeOperator¶

使用 CopyFromExternalStageToSnowflakeOperator 将存储在 AWS S3， Google Cloud Storage 或 Azure Blob Storage 中的数据加载到 Snowflake 表中。

注意

此操作符是 COPY INTO table 查询之上的一个简单包装器，并且需要先创建阶段。

使用操作符¶

与 SnowflakeOperator 类似，使用 snowflake_conn_id 和其他相关参数来建立与 Snowflake 实例的连接。此操作符允许从特定的 Snowflake 阶段（预定义的 S3 路径）加载一个或多个指定的文件。为此，请将相关的文件名传递给 files 参数，并将相关的 Snowflake 阶段传递给 stage 参数。pattern 可用于指定文件名和/或路径匹配模式（请参见文档）。 file_format 可用于引用已经存在的 Snowflake 文件格式或定义文件格式的自定义字符串（请参见文档）。

以下是 CopyFromExternalStageToSnowflakeOperator 的使用示例

tests/system/snowflake/example_copy_into_snowflake.py[源代码]

copy_into_table = CopyFromExternalStageToSnowflakeOperator(
    task_id="copy_into_table",
    snowflake_conn_id=SNOWFLAKE_CONN_ID,
    files=[S3_FILE_PATH],
    table=SNOWFLAKE_SAMPLE_TABLE,
    stage=SNOWFLAKE_STAGE,
    file_format="(type = 'CSV',field_delimiter = ';')",
    pattern=".*[.]csv",
)