airflow.providers.amazon.aws.transfers.sql_to_s3¶
模块内容¶
类¶
可能的文件格式。 |
|
将特定 SQL 查询的数据保存到 S3 中的文件中。 |
属性¶
- class airflow.providers.amazon.aws.transfers.sql_to_s3.SqlToS3Operator(*, query, s3_bucket, s3_key, sql_conn_id, sql_hook_params=None, parameters=None, replace=False, aws_conn_id='aws_default', verify=None, file_format='csv', max_rows_per_file=0, pd_kwargs=None, groupby_kwargs=None, **kwargs)[源代码]¶
基类:
airflow.models.BaseOperator将特定 SQL 查询的数据保存到 S3 中的文件中。
另请参阅
有关如何使用此操作符的更多信息，请查看以下指南：MySQL 到 Amazon S3 传输操作符
- 参数
query (str) – 要执行的 sql 查询。如果要执行文件，请放置其绝对路径，并以 .sql 扩展名结尾。(模板化)
s3_bucket (str) – 将存储数据的存储桶。(模板化)
s3_key (str) – 文件的所需键。它包括文件名。(模板化)
replace (bool) – 是否替换 S3 中先前存在的文件
sql_conn_id (str) – 对特定数据库的引用。
sql_hook_params (dict | None) – 要传递给底层 hook 的额外配置参数。应与所需的 hook 构造函数参数匹配。
parameters (None | collections.abc.Mapping[str, Any] | list | tuple) – (可选) 用于呈现 SQL 查询的参数。
aws_conn_id (str | None) – 对特定 S3 连接的引用
是否验证 S3 连接的 SSL 证书。默认情况下，会验证 SSL 证书。您可以提供以下值
False：不验证 SSL 证书。仍将使用 SSL(除非 use_ssl 为 False)，但不会验证 SSL 证书。
path/to/cert/bundle.pem：要使用的 CA 证书包的文件名。如果要使用与 botocore 使用的 CA 证书包不同的 CA 证书包，可以指定此参数。
file_format (typing_extensions.Literal[csv, json, parquet]) – 目标文件格式，仅接受字符串“csv”、“json”或“parquet”。
max_rows_per_file (int) – (可选) 用于设置目标文件行数限制的参数，如果源数据大于该限制，则将其分派到多个文件中。如果指定了
groupby_kwargs参数，则将被忽略。pd_kwargs (dict | None) – 要包含在 DataFrame
.to_parquet()、.to_json()或.to_csv()中的参数。groupby_kwargs (dict | None) – 要包含在 DataFrame
groupby()中的参数。
- template_fields: collections.abc.Sequence[str] = ('s3_bucket', 's3_key', 'query', 'sql_conn_id')[源代码]¶
- template_ext: collections.abc.Sequence[str] = ('.sql',)[source]¶