airflow.providers.google.cloud.operators.bigquery_dts¶
此模块包含 Google BigQuery 数据传输服务运算符。
模块内容¶
类¶
创建一个新的数据传输配置。 |
|
删除传输配置。 |
|
启动手动传输运行，立即执行，schedule_time 等于当前时间。 |
- class airflow.providers.google.cloud.operators.bigquery_dts.BigQueryCreateDataTransferOperator(*, transfer_config, project_id=PROVIDE_PROJECT_ID, location=None, authorization_code=None, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[源代码]¶
基类：
airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator创建一个新的数据传输配置。
另请参阅
有关如何使用此运算符的更多信息，请参阅指南：创建传输配置
- 参数
transfer_config (dict) – 要创建的数据传输配置。
project_id (str) – 应在其中创建传输配置的 BigQuery 项目 ID。如果设置为 None 或缺失，则使用来自 Google Cloud 连接的默认 project_id。
location (str | None) – 用于区域传输的 BigQuery 传输服务位置。
authorization_code (str | None) – 与此传输配置一起使用的授权码。如果需要新的凭据，则这是必需的。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。如果指定 None，则不会重试请求。
timeout (float | None) – 等待请求完成的时间量，以秒为单位。请注意，如果指定了重试，则超时适用于每次单独的尝试。
metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给方法的其他元数据。
gcp_conn_id – 用于连接到 Google Cloud 的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户，用于使用短期凭据模拟，或者用于获取列表中最后一个帐户的 access_token 所需的帐户链式列表，该帐户将在请求中被模拟。如果设置为字符串，则该帐户必须授予原始帐户“服务帐户令牌创建者”IAM 角色。如果设置为序列，则列表中的标识必须将“服务帐户令牌创建者”IAM 角色授予直接前一个标识，列表中第一个帐户将此角色授予原始帐户（已模板化）。
- class airflow.providers.google.cloud.operators.bigquery_dts.BigQueryDeleteDataTransferConfigOperator(*, transfer_config_id, project_id=PROVIDE_PROJECT_ID, location=None, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[源代码]¶
基类：
airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator删除传输配置。
另请参阅
有关如何使用此运算符的更多信息，请参阅指南：删除传输配置
- 参数
transfer_config_id (str) – 要使用的传输配置的 ID。
project_id (str) – 应在其中创建传输配置的 BigQuery 项目 ID。如果设置为 None 或缺失，则使用来自 Google Cloud 连接的默认 project_id。
location (str | None) – 用于区域传输的 BigQuery 传输服务位置。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。如果指定 None，则不会重试请求。
timeout (float | None) – 等待请求完成的时间量，以秒为单位。请注意，如果指定了重试，则超时适用于每次单独的尝试。
metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给方法的其他元数据。
gcp_conn_id – 用于连接到 Google Cloud 的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户，用于使用短期凭据模拟，或者用于获取列表中最后一个帐户的 access_token 所需的帐户链式列表，该帐户将在请求中被模拟。如果设置为字符串，则该帐户必须授予原始帐户“服务帐户令牌创建者”IAM 角色。如果设置为序列，则列表中的标识必须将“服务帐户令牌创建者”IAM 角色授予直接前一个标识，列表中第一个帐户将此角色授予原始帐户（已模板化）。
- template_fields: collections.abc.Sequence[str] = ('transfer_config_id', 'project_id', 'gcp_conn_id', 'impersonation_chain')[源代码]¶
- class airflow.providers.google.cloud.operators.bigquery_dts.BigQueryDataTransferServiceStartTransferRunsOperator(*, transfer_config_id, project_id=PROVIDE_PROJECT_ID, location=None, requested_time_range=None, requested_run_time=None, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), **kwargs)[源代码]¶
基类：
airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator启动手动传输运行，立即执行，schedule_time 等于当前时间。
可以在时间范围内创建传输运行，其中 run_time 在 start_time（包含）和 end_time（不包含）之间，或者针对特定的 run_time 创建。
另请参阅
有关如何使用此运算符的更多信息，请查看指南：手动启动传输运行
- 参数
transfer_config_id (str) – 要使用的传输配置的 ID。
requested_time_range (dict | None) – 应启动的传输运行的时间范围。如果提供的是字典，则其形式必须与 protobuf 消息 ~google.cloud.bigquery_datatransfer_v1.types.TimeRange 相同
requested_run_time (dict | None) – 要启动的传输运行的特定 run_time。requested_run_time 不得在未来。如果提供的是字典，则其形式必须与 protobuf 消息 ~google.cloud.bigquery_datatransfer_v1.types.Timestamp 相同
project_id (str) – 应在其中创建传输配置的 BigQuery 项目 ID。
location (str | None) – 用于区域传输的 BigQuery 传输服务位置。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。如果指定 None，则不会重试请求。
timeout (float | None) – 等待请求完成的时间量，以秒为单位。请注意，如果指定了重试，则超时适用于每次单独的尝试。
metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给方法的其他元数据。
gcp_conn_id – 用于连接到 Google Cloud 的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户，用于使用短期凭据模拟，或者用于获取列表中最后一个帐户的 access_token 所需的帐户链式列表，该帐户将在请求中被模拟。如果设置为字符串，则该帐户必须授予原始帐户“服务帐户令牌创建者”IAM 角色。如果设置为序列，则列表中的标识必须将“服务帐户令牌创建者”IAM 角色授予直接前一个标识，列表中第一个帐户将此角色授予原始帐户（已模板化）。
deferrable (bool) – 在可延迟模式下运行运算符。
- template_fields: collections.abc.Sequence[str] = ('transfer_config_id', 'project_id', 'requested_time_range', 'requested_run_time',...[源代码]¶