airflow.providers.google.cloud.hooks.bigquery_dts

此模块包含 BigQuery Hook。

模块内容

类

BiqQueryDataTransferServiceHook

用于 Google Bigquery Transfer API 的 Hook。

AsyncBiqQueryDataTransferServiceHook

BigQuery 服务的 Hook，与 Google 库的异步客户端一起使用。

函数

get_object_id(obj)

返回对象的唯一 ID。
airflow.providers.google.cloud.hooks.bigquery_dts.get_object_id(obj)[源代码]

返回对象的唯一 ID。

class airflow.providers.google.cloud.hooks.bigquery_dts.BiqQueryDataTransferServiceHook(gcp_conn_id='google_cloud_default', location=None, impersonation_chain=None, **kwargs)[源代码]

基类: airflow.providers.google.common.hooks.base_google.GoogleBaseHook

用于 Google Bigquery Transfer API 的 Hook。

Hook 中所有使用 project_id 的方法都必须使用关键字参数而不是位置参数调用。

get_conn()[源代码]

检索与 Google Bigquery 的连接。

返回

Google Bigquery API 客户端

返回类型

google.cloud.bigquery_datatransfer_v1.DataTransferServiceClient

create_transfer_config(transfer_config, project_id=PROVIDE_PROJECT_ID, authorization_code=None, retry=DEFAULT, timeout=None, metadata=())[源代码]

创建新的数据传输配置。

参数

  • transfer_config (dict | google.cloud.bigquery_datatransfer_v1.types.TransferConfig) – 要创建的数据传输配置。

  • project_id (str) – 应在其中创建传输配置的 BigQuery 项目 ID。 如果设置为 None 或缺失，则使用 Google Cloud 连接中的默认 project_id。

  • authorization_code (str | None) – 用于此传输配置的授权码。 如果需要新的凭据，则这是必需的。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。 如果指定 None，则不会重试请求。

  • timeout (float | None) – 等待请求完成的时间（以秒为单位）。 请注意，如果指定了重试，则超时时间适用于每次单独的尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给方法的其他元数据。

返回

一个 google.cloud.bigquery_datatransfer_v1.types.TransferConfig 实例。

返回类型

google.cloud.bigquery_datatransfer_v1.types.TransferConfig

delete_transfer_config(transfer_config_id, project_id=PROVIDE_PROJECT_ID, retry=DEFAULT, timeout=None, metadata=())[源代码]

删除传输配置。

参数

  • transfer_config_id (str) – 要使用的传输配置的 ID。

  • project_id (str) – 应在其中创建传输配置的 BigQuery 项目 ID。 如果设置为 None 或缺失，则使用 Google Cloud 连接中的默认 project_id。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。 如果指定 None，则不会重试请求。

  • timeout (float | None) – 等待请求完成的时间（以秒为单位）。 请注意，如果指定了重试，则超时时间适用于每次单独的尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给方法的其他元数据。

返回

无

返回类型

无

start_manual_transfer_runs(transfer_config_id, project_id=PROVIDE_PROJECT_ID, requested_time_range=None, requested_run_time=None, retry=DEFAULT, timeout=None, metadata=())[源代码]

启动手动传输运行，以便现在执行，并将 schedule_time 设置为当前时间。

可以为时间范围创建传输运行，其中 run_time 介于 start_time（含）和 end_time（不含）之间，或为特定的 run_time 创建。

参数

  • transfer_config_id (str) – 要使用的传输配置的 ID。

  • requested_time_range (dict | None) – 应启动的传输运行的时间范围。 如果提供了 dict，则其形式必须与 protobuf 消息 ~google.cloud.bigquery_datatransfer_v1.types.TimeRange 相同

  • requested_run_time (dict | None) – 要启动的传输运行的特定 run_time。 requested_run_time 不能在未来。 如果提供了 dict，则其形式必须与 protobuf 消息 ~google.cloud.bigquery_datatransfer_v1.types.Timestamp 相同

  • project_id (str) – 应在其中创建传输配置的 BigQuery 项目 ID。 如果设置为 None 或缺失，则使用 Google Cloud 连接中的默认 project_id。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。 如果指定 None，则不会重试请求。

  • timeout (float | None) – 等待请求完成的时间（以秒为单位）。 请注意，如果指定了重试，则超时时间适用于每次单独的尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给方法的其他元数据。

返回

一个 google.cloud.bigquery_datatransfer_v1.types.StartManualTransferRunsResponse 实例。

返回类型

google.cloud.bigquery_datatransfer_v1.types.StartManualTransferRunsResponse

get_transfer_run(run_id, transfer_config_id, project_id=PROVIDE_PROJECT_ID, retry=DEFAULT, timeout=None, metadata=())[源代码]

返回有关特定传输运行的信息。

参数

  • run_id (str) – 传输运行的 ID。

  • transfer_config_id (str) – 要使用的传输配置的 ID。

  • project_id (str) – 应在其中创建传输配置的 BigQuery 项目 ID。 如果设置为 None 或缺失，则使用 Google Cloud 连接中的默认 project_id。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。 如果指定 None，则不会重试请求。

  • timeout (float | None) – 等待请求完成的时间（以秒为单位）。 请注意，如果指定了重试，则超时时间适用于每次单独的尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给方法的其他元数据。

返回

一个 google.cloud.bigquery_datatransfer_v1.types.TransferRun 实例。

返回类型

google.cloud.bigquery_datatransfer_v1.types.TransferRun

class airflow.providers.google.cloud.hooks.bigquery_dts.AsyncBiqQueryDataTransferServiceHook(gcp_conn_id='google_cloud_default', location=None, impersonation_chain=None, **kwargs)[源代码]

基类: airflow.providers.google.common.hooks.base_google.GoogleBaseAsyncHook

BigQuery 服务的 Hook，与 Google 库的异步客户端一起使用。

sync_hook_class[源代码]
async get_transfer_run(config_id, run_id, project_id, location=None, retry=DEFAULT, timeout=None, metadata=())[源代码]

返回有关特定传输运行的信息。

参数

  • run_id (str) – 传输运行的 ID。

  • config_id (str) – 要使用的传输配置的 ID。

  • project_id (str | None) – 应该在其中创建传输配置的 BigQuery 项目 ID。如果设置为 None 或缺失，则使用 Google Cloud 连接中的默认 project_id。

  • location (str | None) – 用于区域传输的 BigQuery 传输服务位置。

  • retry (google.api_core.retry_async.AsyncRetry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。如果指定 None，则不会重试请求。

  • timeout (float | None) – 等待请求完成的时间（以秒为单位）。 请注意，如果指定了重试，则超时时间适用于每次单独的尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给方法的其他元数据。

返回

一个 google.cloud.bigquery_datatransfer_v1.types.TransferRun 实例。

这个条目是否有帮助？