airflow.providers.google.cloud.operators.cloud_batch¶
模块内容¶
类¶
提交一个作业并等待其完成。 |
|
删除一个作业并等待操作完成。 |
|
列出 Cloud Batch 作业。 |
|
列出给定作业的 Cloud Batch 任务。 |
- class airflow.providers.google.cloud.operators.cloud_batch.CloudBatchSubmitJobOperator(project_id, region, job_name, job, polling_period_seconds=10, timeout_seconds=None, gcp_conn_id='google_cloud_default', impersonation_chain=None, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), **kwargs)[源代码]¶
基类：
airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator提交一个作业并等待其完成。
- 参数
project_id (str) – 必需。服务所属的 Google Cloud 项目 ID。
region (str) – 必需。服务所属的 Google Cloud 区域 ID。
job_name (str) – 必需。要创建的作业的名称。
job (dict | google.cloud.batch_v1.Job) – 必需。包含要提交的作业配置的作业描述符。
polling_period_seconds (float) – 可选：控制可延迟运行结果的轮询速率。默认情况下，触发器将每 10 秒轮询一次。
timeout – 此请求的超时时间。
gcp_conn_id (str) – 用于连接到 Google Cloud 的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户，用于使用短期凭据进行模拟，或用于获取列表中最后一个帐户的 access_token 的链接帐户列表，该帐户将在请求中被模拟。 如果设置为字符串，则该帐户必须授予原始帐户“服务帐户令牌创建者”IAM 角色。如果设置为序列，则列表中的标识必须将“服务帐户令牌创建者”IAM 角色授予直接前一个标识，列表中的第一个帐户将此角色授予原始帐户（已模板化）。
deferrable (bool) – 在可延迟模式下运行操作符
- class airflow.providers.google.cloud.operators.cloud_batch.CloudBatchDeleteJobOperator(project_id, region, job_name, timeout=None, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[源代码]¶
基类：
airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator删除一个作业并等待操作完成。
- 参数
project_id (str) – 必需。服务所属的 Google Cloud 项目 ID。
region (str) – 必需。服务所属的 Google Cloud 区域 ID。
job_name (str) – 必需。要删除的作业的名称。
timeout (float | None) – 此请求的超时时间。
gcp_conn_id (str) – 用于连接到 Google Cloud 的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户，用于使用短期凭据进行模拟，或用于获取列表中最后一个帐户的 access_token 的链接帐户列表，该帐户将在请求中被模拟。 如果设置为字符串，则该帐户必须授予原始帐户“服务帐户令牌创建者”IAM 角色。如果设置为序列，则列表中的标识必须将“服务帐户令牌创建者”IAM 角色授予直接前一个标识，列表中的第一个帐户将此角色授予原始帐户（已模板化）。
- class airflow.providers.google.cloud.operators.cloud_batch.CloudBatchListJobsOperator(project_id, region, gcp_conn_id='google_cloud_default', filter=None, limit=None, impersonation_chain=None, **kwargs)[源代码]¶
基类：
airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator列出 Cloud Batch 作业。
- 参数
project_id (str) – 必需。服务所属的 Google Cloud 项目 ID。
region (str) – 必需。服务所属的 Google Cloud 区域 ID。
gcp_conn_id (str) – 用于连接到 Google Cloud 的连接 ID。
filter (str | None) – 基于其列出作业的筛选器。如果留空，则会列出所有作业。
limit (int | None) – 要列出的作业数量。如果留空，将返回所有与过滤器匹配的作业。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户，用于使用短期凭据进行模拟，或用于获取列表中最后一个帐户的 access_token 的链接帐户列表，该帐户将在请求中被模拟。 如果设置为字符串，则该帐户必须授予原始帐户“服务帐户令牌创建者”IAM 角色。如果设置为序列，则列表中的标识必须将“服务帐户令牌创建者”IAM 角色授予直接前一个标识，列表中的第一个帐户将此角色授予原始帐户（已模板化）。
- class airflow.providers.google.cloud.operators.cloud_batch.CloudBatchListTasksOperator(project_id, region, job_name, gcp_conn_id='google_cloud_default', impersonation_chain=None, group_name='group0', filter=None, limit=None, **kwargs)[source]¶
基类：
airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator列出给定作业的 Cloud Batch 任务。
- 参数
project_id (str) – 必需。服务所属的 Google Cloud 项目 ID。
region (str) – 必需。服务所属的 Google Cloud 区域 ID。
job_name (str) – 必需。要列出任务的作业名称。
gcp_conn_id (str) – 用于连接到 Google Cloud 的连接 ID。
filter (str | None) – 基于其列出作业的筛选器。如果留空，则会列出所有作业。
group_name (str) – 拥有该任务的组的名称。 默认值为 group0。
limit (int | None) – 要列出的任务数量。如果留空，将返回所有与过滤器匹配的任务。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户，用于使用短期凭据进行模拟，或用于获取列表中最后一个帐户的 access_token 的链接帐户列表，该帐户将在请求中被模拟。 如果设置为字符串，则该帐户必须授予原始帐户“服务帐户令牌创建者”IAM 角色。如果设置为序列，则列表中的标识必须将“服务帐户令牌创建者”IAM 角色授予直接前一个标识，列表中的第一个帐户将此角色授予原始帐户（已模板化）。