`airflow.providers.google.cloud.operators.cloud_composer`¶

模块内容¶

类¶

`CloudComposerEnvironmentLink`	用于构建 Cloud Composer 环境链接的辅助类。
`CloudComposerEnvironmentsLink`	用于构建 Cloud Composer 环境链接的辅助类。
`CloudComposerCreateEnvironmentOperator`	创建一个新环境。
`CloudComposerDeleteEnvironmentOperator`	删除一个环境。
`CloudComposerGetEnvironmentOperator`	获取现有环境。
`CloudComposerListEnvironmentsOperator`	列出环境。
`CloudComposerUpdateEnvironmentOperator`	更新一个环境。
`CloudComposerListImageVersionsOperator`	列出所提供位置的 ImageVersions。
`CloudComposerRunAirflowCLICommandOperator`	为提供的 Composer 环境运行 Airflow 命令。

属性¶

`CLOUD_COMPOSER_BASE_LINK`
`CLOUD_COMPOSER_DETAILS_LINK`
`CLOUD_COMPOSER_ENVIRONMENTS_LINK`

airflow.providers.google.cloud.operators.cloud_composer.CLOUD_COMPOSER_BASE_LINK = 'https://console.cloud.google.com/composer/environments'[源代码]¶

airflow.providers.google.cloud.operators.cloud_composer.CLOUD_COMPOSER_DETAILS_LINK[源代码]¶

airflow.providers.google.cloud.operators.cloud_composer.CLOUD_COMPOSER_ENVIRONMENTS_LINK[源代码]¶

class airflow.providers.google.cloud.operators.cloud_composer.CloudComposerEnvironmentLink[源代码]¶

基类：airflow.providers.google.cloud.links.base.BaseGoogleLink

用于构建 Cloud Composer 环境链接的辅助类。

name = 'Cloud Composer 环境'[源代码]¶

key = 'composer_conf'[源代码]¶

format_str[源代码]¶

static persist(operator_instance, context)[源代码]¶

class airflow.providers.google.cloud.operators.cloud_composer.CloudComposerEnvironmentsLink[源代码]¶

基类：airflow.providers.google.cloud.links.base.BaseGoogleLink

用于构建 Cloud Composer 环境链接的辅助类。

name = 'Cloud Composer 环境列表'[源代码]¶

key = 'composer_conf'[源代码]¶

format_str[源代码]¶

static persist(operator_instance, context)[源代码]¶

class airflow.providers.google.cloud.operators.cloud_composer.CloudComposerCreateEnvironmentOperator(*, project_id, region, environment_id, environment, gcp_conn_id='google_cloud_default', impersonation_chain=None, retry=DEFAULT, timeout=None, metadata=(), deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), pooling_period_seconds=30, **kwargs)[源代码]¶

基类：airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

创建一个新环境。

参数

project_id (str) – 必需。该服务所属的 Google Cloud 项目的 ID。
region (str) – 必需。该服务所属的 Google Cloud 区域的 ID。
environment_id (str) – 必需。该服务所属的 Google Cloud 环境的 ID。
environment (google.cloud.orchestration.airflow.service_v1.types.Environment | dict) – 要创建的环境。
gcp_conn_id (str) –
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账户，用于使用短期凭据进行模拟，或用于获取列表中最后一个账户的 access_token 的链式账户列表，该账户将在请求中进行模拟。如果设置为字符串，则该账户必须授予原始账户“服务账户令牌创建者”IAM 角色。如果设置为序列，则列表中的标识必须将“服务账户令牌创建者”IAM 角色授予紧接其前的标识，列表中的第一个账户必须将此角色授予原始账户（已模板化）。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指示应重试哪些错误（如果有）。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应与请求一起作为元数据发送的字符串。
deferrable (bool) – 在可延期模式下运行操作符
pooling_period_seconds (int) – 可选：控制轮询可延期运行结果的速率。默认情况下，触发器每 30 秒轮询一次。

template_fields = ('project_id', 'region', 'environment_id', 'environment', 'impersonation_chain')[source]¶

operator_extra_links = ()[source]¶

execute(context)[source]¶

在创建操作符时派生。

上下文是与渲染 Jinja 模板时使用的相同的字典。

有关更多上下文，请参阅 get_template_context。

execute_complete(context, event)[source]¶

class airflow.providers.google.cloud.operators.cloud_composer.CloudComposerDeleteEnvironmentOperator(*, project_id, region, environment_id, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), pooling_period_seconds=30, **kwargs)[source]¶

基类：airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

删除一个环境。

参数

project_id (str) – 必需。该服务所属的 Google Cloud 项目的 ID。
region (str) – 必需。该服务所属的 Google Cloud 区域的 ID。
environment_id (str) – 必需。该服务所属的 Google Cloud 环境的 ID。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指示应重试哪些错误（如果有）。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应与请求一起作为元数据发送的字符串。
gcp_conn_id (str) –
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账户，用于使用短期凭据进行模拟，或用于获取列表中最后一个账户的 access_token 的链式账户列表，该账户将在请求中进行模拟。如果设置为字符串，则该账户必须授予原始账户“服务账户令牌创建者”IAM 角色。如果设置为序列，则列表中的标识必须将“服务账户令牌创建者”IAM 角色授予紧接其前的标识，列表中的第一个账户必须将此角色授予原始账户（已模板化）。
deferrable (bool) – 在可延期模式下运行操作符
pooling_period_seconds (int) – 可选：控制轮询可延期运行结果的速率。默认情况下，触发器每 30 秒轮询一次。

template_fields = ('project_id', 'region', 'environment_id', 'impersonation_chain')[source]¶

execute(context)[source]¶

在创建操作符时派生。

上下文是与渲染 Jinja 模板时使用的相同的字典。

有关更多上下文，请参阅 get_template_context。

execute_complete(context, event)[source]¶

class airflow.providers.google.cloud.operators.cloud_composer.CloudComposerGetEnvironmentOperator(*, project_id, region, environment_id, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

基类：airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

获取现有环境。

参数

project_id (str) – 必需。该服务所属的 Google Cloud 项目的 ID。
region (str) – 必需。该服务所属的 Google Cloud 区域的 ID。
environment_id (str) – 必需。该服务所属的 Google Cloud 环境的 ID。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指示应重试哪些错误（如果有）。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应与请求一起作为元数据发送的字符串。
gcp_conn_id (str) –
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账户，用于使用短期凭据进行模拟，或用于获取列表中最后一个账户的 access_token 的链式账户列表，该账户将在请求中进行模拟。如果设置为字符串，则该账户必须授予原始账户“服务账户令牌创建者”IAM 角色。如果设置为序列，则列表中的标识必须将“服务账户令牌创建者”IAM 角色授予紧接其前的标识，列表中的第一个账户必须将此角色授予原始账户（已模板化）。

template_fields = ('project_id', 'region', 'environment_id', 'impersonation_chain')[source]¶

operator_extra_links = ()[source]¶

execute(context)[source]¶

在创建操作符时派生。

上下文是与渲染 Jinja 模板时使用的相同的字典。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.cloud_composer.CloudComposerListEnvironmentsOperator(*, project_id, region, page_size=None, page_token=None, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

基类：airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

列出环境。

参数

project_id (str) – 必需。该服务所属的 Google Cloud 项目的 ID。
region (str) – 必需。该服务所属的 Google Cloud 区域的 ID。
page_size (int | None) – 要返回的最大环境数。
page_token (str | None) – 上一个 List 请求返回的 next_page_token 值（如果有）。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指示应重试哪些错误（如果有）。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应与请求一起作为元数据发送的字符串。
gcp_conn_id (str) –
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账户，用于使用短期凭据进行模拟，或用于获取列表中最后一个账户的 access_token 的链式账户列表，该账户将在请求中进行模拟。如果设置为字符串，则该账户必须授予原始账户“服务账户令牌创建者”IAM 角色。如果设置为序列，则列表中的标识必须将“服务账户令牌创建者”IAM 角色授予紧接其前的标识，列表中的第一个账户必须将此角色授予原始账户（已模板化）。

template_fields = ('project_id', 'region', 'impersonation_chain')[source]¶

operator_extra_links = ()[source]¶

execute(context)[source]¶

在创建操作符时派生。

上下文是与渲染 Jinja 模板时使用的相同的字典。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.cloud_composer.CloudComposerUpdateEnvironmentOperator(*, project_id, region, environment_id, environment, update_mask, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), pooling_period_seconds=30, **kwargs)[source]¶

基类：airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

更新一个环境。

参数

project_id (str) – 必需。该服务所属的 Google Cloud 项目的 ID。
region (str) – 必需。该服务所属的 Google Cloud 区域的 ID。
environment_id (str) – 必需。该服务所属的 Google Cloud 环境的 ID。
environment (dict | google.cloud.orchestration.airflow.service_v1.types.Environment) – 一个补丁环境。由 updateMask 指定的字段将从补丁环境复制到正在更新的环境中。
update_mask (dict | google.protobuf.field_mask_pb2.FieldMask) – 必需。要更新的字段的路径列表（以逗号分隔），相对于 Environment。如果提供了字典，则其格式必须与 protobuf 消息 FieldMask 相同。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指示应重试哪些错误（如果有）。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应与请求一起作为元数据发送的字符串。
gcp_conn_id (str) –
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账户，用于使用短期凭据进行模拟，或用于获取列表中最后一个账户的 access_token 的链式账户列表，该账户将在请求中进行模拟。如果设置为字符串，则该账户必须授予原始账户“服务账户令牌创建者”IAM 角色。如果设置为序列，则列表中的标识必须将“服务账户令牌创建者”IAM 角色授予紧接其前的标识，列表中的第一个账户必须将此角色授予原始账户（已模板化）。
deferrable (bool) – 在可延期模式下运行操作符
pooling_period_seconds (int) – 可选：控制轮询可延期运行结果的速率。默认情况下，触发器每 30 秒轮询一次。

template_fields = ('project_id', 'region', 'environment_id', 'impersonation_chain')[source]¶

operator_extra_links = ()[source]¶

execute(context)[source]¶

在创建操作符时派生。

上下文是与渲染 Jinja 模板时使用的相同的字典。

有关更多上下文，请参阅 get_template_context。

execute_complete(context, event)[source]¶

class airflow.providers.google.cloud.operators.cloud_composer.CloudComposerListImageVersionsOperator(*, project_id, region, page_size=None, page_token=None, include_past_releases=False, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

基类：airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

列出所提供位置的 ImageVersions。

参数

request – 请求对象。列出项目和位置中的 ImageVersions。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指示应重试哪些错误（如果有）。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应与请求一起作为元数据发送的字符串。
gcp_conn_id (str) –
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账户，用于使用短期凭据进行模拟，或用于获取列表中最后一个账户的 access_token 的链式账户列表，该账户将在请求中进行模拟。如果设置为字符串，则该账户必须授予原始账户“服务账户令牌创建者”IAM 角色。如果设置为序列，则列表中的标识必须将“服务账户令牌创建者”IAM 角色授予紧接其前的标识，列表中的第一个账户必须将此角色授予原始账户（已模板化）。

template_fields = ('project_id', 'region', 'impersonation_chain')[source]¶

execute(context)[source]¶

在创建操作符时派生。

上下文是与渲染 Jinja 模板时使用的相同的字典。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.cloud_composer.CloudComposerRunAirflowCLICommandOperator(*, project_id, region, environment_id, command, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), poll_interval=10, **kwargs)[source]¶

基类：airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

为提供的 Composer 环境运行 Airflow 命令。

参数

project_id (str) – 该服务所属的 Google Cloud 项目 ID。
region (str) – 该服务所属的 Google Cloud 区域 ID。
environment_id (str) – 该服务所属的 Google Cloud 环境 ID。
command (str) – Airflow 命令。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指示应重试哪些错误（如果有）。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应与请求一起作为元数据发送的字符串。
gcp_conn_id (str) – 用于连接 Google Cloud Platform 的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账户，用于使用短期凭据进行模拟，或用于获取列表中最后一个账户的 access_token 的链式账户列表，该账户将在请求中进行模拟。如果设置为字符串，则该账户必须授予原始账户“服务账户令牌创建者”IAM 角色。如果设置为序列，则列表中的标识必须将“服务账户令牌创建者”IAM 角色授予紧接其前的标识，列表中的第一个账户必须将此角色授予原始账户（已模板化）。
deferrable (bool) – 在可延期模式下运行操作符
poll_interval (int) – 可选：控制可延迟运行的结果轮询速率。默认情况下，触发器将每 10 秒轮询一次。

template_fields = ('project_id', 'region', 'environment_id', 'command', 'impersonation_chain')[source]¶

execute(context)[source]¶

在创建操作符时派生。

上下文是与渲染 Jinja 模板时使用的相同的字典。

有关更多上下文，请参阅 get_template_context。

execute_complete(context, event)[源代码]¶

airflow.providers.google.cloud.operators.cloud_composer¶

模块内容¶

类¶

属性¶

`airflow.providers.google.cloud.operators.cloud_composer`¶