`airflow.providers.google.cloud.operators.mlengine`¶

此模块包含 Google Cloud MLEngine 操作符。

模块内容¶

类¶

`MLEngineStartBatchPredictionJobOperator`	启动 Google Cloud ML Engine 预测作业。
`MLEngineManageModelOperator`	用于管理 Google Cloud ML Engine 模型的操作符。
`MLEngineCreateModelOperator`	创建新模型。
`MLEngineGetModelOperator`	获取特定模型。
`MLEngineDeleteModelOperator`	删除模型。
`MLEngineManageVersionOperator`	用于管理 Google Cloud ML Engine 版本的操作符。
`MLEngineCreateVersionOperator`	在模型中创建新版本。
`MLEngineSetDefaultVersionOperator`	在模型中设置版本。
`MLEngineListVersionsOperator`	列出模型的所有可用版本。
`MLEngineDeleteVersionOperator`	从模型中删除版本。
`MLEngineStartTrainingJobOperator`	用于启动 MLEngine 训练作业的操作符。
`MLEngineTrainingCancelJobOperator`	用于清理失败的 MLEngine 训练作业的操作符。

属性¶

log

airflow.providers.google.cloud.operators.mlengine.log[源代码]¶

class airflow.providers.google.cloud.operators.mlengine.MLEngineStartBatchPredictionJobOperator(*, job_id, region, data_format, input_paths, output_path, model_name=None, version_name=None, uri=None, max_worker_count=None, runtime_version=None, signature_name=None, project_id=None, gcp_conn_id='google_cloud_default', labels=None, impersonation_chain=None, **kwargs)[源代码]¶

基类： airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

启动 Google Cloud ML Engine 预测作业。

警告

此操作符已弃用。请改用 airflow.providers.google.cloud.operators.vertex_ai.batch_prediction.CreateBatchPredictionJobOperator 。

另请参阅

有关如何使用此操作符的更多信息，请查看指南：进行预测

注意：对于模型来源，用户应考虑以下三个选项中的一个

仅填充 uri 字段，它应该是指向 tensorflow savedModel 目录的 GCS 位置。
仅填充 model_name 字段，它引用现有模型，并将使用该模型的默认版本。
同时填充 model_name 和 version_name 字段，它引用特定模型的特定版本。

在选项 2 和 3 中，模型和版本名称都应包含最小标识符。例如，调用

MLEngineStartBatchPredictionJobOperator(
    ...,
    model_name='my_model',
    version_name='my_version',
    ...)

如果所需的模型版本是 projects/my_project/models/my_model/versions/my_version。

有关参数的更多文档，请参阅 https://cloud.google.com/ml-engine/reference/rest/v1/projects.jobs。

参数

job_id (str) – Google Cloud ML Engine 上预测作业的唯一 ID。（已模板化）
data_format (str) – 输入数据的格式。如果未提供或不是 [“TEXT”, “TF_RECORD”, “TF_RECORD_GZIP”] 之一，则默认为 ‘DATA_FORMAT_UNSPECIFIED’。
input_paths (list[str]) – 用于批量预测的输入数据的 GCS 路径列表。接受通配符运算符 *，但仅在末尾。（已模板化）
output_path (str) – 将预测结果写入的 GCS 路径。（已模板化）
region (str) – 运行预测作业的 Google Compute Engine 区域。（已模板化）
model_name (str | None) – 用于预测的 Google Cloud ML Engine 模型。如果未提供 version_name，将使用此模型的默认版本。如果提供了 version_name，则不应为 None。如果提供了 uri，则应为 None。（已模板化）
version_name (str | None) – 用于预测的 Google Cloud ML Engine 模型版本。如果提供了 uri，则应为 None。（已模板化）
uri (str | None) – 用于预测的已保存模型的 GCS 路径。如果提供了 model_name，则应为 None。它应该是指向 tensorflow SavedModel 的 GCS 路径。（已模板化）
max_worker_count (int | None) – 用于并行处理的最大工作线程数。如果未指定，则默认为 10。应该是表示工作线程数的字符串（“10”而不是 10，“50”而不是 50 等）。
runtime_version (str | None) – 用于批量预测的 Google Cloud ML Engine 运行时版本。
signature_name (str | None) – 此作业要使用的 SavedModel 中定义的签名的名称。
project_id (str | None) – 提交预测作业的 Google Cloud 项目名称。如果设置为 None 或缺失，则使用 Google Cloud 连接中的默认 project_id。（已模板化）
gcp_conn_id (str) – 用于连接到 Google Cloud Platform 的连接 ID。
labels (dict[str, str] | None) – 包含作业标签的字典；传递给 BigQuery。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户，用于使用短期凭据模拟，或者用于获取列表中最后一个帐户的 access_token 的链式帐户列表，该帐户将在请求中被模拟。如果设置为字符串，则该帐户必须授予发起帐户“服务帐户令牌创建者”IAM 角色。如果设置为序列，则列表中的身份必须将“服务帐户令牌创建者”IAM 角色授予紧随其后的身份，列表中的第一个帐户将此角色授予发起帐户（模板化）。

引发

ValueError: 如果无法确定唯一的模型/版本来源。

template_fields: collections.abc.Sequence[str] = ('project_id', 'job_id', 'region', 'input_paths', 'output_path', 'model_name', 'version_name',...[source]¶

execute(context)[source]¶

在创建运算符时派生。

上下文是与渲染 Jinja 模板时使用的相同的字典。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.mlengine.MLEngineManageModelOperator(*, model, operation='create', project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

基类： airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

用于管理 Google Cloud ML Engine 模型的操作符。

警告

此运算符已弃用。请考虑使用用于特定操作的运算符：MLEngineCreateModelOperator、MLEngineGetModelOperator。

参数

model (dict) –
包含有关模型的信息的字典。如果 operation 为 create，则 model 参数应包含有关此模型的所有信息，例如 name。

如果 operation 为 get，则 model 参数应包含模型的 name。
operation (str) –
要执行的操作。可用的操作有：
- create：创建由 model 参数提供的新模型。
- get：获取名称在 model 中指定的特定模型。
project_id (str) – MLEngine 模型所属的 Google Cloud 项目名称。如果设置为 None 或缺失，则使用来自 Google Cloud 连接的默认 project_id。（模板化）
gcp_conn_id (str) – 获取连接信息时要使用的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户，用于使用短期凭据模拟，或者用于获取列表中最后一个帐户的 access_token 的链式帐户列表，该帐户将在请求中被模拟。如果设置为字符串，则该帐户必须授予发起帐户“服务帐户令牌创建者”IAM 角色。如果设置为序列，则列表中的身份必须将“服务帐户令牌创建者”IAM 角色授予紧随其后的身份，列表中的第一个帐户将此角色授予发起帐户（模板化）。

template_fields: collections.abc.Sequence[str] = ('project_id', 'model', 'impersonation_chain')[source]¶

execute(context)[source]¶

在创建运算符时派生。

上下文是与渲染 Jinja 模板时使用的相同的字典。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.mlengine.MLEngineCreateModelOperator(*, model, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

基类： airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

创建新模型。

警告

此运算符已弃用。请改用 airflow.providers.google.cloud.operators.vertex_ai 中的适当 VertexAI 运算符。

另请参阅

有关如何使用此运算符的更多信息，请查看指南：创建模型

模型应由 model 参数提供。

参数

model (dict) – 包含有关模型的信息的字典。
project_id (str) – MLEngine 模型所属的 Google Cloud 项目名称。如果设置为 None 或缺失，则使用来自 Google Cloud 连接的默认 project_id。（模板化）
gcp_conn_id (str) – 获取连接信息时要使用的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户，用于使用短期凭据模拟，或者用于获取列表中最后一个帐户的 access_token 的链式帐户列表，该帐户将在请求中被模拟。如果设置为字符串，则该帐户必须授予发起帐户“服务帐户令牌创建者”IAM 角色。如果设置为序列，则列表中的身份必须将“服务帐户令牌创建者”IAM 角色授予紧随其后的身份，列表中的第一个帐户将此角色授予发起帐户（模板化）。

template_fields: collections.abc.Sequence[str] = ('project_id', 'model', 'impersonation_chain')[source]¶

operator_extra_links = ()[source]¶

execute(context)[source]¶

在创建运算符时派生。

上下文是与渲染 Jinja 模板时使用的相同的字典。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.mlengine.MLEngineGetModelOperator(*, model_name, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

基类： airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

获取特定模型。

警告

此运算符已弃用。请改用 airflow.providers.google.cloud.operators.vertex_ai.model_service.GetModelOperator。

另请参阅

有关如何使用此运算符的更多信息，请查看以下指南：获取模型

模型名称应在 model_name 中指定。

参数

model_name (str) – 模型的名称。
project_id (str) – MLEngine 模型所属的 Google Cloud 项目名称。如果设置为 None 或缺失，则使用来自 Google Cloud 连接的默认 project_id。（模板化）
gcp_conn_id (str) – 获取连接信息时要使用的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户，用于使用短期凭据模拟，或者用于获取列表中最后一个帐户的 access_token 的链式帐户列表，该帐户将在请求中被模拟。如果设置为字符串，则该帐户必须授予发起帐户“服务帐户令牌创建者”IAM 角色。如果设置为序列，则列表中的身份必须将“服务帐户令牌创建者”IAM 角色授予紧随其后的身份，列表中的第一个帐户将此角色授予发起帐户（模板化）。

template_fields: collections.abc.Sequence[str] = ('project_id', 'model_name', 'impersonation_chain')[source]¶

operator_extra_links = ()[source]¶

execute(context)[source]¶

在创建运算符时派生。

上下文是与渲染 Jinja 模板时使用的相同的字典。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.mlengine.MLEngineDeleteModelOperator(*, model_name, delete_contents=False, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

基类： airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

删除模型。

警告

此运算符已弃用。请改用 airflow.providers.google.cloud.operators.vertex_ai.model_service.DeleteModelOperator。

另请参阅

有关如何使用此运算符的更多信息，请查看以下指南：清理

模型应由 model_name 参数提供。

参数

model_name (str) – 模型的名称。
delete_contents (bool) – （可选）是否强制删除，即使模型不为空。如果设置为 True，将删除数据集中的所有版本（如果有）。默认值为 False。
project_id (str) – MLEngine 模型所属的 Google Cloud 项目名称。如果设置为 None 或缺失，则使用来自 Google Cloud 连接的默认 project_id。（模板化）
gcp_conn_id (str) – 获取连接信息时要使用的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户，用于使用短期凭据模拟，或者用于获取列表中最后一个帐户的 access_token 的链式帐户列表，该帐户将在请求中被模拟。如果设置为字符串，则该帐户必须授予发起帐户“服务帐户令牌创建者”IAM 角色。如果设置为序列，则列表中的身份必须将“服务帐户令牌创建者”IAM 角色授予紧随其后的身份，列表中的第一个帐户将此角色授予发起帐户（模板化）。

template_fields: collections.abc.Sequence[str] = ('project_id', 'model_name', 'impersonation_chain')[source]¶

operator_extra_links = ()[source]¶

execute(context)[source]¶

在创建运算符时派生。

上下文是与渲染 Jinja 模板时使用的相同的字典。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.mlengine.MLEngineManageVersionOperator(*, model_name, version_name=None, version=None, operation='create', project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

基类： airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

用于管理 Google Cloud ML Engine 版本的操作符。

警告

此运算符已弃用。请考虑使用针对特定操作的运算符：MLEngineCreateVersionOperator、MLEngineSetDefaultVersionOperator、MLEngineListVersionsOperator、MLEngineDeleteVersionOperator。

参数

model_name (str) – 该版本所属的 Google Cloud ML Engine 模型的名称。（已模板化）
version_name (str | None) – 要操作的版本的名称。如果不是 None，并且 version 参数为 None 或没有 name 键的值，则此值将填充到 name 键的有效负载中。（已模板化）
version (dict | None) – 包含版本信息的字典。如果 operation 为 create，则 version 应包含有关此版本的所有信息，例如名称和 deploymentUrl。如果 operation 为 get 或 delete，则 version 参数应包含版本的 name。如果为 None，则唯一可能的操作将是 list。（已模板化）
operation (str) –
要执行的操作。可用的操作有：
- create：在 model_name 指定的模型中创建一个新版本，在这种情况下，version 参数应包含创建该版本的所有信息（例如 name、deploymentUrl）。
- set_defaults：将 model_name 指定的模型中的某个版本设置为默认版本。该版本的名称应在 version 参数中指定。
- list：列出 model_name 指定模型的所有可用版本。
- delete：从 model_name 指定的模型中删除 version 参数中指定的版本）。该版本的名称应在 version 参数中指定。
project_id (str) – MLEngine 模型所属的 Google Cloud 项目名称。如果设置为 None 或缺失，则使用来自 Google Cloud 连接的默认 project_id。（模板化）
gcp_conn_id (str) – 获取连接信息时要使用的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户，用于使用短期凭据模拟，或者用于获取列表中最后一个帐户的 access_token 的链式帐户列表，该帐户将在请求中被模拟。如果设置为字符串，则该帐户必须授予发起帐户“服务帐户令牌创建者”IAM 角色。如果设置为序列，则列表中的身份必须将“服务帐户令牌创建者”IAM 角色授予紧随其后的身份，列表中的第一个帐户将此角色授予发起帐户（模板化）。

template_fields: collections.abc.Sequence[str] = ('project_id', 'model_name', 'version_name', 'version', 'impersonation_chain')[source]¶

execute(context)[source]¶

在创建运算符时派生。

上下文是与渲染 Jinja 模板时使用的相同的字典。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.mlengine.MLEngineCreateVersionOperator(*, model_name, version, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

基类： airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

在模型中创建新版本。

警告

此操作符已弃用。请改用 Vertex AI 操作符的 parent_model 参数。

另请参阅

有关如何使用此操作符的更多信息，请参阅指南：创建模型版本

模型应通过 model_name 指定，在这种情况下，version 参数应包含创建该版本的所有信息。

参数

model_name (str) – 该版本所属的 Google Cloud ML Engine 模型的名称。（已模板化）
version (dict) – 包含有关版本信息的字典。(已模板化)
project_id (str) – MLEngine 模型所属的 Google Cloud 项目名称。如果设置为 None 或缺失，则使用来自 Google Cloud 连接的默认 project_id。（模板化）
gcp_conn_id (str) – 获取连接信息时要使用的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户，用于使用短期凭据模拟，或者用于获取列表中最后一个帐户的 access_token 的链式帐户列表，该帐户将在请求中被模拟。如果设置为字符串，则该帐户必须授予发起帐户“服务帐户令牌创建者”IAM 角色。如果设置为序列，则列表中的身份必须将“服务帐户令牌创建者”IAM 角色授予紧随其后的身份，列表中的第一个帐户将此角色授予发起帐户（模板化）。

template_fields: collections.abc.Sequence[str] = ('project_id', 'model_name', 'version', 'impersonation_chain')[source]¶

operator_extra_links = ()[source]¶

execute(context)[source]¶

在创建运算符时派生。

上下文是与渲染 Jinja 模板时使用的相同的字典。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.mlengine.MLEngineSetDefaultVersionOperator(*, model_name, version_name, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

基类： airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

在模型中设置版本。

警告

此操作符已弃用。请改用 airflow.providers.google.cloud.operators.vertex_ai.model_service.SetDefaultVersionOnModelOperator。

另请参阅

有关如何使用此操作符的更多信息，请参阅指南：管理模型版本

应通过 model_name 指定要设为默认的模型。版本名称应在 version_name 参数中指定。

参数

model_name (str) – 该版本所属的 Google Cloud ML Engine 模型的名称。（已模板化）
version_name (str) – 要操作的版本的名称。(已模板化)
project_id (str) – MLEngine 模型所属的 Google Cloud 项目名称。如果设置为 None 或缺失，则使用来自 Google Cloud 连接的默认 project_id。（模板化）
gcp_conn_id (str) – 获取连接信息时要使用的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户，用于使用短期凭据模拟，或者用于获取列表中最后一个帐户的 access_token 的链式帐户列表，该帐户将在请求中被模拟。如果设置为字符串，则该帐户必须授予发起帐户“服务帐户令牌创建者”IAM 角色。如果设置为序列，则列表中的身份必须将“服务帐户令牌创建者”IAM 角色授予紧随其后的身份，列表中的第一个帐户将此角色授予发起帐户（模板化）。

template_fields: collections.abc.Sequence[str] = ('project_id', 'model_name', 'version_name', 'impersonation_chain')[source]¶

operator_extra_links = ()[source]¶

execute(context)[source]¶

在创建运算符时派生。

上下文是与渲染 Jinja 模板时使用的相同的字典。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.mlengine.MLEngineListVersionsOperator(*, model_name, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

基类： airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

列出模型的所有可用版本。

警告

此操作符已弃用。请改用 airflow.providers.google.cloud.operators.vertex_ai.model_service.ListModelVersionsOperator。

另请参阅

有关如何使用此操作符的更多信息，请参阅指南：管理模型版本

模型应通过 model_name 指定。

参数

model_name (str) – 该版本所属的 Google Cloud ML Engine 模型的名称。（已模板化）
gcp_conn_id (str) – 获取连接信息时要使用的连接 ID。
project_id (str) – MLEngine 模型所属的 Google Cloud 项目名称。如果设置为 None 或缺失，则使用来自 Google Cloud 连接的默认 project_id。（模板化）
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户，用于使用短期凭据模拟，或者用于获取列表中最后一个帐户的 access_token 的链式帐户列表，该帐户将在请求中被模拟。如果设置为字符串，则该帐户必须授予发起帐户“服务帐户令牌创建者”IAM 角色。如果设置为序列，则列表中的身份必须将“服务帐户令牌创建者”IAM 角色授予紧随其后的身份，列表中的第一个帐户将此角色授予发起帐户（模板化）。

template_fields: collections.abc.Sequence[str] = ('project_id', 'model_name', 'impersonation_chain')[source]¶

operator_extra_links = ()[source]¶

execute(context)[source]¶

在创建运算符时派生。

上下文是与渲染 Jinja 模板时使用的相同的字典。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.mlengine.MLEngineDeleteVersionOperator(*, model_name, version_name, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

基类： airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

从模型中删除版本。

警告

此操作符已弃用。请改用 airflow.providers.google.cloud.operators.vertex_ai.model_service.DeleteModelVersionOperator。

另请参阅

有关如何使用此操作符的更多信息，请参阅指南：清理

版本名称应在 version_name 参数中指定，模型来自 model_name 指定的模型。

参数

model_name (str) – 该版本所属的 Google Cloud ML Engine 模型的名称。（已模板化）
version_name (str) – 要操作的版本的名称。(已模板化)
project_id (str) – MLEngine 模型所属的 Google Cloud 项目名称。
gcp_conn_id (str) – 获取连接信息时要使用的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户，用于使用短期凭据模拟，或者用于获取列表中最后一个帐户的 access_token 的链式帐户列表，该帐户将在请求中被模拟。如果设置为字符串，则该帐户必须授予发起帐户“服务帐户令牌创建者”IAM 角色。如果设置为序列，则列表中的身份必须将“服务帐户令牌创建者”IAM 角色授予紧随其后的身份，列表中的第一个帐户将此角色授予发起帐户（模板化）。

template_fields: collections.abc.Sequence[str] = ('project_id', 'model_name', 'version_name', 'impersonation_chain')[源代码]¶

operator_extra_links = ()[源代码]¶

execute(context)[源代码]¶

在创建运算符时派生。

上下文是与渲染 Jinja 模板时使用的相同的字典。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.mlengine.MLEngineStartTrainingJobOperator(*, job_id, region, project_id, package_uris=None, training_python_module=None, training_args=None, scale_tier=None, master_type=None, master_config=None, runtime_version=None, python_version=None, job_dir=None, service_account=None, gcp_conn_id='google_cloud_default', mode='PRODUCTION', labels=None, impersonation_chain=None, hyperparameters=None, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), cancel_on_kill=True, **kwargs)[源代码]¶

基类： airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

用于启动 MLEngine 训练作业的操作符。

警告

此运算符已弃用。请改用 airflow.providers.google.cloud.operators.vertex_ai.custom_job.CreateCustomPythonPackageTrainingJobOperator。

另请参阅

有关如何使用此运算符的更多信息，请查看指南：启动作业

有关所用参数的更多信息，请查看: https://cloud.google.com/sdk/gcloud/reference/ml-engine/jobs/submit/training

参数

job_id (str) – 提交的 Google MLEngine 训练作业的唯一模板 ID。（已模板化）
region (str) – 运行 MLEngine 训练作业的 Google Compute Engine 区域（已模板化）。
package_uris (list[str] | None) – 训练作业的 Python 包位置列表，应包括主训练程序和任何其他依赖项。这与通过 master_config 指定的自定义映像互斥。（已模板化）
training_python_module (str | None) – 安装软件包后在训练作业中运行的 Python 模块的名称。这与通过 master_config 指定的自定义映像互斥。（已模板化）
training_args (list[str] | None) – 传递给训练程序的命令行参数列表。（已模板化）
scale_tier (str | None) – MLEngine 训练作业的资源层级。（已模板化）
master_type (str | None) – 用于主工作程序的虚拟机类型。当 scale_tier 为 CUSTOM 时，必须设置此项。（已模板化）
master_config (dict | None) – 主工作程序的配置。如果提供了此项，则必须同时设置 master_type。如果指定了自定义映像，则这与 package_uris 和 training_python_module 互斥。（已模板化）
runtime_version (str | None) – 用于训练的 Google Cloud ML 运行时版本。（已模板化）
python_version (str | None) – 训练中使用的 Python 版本。（已模板化）
job_dir (str | None) – 用于存储训练输出和其他训练所需数据的 Google Cloud Storage 路径。（已模板化）
service_account (str | None) – 运行训练应用程序时要使用的可选服务帐户。（已模板化）指定的服务帐户必须具有 iam.serviceAccounts.actAs 角色。Google 管理的 Cloud ML Engine 服务帐户必须具有指定服务帐户的 iam.serviceAccountAdmin 角色。如果设置为 None 或缺失，将使用 Google 管理的 Cloud ML Engine 服务帐户。
project_id (str) – 应在其中运行 MLEngine 训练作业的 Google Cloud 项目名称。
gcp_conn_id (str) – 获取连接信息时要使用的连接 ID。
mode (str) – 可以是 ‘DRY_RUN’/‘CLOUD’ 之一。在 ‘DRY_RUN’ 模式下，不会启动真实的训练作业，但会打印 MLEngine 训练作业请求。在 ‘CLOUD’ 模式下，将发出真实的 MLEngine 训练作业创建请求。
labels (dict[str, str] | None) – 包含作业标签的字典；传递给 BigQuery。
hyperparameters (dict | None) – 用于超参数调整的可选 HyperparameterSpec 字典。有关更多参考，请查看： https://cloud.google.com/ai-platform/training/docs/reference/rest/v1/projects.jobs#HyperparameterSpec
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户，用于使用短期凭据模拟，或者用于获取列表中最后一个帐户的 access_token 的链式帐户列表，该帐户将在请求中被模拟。如果设置为字符串，则该帐户必须授予发起帐户“服务帐户令牌创建者”IAM 角色。如果设置为序列，则列表中的身份必须将“服务帐户令牌创建者”IAM 角色授予紧随其后的身份，列表中的第一个帐户将此角色授予发起帐户（模板化）。
cancel_on_kill (bool) – 一个标志，指示在调用 on_kill 时是否取消挂钩的作业
deferrable (bool) – 在可延迟模式下运行运算符

template_fields: collections.abc.Sequence[str] = ('project_id', 'job_id', 'region', 'package_uris', 'training_python_module', 'training_args',...[源代码]¶

operator_extra_links = ()[源代码]¶

execute(context)[源代码]¶

在创建运算符时派生。

上下文是与渲染 Jinja 模板时使用的相同的字典。

有关更多上下文，请参阅 get_template_context。

execute_complete(context, event)[source]¶

作为触发器触发时的回调 - 立即返回。

依赖触发器抛出异常，否则假设执行成功。

on_kill()[source]¶

当任务实例被终止时，重写此方法以清理子进程。

在操作符中使用 threading、subprocess 或 multiprocessing 模块都需要清理，否则会留下幽灵进程。

class airflow.providers.google.cloud.operators.mlengine.MLEngineTrainingCancelJobOperator(*, job_id, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

基类： airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

用于清理失败的 MLEngine 训练作业的操作符。

警告

此操作符已弃用。请改用 airflow.providers.google.cloud.operators.vertex_ai.custom_job.CancelCustomTrainingJobOperator。

参数

job_id (str) – 提交的 Google MLEngine 训练作业的唯一模板 ID。（已模板化）
project_id (str) – 运行 MLEngine 训练作业的 Google Cloud 项目名称。如果设置为 None 或缺失，则使用 Google Cloud 连接中的默认 project_id。（已模板化）
gcp_conn_id (str) – 获取连接信息时要使用的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户，用于使用短期凭据模拟，或者用于获取列表中最后一个帐户的 access_token 的链式帐户列表，该帐户将在请求中被模拟。如果设置为字符串，则该帐户必须授予发起帐户“服务帐户令牌创建者”IAM 角色。如果设置为序列，则列表中的身份必须将“服务帐户令牌创建者”IAM 角色授予紧随其后的身份，列表中的第一个帐户将此角色授予发起帐户（模板化）。

template_fields: collections.abc.Sequence[str] = ('project_id', 'job_id', 'impersonation_chain')[source]¶

operator_extra_links = ()[source]¶

execute(context)[source]¶

在创建运算符时派生。

上下文是与渲染 Jinja 模板时使用的相同的字典。

有关更多上下文，请参阅 get_template_context。

airflow.providers.google.cloud.operators.mlengine¶

模块内容¶

类¶

属性¶

`airflow.providers.google.cloud.operators.mlengine`¶