airflow.providers.google.cloud.operators.dataform

模块内容

类

DataformCreateCompilationResultOperator

在给定的项目和位置中创建一个新的 CompilationResult。

DataformGetCompilationResultOperator

获取单个 CompilationResult。

DataformCreateWorkflowInvocationOperator

在给定的存储库中创建一个新的 WorkflowInvocation。

DataformGetWorkflowInvocationOperator

获取单个 WorkflowInvocation。

DataformQueryWorkflowInvocationActionsOperator

在给定的 WorkflowInvocation 中返回 WorkflowInvocationActions。

DataformCancelWorkflowInvocationOperator

请求取消正在运行的 WorkflowInvocation。

DataformCreateRepositoryOperator

创建存储库。

DataformDeleteRepositoryOperator

删除存储库。

DataformCreateWorkspaceOperator

创建工作区。

DataformDeleteWorkspaceOperator

删除工作区。

DataformWriteFileOperator

将新文件写入指定的工作区。

DataformMakeDirectoryOperator

在指定的工作区中创建新目录。

DataformRemoveFileOperator

删除指定工作区中的文件。

DataformRemoveDirectoryOperator

删除指定工作区中的目录。

DataformInstallNpmPackagesOperator

在提供的工作区中安装 NPM 依赖项。
class airflow.providers.google.cloud.operators.dataform.DataformCreateCompilationResultOperator(project_id, region, repository_id, compilation_result, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[源代码]

基类: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

在给定的项目和位置中创建一个新的 CompilationResult。

参数

  • project_id (str) – 必需。任务所属的 Google Cloud 项目的 ID。

  • region (str) – 必需。任务所属的 Google Cloud 区域的 ID。

  • repository_id (str) – 必需。任务所属的 Dataform 存储库的 ID。

  • compilation_result (google.cloud.dataform_v1beta1.types.CompilationResult | dict) – 必需。要创建的编译结果。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定应重试哪些错误（如果有）。

  • timeout (float | None) – 此请求的超时时间。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 应与请求一起发送的字符串作为元数据。

  • gcp_conn_id (str) – 获取连接信息时要使用的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户，用于使用短期凭据进行模拟，或获取列表中最后一个帐户的 access_token 所需的帐户链表，该帐户将在请求中被模拟。如果设置为字符串，则该帐户必须授予原始帐户“服务帐户令牌创建者”IAM 角色。如果设置为序列，则列表中的身份必须将“服务帐户令牌创建者”IAM 角色授予紧邻的前一个身份，列表中的第一个帐户将此角色授予原始帐户（模板化）。

template_fields = ('project_id', 'region', 'repository_id', 'compilation_result', 'impersonation_chain')[源代码]
execute(context)[源代码]

在创建操作符时派生。

上下文与渲染 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformGetCompilationResultOperator(project_id, region, repository_id, compilation_result_id, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[源代码]

基类: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

获取单个 CompilationResult。

参数

  • project_id (str) – 必需。任务所属的 Google Cloud 项目的 ID。

  • region (str) – 必需。任务所属的 Google Cloud 区域的 ID。

  • repository_id (str) – 必需。任务所属的 Dataform 存储库的 ID。

  • compilation_result_id (str) – Dataform 编译结果的 ID

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定应重试哪些错误（如果有）。

  • timeout (float | None) – 此请求的超时时间。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 应与请求一起发送的字符串作为元数据。

  • gcp_conn_id (str) – 获取连接信息时要使用的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户，用于使用短期凭据进行模拟，或获取列表中最后一个帐户的 access_token 所需的帐户链表，该帐户将在请求中被模拟。如果设置为字符串，则该帐户必须授予原始帐户“服务帐户令牌创建者”IAM 角色。如果设置为序列，则列表中的身份必须将“服务帐户令牌创建者”IAM 角色授予紧邻的前一个身份，列表中的第一个帐户将此角色授予原始帐户（模板化）。

template_fields = ('project_id', 'region', 'repository_id', 'compilation_result_id', 'impersonation_chain')[源代码]
execute(context)[源代码]

在创建操作符时派生。

上下文与渲染 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformCreateWorkflowInvocationOperator(project_id, region, repository_id, workflow_invocation, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, asynchronous=False, wait_time=10, *args, **kwargs)[source]

基类: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

在给定的存储库中创建一个新的 WorkflowInvocation。

参数

  • project_id (str) – 必需。任务所属的 Google Cloud 项目的 ID。

  • region (str) – 必需。任务所属的 Google Cloud 区域的 ID。

  • repository_id (str) – 必需。任务所属的 Dataform 存储库的 ID。

  • workflow_invocation (google.cloud.dataform_v1beta1.types.WorkflowInvocation | dict) – 必需。要创建的工作流调用资源。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定应重试哪些错误（如果有）。

  • timeout (int | None) – 此请求的超时时间。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 应与请求一起发送的字符串作为元数据。

  • gcp_conn_id (str) – 获取连接信息时要使用的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户，用于使用短期凭据进行模拟，或获取列表中最后一个帐户的 access_token 所需的帐户链表，该帐户将在请求中被模拟。如果设置为字符串，则该帐户必须授予原始帐户“服务帐户令牌创建者”IAM 角色。如果设置为序列，则列表中的身份必须将“服务帐户令牌创建者”IAM 角色授予紧邻的前一个身份，列表中的第一个帐户将此角色授予原始帐户（模板化）。

  • asynchronous (bool) – 从 Dataform API 返回 workflow_invocation_id 的标志。 这对于提交长时间运行的工作流并使用 DataformWorkflowInvocationStateSensor 异步等待它们非常有用

  • wait_time (int) – 检查之间的秒数

template_fields = ('project_id', 'region', 'repository_id', 'workflow_invocation', 'impersonation_chain')[source]
execute(context)[source]

在创建操作符时派生。

上下文与渲染 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformGetWorkflowInvocationOperator(project_id, region, repository_id, workflow_invocation_id, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]

基类: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

获取单个 WorkflowInvocation。

参数

  • project_id (str) – 必需。任务所属的 Google Cloud 项目的 ID。

  • region (str) – 必需。任务所属的 Google Cloud 区域的 ID。

  • repository_id (str) – 必需。任务所属的 Dataform 存储库的 ID。

  • workflow_invocation_id (str) – 工作流调用资源的 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定应重试哪些错误（如果有）。

  • timeout (float | None) – 此请求的超时时间。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 应与请求一起发送的字符串作为元数据。

  • gcp_conn_id (str) – 获取连接信息时要使用的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户，用于使用短期凭据进行模拟，或获取列表中最后一个帐户的 access_token 所需的帐户链表，该帐户将在请求中被模拟。如果设置为字符串，则该帐户必须授予原始帐户“服务帐户令牌创建者”IAM 角色。如果设置为序列，则列表中的身份必须将“服务帐户令牌创建者”IAM 角色授予紧邻的前一个身份，列表中的第一个帐户将此角色授予原始帐户（模板化）。

template_fields = ('project_id', 'region', 'repository_id', 'workflow_invocation_id', 'impersonation_chain')[source]
execute(context)[source]

在创建操作符时派生。

上下文与渲染 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformQueryWorkflowInvocationActionsOperator(project_id, region, repository_id, workflow_invocation_id, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]

基类: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

在给定的 WorkflowInvocation 中返回 WorkflowInvocationActions。

参数

  • project_id (str) – 必需。任务所属的 Google Cloud 项目的 ID。

  • region (str) – 必需。任务所属的 Google Cloud 区域的 ID。

  • repository_id (str) – 必需。任务所属的 Dataform 存储库的 ID。

  • workflow_invocation_id (str) – 工作流调用资源的 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定应重试哪些错误（如果有）。

  • timeout (float | None) – 此请求的超时时间。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 应与请求一起发送的字符串作为元数据。

  • gcp_conn_id (str) – 获取连接信息时要使用的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户，用于使用短期凭据进行模拟，或获取列表中最后一个帐户的 access_token 所需的帐户链表，该帐户将在请求中被模拟。如果设置为字符串，则该帐户必须授予原始帐户“服务帐户令牌创建者”IAM 角色。如果设置为序列，则列表中的身份必须将“服务帐户令牌创建者”IAM 角色授予紧邻的前一个身份，列表中的第一个帐户将此角色授予原始帐户（模板化）。

template_fields = ('project_id', 'region', 'repository_id', 'workflow_invocation_id', 'impersonation_chain')[source]
execute(context)[source]

在创建操作符时派生。

上下文与渲染 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformCancelWorkflowInvocationOperator(project_id, region, repository_id, workflow_invocation_id, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]

基类: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

请求取消正在运行的 WorkflowInvocation。

参数

  • project_id (str) – 必需。任务所属的 Google Cloud 项目的 ID。

  • region (str) – 必需。任务所属的 Google Cloud 区域的 ID。

  • repository_id (str) – 必需。任务所属的 Dataform 存储库的 ID。

  • workflow_invocation_id (str) – 工作流调用资源的 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定应重试哪些错误（如果有）。

  • timeout (float | None) – 此请求的超时时间。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 应与请求一起发送的字符串作为元数据。

  • gcp_conn_id (str) – 获取连接信息时要使用的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户，用于使用短期凭据进行模拟，或获取列表中最后一个帐户的 access_token 所需的帐户链表，该帐户将在请求中被模拟。如果设置为字符串，则该帐户必须授予原始帐户“服务帐户令牌创建者”IAM 角色。如果设置为序列，则列表中的身份必须将“服务帐户令牌创建者”IAM 角色授予紧邻的前一个身份，列表中的第一个帐户将此角色授予原始帐户（模板化）。

template_fields = ('project_id', 'region', 'repository_id', 'workflow_invocation_id', 'impersonation_chain')[source]
execute(context)[source]

在创建操作符时派生。

上下文与渲染 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformCreateRepositoryOperator(project_id, region, repository_id, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]

基类: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

创建存储库。

参数

  • project_id (str) – 必需。任务所属的 Google Cloud 项目的 ID。

  • region (str) – 必需。任务所属的 Google Cloud 区域的 ID。

  • repository_id (str) – 必需。任务所属的 Dataform 存储库的 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定应重试哪些错误（如果有）。

  • timeout (float | None) – 此请求的超时时间。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 应与请求一起发送的字符串作为元数据。

  • gcp_conn_id (str) – 获取连接信息时要使用的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户，用于使用短期凭据进行模拟，或获取列表中最后一个帐户的 access_token 所需的帐户链表，该帐户将在请求中被模拟。如果设置为字符串，则该帐户必须授予原始帐户“服务帐户令牌创建者”IAM 角色。如果设置为序列，则列表中的身份必须将“服务帐户令牌创建者”IAM 角色授予紧邻的前一个身份，列表中的第一个帐户将此角色授予原始帐户（模板化）。

template_fields = ('project_id', 'region', 'repository_id', 'impersonation_chain')[source]
execute(context)[source]

在创建操作符时派生。

上下文与渲染 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformDeleteRepositoryOperator(project_id, region, repository_id, force=True, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]

基类: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

删除存储库。

参数

  • project_id (str) – 必需。 存放仓库的 Google Cloud 项目 ID。

  • region (str) – 必需。 存放仓库的 Google Cloud 区域 ID。

  • repository_id (str) – 必需。 需要删除的 Dataform 仓库的 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定应重试哪些错误（如果有）。

  • timeout (float | None) – 此请求的超时时间。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 应与请求一起发送的字符串作为元数据。

  • gcp_conn_id (str) – 获取连接信息时要使用的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户，用于使用短期凭据进行模拟，或获取列表中最后一个帐户的 access_token 所需的帐户链表，该帐户将在请求中被模拟。如果设置为字符串，则该帐户必须授予原始帐户“服务帐户令牌创建者”IAM 角色。如果设置为序列，则列表中的身份必须将“服务帐户令牌创建者”IAM 角色授予紧邻的前一个身份，列表中的第一个帐户将此角色授予原始帐户（模板化）。

template_fields = ('project_id', 'region', 'repository_id', 'impersonation_chain')[source]
execute(context)[source]

在创建操作符时派生。

上下文与渲染 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformCreateWorkspaceOperator(project_id, region, repository_id, workspace_id, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]

基类: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

创建工作区。

参数

  • project_id (str) – 必需。工作区所在的 Google Cloud 项目 ID。

  • region (str) – 必需。工作区所在的 Google Cloud 区域的名称。

  • repository_id (str) – 必需。工作区所属的 Dataform 仓库的 ID。

  • workspace_id (str) – 必需。 将要创建的新工作区的 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定应重试哪些错误（如果有）。

  • timeout (float | None) – 此请求的超时时间。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 应与请求一起发送的字符串作为元数据。

  • gcp_conn_id (str) – 获取连接信息时要使用的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户，用于使用短期凭据进行模拟，或获取列表中最后一个帐户的 access_token 所需的帐户链表，该帐户将在请求中被模拟。如果设置为字符串，则该帐户必须授予原始帐户“服务帐户令牌创建者”IAM 角色。如果设置为序列，则列表中的身份必须将“服务帐户令牌创建者”IAM 角色授予紧邻的前一个身份，列表中的第一个帐户将此角色授予原始帐户（模板化）。

template_fields = ('project_id', 'region', 'repository_id', 'workspace_id', 'impersonation_chain')[source]
execute(context)[source]

在创建操作符时派生。

上下文与渲染 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformDeleteWorkspaceOperator(project_id, region, repository_id, workspace_id, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]

基类: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

删除工作区。

参数

  • project_id (str) – 必需。工作区所在的 Google Cloud 项目的 ID。

  • region (str) – 必需。工作区所在的 Google Cloud 区域的 ID。

  • repository_id (str) – 必需。工作区所在的 Dataform 存储库的 ID。

  • workspace_id (str) – 必需。应该删除的 Dataform 工作区的 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定应重试哪些错误（如果有）。

  • timeout (float | None) – 此请求的超时时间。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 应与请求一起发送的字符串作为元数据。

  • gcp_conn_id (str) – 获取连接信息时要使用的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户，用于使用短期凭据进行模拟，或获取列表中最后一个帐户的 access_token 所需的帐户链表，该帐户将在请求中被模拟。如果设置为字符串，则该帐户必须授予原始帐户“服务帐户令牌创建者”IAM 角色。如果设置为序列，则列表中的身份必须将“服务帐户令牌创建者”IAM 角色授予紧邻的前一个身份，列表中的第一个帐户将此角色授予原始帐户（模板化）。

template_fields = ('project_id', 'region', 'repository_id', 'workspace_id', 'impersonation_chain')[source]
execute(context)[source]

在创建操作符时派生。

上下文与渲染 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformWriteFileOperator(project_id, region, repository_id, workspace_id, filepath, contents, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]

基类: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

将新文件写入指定的工作区。

参数

  • project_id (str) – 必需。工作区所在的 Google Cloud 项目的 ID。

  • region (str) – 必需。工作区所在的 Google Cloud 区域的 ID。

  • repository_id (str) – 必需。工作区所在的 Dataform 存储库的 ID。

  • workspace_id (str) – 必需。应该在其中创建文件的 Dataform 工作区的 ID。

  • filepath (str) – 必需。相对于工作区根目录的文件路径，包括文件名。

  • contents (bytes) – 必需。要写入的文件的内容。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定应重试哪些错误（如果有）。

  • timeout (float | None) – 此请求的超时时间。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 应与请求一起发送的字符串作为元数据。

  • gcp_conn_id (str) – 获取连接信息时要使用的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户，用于使用短期凭据进行模拟，或获取列表中最后一个帐户的 access_token 所需的帐户链表，该帐户将在请求中被模拟。如果设置为字符串，则该帐户必须授予原始帐户“服务帐户令牌创建者”IAM 角色。如果设置为序列，则列表中的身份必须将“服务帐户令牌创建者”IAM 角色授予紧邻的前一个身份，列表中的第一个帐户将此角色授予原始帐户（模板化）。

template_fields = ('project_id', 'region', 'repository_id', 'workspace_id', 'impersonation_chain')[source]
execute(context)[source]

在创建操作符时派生。

上下文与渲染 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformMakeDirectoryOperator(project_id, region, repository_id, workspace_id, directory_path, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]

基类: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

在指定的工作区中创建新目录。

参数

  • project_id (str) – 必需。工作区所在的 Google Cloud 项目的 ID。

  • region (str) – 必需。工作区所在的 Google Cloud 区域的 ID。

  • repository_id (str) – 必需。工作区所在的 Dataform 存储库的 ID。

  • workspace_id (str) – 必需。应该在其中创建目录的 Dataform 工作区的 ID。

  • path – 必需。相对于工作区根目录的目录完整路径，包括目录名称。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定应重试哪些错误（如果有）。

  • timeout (float | None) – 此请求的超时时间。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 应与请求一起发送的字符串作为元数据。

  • gcp_conn_id (str) – 获取连接信息时要使用的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户，用于使用短期凭据进行模拟，或获取列表中最后一个帐户的 access_token 所需的帐户链表，该帐户将在请求中被模拟。如果设置为字符串，则该帐户必须授予原始帐户“服务帐户令牌创建者”IAM 角色。如果设置为序列，则列表中的身份必须将“服务帐户令牌创建者”IAM 角色授予紧邻的前一个身份，列表中的第一个帐户将此角色授予原始帐户（模板化）。

template_fields = ('project_id', 'region', 'repository_id', 'workspace_id', 'impersonation_chain')[source]
execute(context)[source]

在创建操作符时派生。

上下文与渲染 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformRemoveFileOperator(project_id, region, repository_id, workspace_id, filepath, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]

基类: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

删除指定工作区中的文件。

参数

  • project_id (str) – 必需。工作区所在的 Google Cloud 项目的 ID。

  • region (str) – 必需。工作区所在的 Google Cloud 区域的 ID。

  • repository_id (str) – 必需。工作区所在的 Dataform 存储库的 ID。

  • workspace_id (str) – 必需。目录所在的 Dataform 工作区的 ID。

  • filepath (str) – 必需。相对于工作区根目录的文件完整路径，包括文件名。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定应重试哪些错误（如果有）。

  • timeout (float | None) – 此请求的超时时间。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 应与请求一起发送的字符串作为元数据。

  • gcp_conn_id (str) – 获取连接信息时要使用的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户，用于使用短期凭据进行模拟，或获取列表中最后一个帐户的 access_token 所需的帐户链表，该帐户将在请求中被模拟。如果设置为字符串，则该帐户必须授予原始帐户“服务帐户令牌创建者”IAM 角色。如果设置为序列，则列表中的身份必须将“服务帐户令牌创建者”IAM 角色授予紧邻的前一个身份，列表中的第一个帐户将此角色授予原始帐户（模板化）。

template_fields = ('project_id', 'region', 'repository_id', 'workspace_id', 'impersonation_chain')[source]
execute(context)[source]

在创建操作符时派生。

上下文与渲染 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformRemoveDirectoryOperator(project_id, region, repository_id, workspace_id, directory_path, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]

基类: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

删除指定工作区中的目录。

参数

  • project_id (str) – 必需。工作区所在的 Google Cloud 项目的 ID。

  • region (str) – 必需。工作区所在的 Google Cloud 区域的 ID。

  • repository_id (str) – 必需。工作区所在的 Dataform 存储库的 ID。

  • workspace_id (str) – 必需。目录所在的 Dataform 工作区的 ID。

  • path – 必需。相对于工作区根目录的目录完整路径，包括目录名称。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定应重试哪些错误（如果有）。

  • timeout (float | None) – 此请求的超时时间。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 应与请求一起发送的字符串作为元数据。

  • gcp_conn_id (str) – 获取连接信息时要使用的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户，用于使用短期凭据进行模拟，或获取列表中最后一个帐户的 access_token 所需的帐户链表，该帐户将在请求中被模拟。如果设置为字符串，则该帐户必须授予原始帐户“服务帐户令牌创建者”IAM 角色。如果设置为序列，则列表中的身份必须将“服务帐户令牌创建者”IAM 角色授予紧邻的前一个身份，列表中的第一个帐户将此角色授予原始帐户（模板化）。

template_fields = ('project_id', 'region', 'repository_id', 'workspace_id', 'impersonation_chain')[source]
execute(context)[source]

在创建操作符时派生。

上下文与渲染 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformInstallNpmPackagesOperator(project_id, region, repository_id, workspace_id, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]

基类: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

在提供的工作区中安装 NPM 依赖项。

需要在工作区中创建“package.json”。

参数

  • project_id (str) – 必需。工作区所在的 Google Cloud 项目的 ID。

  • region (str) – 必需。工作区所在的 Google Cloud 区域的 ID。

  • repository_id (str) – 必需。工作区所在的 Dataform 存储库的 ID。

  • workspace_id (str) – 必需。Dataform 工作区的 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定应重试哪些错误（如果有）。

  • timeout (float | None) – 此请求的超时时间。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 应与请求一起发送的字符串作为元数据。

  • gcp_conn_id (str) – 获取连接信息时要使用的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户，用于使用短期凭据进行模拟，或获取列表中最后一个帐户的 access_token 所需的帐户链表，该帐户将在请求中被模拟。如果设置为字符串，则该帐户必须授予原始帐户“服务帐户令牌创建者”IAM 角色。如果设置为序列，则列表中的身份必须将“服务帐户令牌创建者”IAM 角色授予紧邻的前一个身份，列表中的第一个帐户将此角色授予原始帐户（模板化）。

template_fields = ('project_id', 'region', 'repository_id', 'workspace_id', 'impersonation_chain')[source]
execute(context)[source]

在创建操作符时派生。

上下文与渲染 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

此条目是否有帮助？