airflow.providers.amazon.aws.links.emr

模块内容

类

EmrClusterLink

用于构建 Amazon EMR 集群链接的辅助类。

EmrLogsLink

用于构建 Amazon EMR 日志链接的辅助类。

EmrServerlessLogsLink

用于构建 Amazon EMR Serverless 链接到 Spark 标准输出日志的辅助类。

EmrServerlessDashboardLink

用于构建 Amazon EMR Serverless 仪表板链接的辅助类。

EmrServerlessS3LogsLink

用于构建 Amazon EMR Serverless 日志的 S3 控制台链接的辅助类。

EmrServerlessCloudWatchLogsLink

用于构建 Amazon EMR Serverless 日志的 CloudWatch 控制台链接的辅助类。

函数

get_serverless_log_uri(*, s3_log_uri, application_id, ...)

检索 EMR Serverless 作业日志的 S3 URI。

get_serverless_dashboard_url(*[, aws_conn_id, ...])

检索 EMR Serverless 仪表板的 URL。

get_log_uri(*[, cluster, emr_client, job_flow_id])

检索 EMR 作业日志的 S3 URI。

基类: airflow.providers.amazon.aws.links.base_aws.BaseAwsLink

用于构建 Amazon EMR 集群链接的辅助类。

name = 'EMR 集群'[源代码]
key = 'emr_cluster'[源代码]
format_str[源代码]

基类: airflow.providers.amazon.aws.links.base_aws.BaseAwsLink

用于构建 Amazon EMR 日志链接的辅助类。

name = 'EMR 集群日志'[源代码]
key = 'emr_logs'[源代码]
format_str[源代码]

格式化 AWS 服务链接。

某些 AWS 服务链接应在此情况下需要额外的转义，因此应覆盖此方法。

airflow.providers.amazon.aws.links.emr.get_serverless_log_uri(*, s3_log_uri, application_id, job_run_id)[源代码]

检索 EMR Serverless 作业日志的 S3 URI。

任何 EMR Serverless 作业都可能具有不同的 S3 日志记录位置（或无），这是一个 S3 URI。 日志记录位置是 {s3_uri}/applications/{application_id}/jobs/{job_run_id}。

airflow.providers.amazon.aws.links.emr.get_serverless_dashboard_url(*, aws_conn_id=None, emr_serverless_client=None, application_id, job_run_id)[源代码]

检索 EMR Serverless 仪表板的 URL。

该 URL 是一次性使用的临时链接，会在 1 小时后过期，并且无需身份验证即可访问。

必须传递 AWS 连接 ID 或现有的 EMR Serverless 客户端。 如果传递了连接 ID，则使用该连接生成一个客户端。

airflow.providers.amazon.aws.links.emr.get_log_uri(*, cluster=None, emr_client=None, job_flow_id=None)[源代码]

检索 EMR 作业日志的 S3 URI。

需要描述集群调用的输出，或者 EMR 客户端和 job_flow_id 两者。

基类: airflow.providers.amazon.aws.links.base_aws.BaseAwsLink

用于构建 Amazon EMR Serverless 链接到 Spark 标准输出日志的辅助类。

name = 'Spark 驱动程序标准输出'[源代码]
key = 'emr_serverless_logs'[源代码]

格式化 AWS 服务链接。

某些 AWS 服务链接应在此情况下需要额外的转义，因此应覆盖此方法。

基类: airflow.providers.amazon.aws.links.base_aws.BaseAwsLink

用于构建 Amazon EMR Serverless 仪表板链接的辅助类。

name = 'EMR Serverless 仪表板'[源代码]
key = 'emr_serverless_dashboard'[源代码]

格式化 AWS 服务链接。

某些 AWS 服务链接应在此情况下需要额外的转义，因此应覆盖此方法。

基类: airflow.providers.amazon.aws.links.base_aws.BaseAwsLink

用于构建 Amazon EMR Serverless 日志的 S3 控制台链接的辅助类。

name = 'S3 日志'[源代码]
key = 'emr_serverless_s3_logs'[源代码]
format_str[源代码]

格式化 AWS 服务链接。

某些 AWS 服务链接应在此情况下需要额外的转义，因此应覆盖此方法。

基类: airflow.providers.amazon.aws.links.base_aws.BaseAwsLink

用于构建 Amazon EMR Serverless 日志的 CloudWatch 控制台链接的辅助类。

这是一个深度链接，用于筛选特定作业运行。

name = 'CloudWatch 日志'[源代码]
key = 'emr_serverless_cloudwatch_logs'[源代码]
format_str[源代码]

格式化 AWS 服务链接。

某些 AWS 服务链接应在此情况下需要额外的转义，因此应覆盖此方法。

此条目是否有帮助？