airflow.providers.amazon.aws.executors.batch.utils¶

属性¶

`CommandType`
`ExecutorConfigType`
`CONFIG_GROUP_NAME`
`CONFIG_DEFAULTS`

异常¶

BatchExecutorException

当 AWS Batch 生态系统中发生意外情况时抛出。

类¶

`BatchQueuedJob`	表示一个已排队的 Batch 作业。该作业将在下一次心跳中运行。
`BatchJobInfo`	包含当前正在运行的 Batch 作业的信息。
`BatchJob`	AWS Batch 作业的数据传输对象。
`BatchJobCollection`	用于管理正在运行的 Batch 作业的集合。
`BatchSubmitJobKwargsConfigKeys`	加载到 config 中且是有效的 Batch submit_job 参数的键。
`AllBatchConfigKeys`	加载到 config 中且与 Batch Executor 相关的所有键。

模块内容¶

airflow.providers.amazon.aws.executors.batch.utils.CommandType[source]¶

airflow.providers.amazon.aws.executors.batch.utils.ExecutorConfigType[source]¶

airflow.providers.amazon.aws.executors.batch.utils.CONFIG_GROUP_NAME = 'aws_batch_executor'[source]¶

airflow.providers.amazon.aws.executors.batch.utils.CONFIG_DEFAULTS[source]¶

class airflow.providers.amazon.aws.executors.batch.utils.BatchQueuedJob[source]¶

表示一个已排队的 Batch 作业。该作业将在下一次心跳中运行。

key: airflow.models.taskinstance.TaskInstanceKey[source]¶

command: CommandType[source]¶

queue: str[source]¶

executor_config: ExecutorConfigType[source]¶

attempt_number: int[source]¶

next_attempt_time: datetime.datetime[source]¶

class airflow.providers.amazon.aws.executors.batch.utils.BatchJobInfo[source]¶

包含当前正在运行的 Batch 作业的信息。

cmd: CommandType[source]¶

queue: str[source]¶

config: ExecutorConfigType[source]¶

class airflow.providers.amazon.aws.executors.batch.utils.BatchJob(job_id, status, status_reason=None)[source]¶

AWS Batch 作业的数据传输对象。

STATE_MAPPINGS[source]¶

job_id[source]¶

status[source]¶

status_reason = None[source]¶

get_job_state()[source]¶

返回作业的状态。

__repr__()[source]¶: 返回作业状态的可视化表示。

class airflow.providers.amazon.aws.executors.batch.utils.BatchJobCollection[source]¶

用于管理正在运行的 Batch 作业的集合。

key_to_id: dict[airflow.models.taskinstance.TaskInstanceKey, str][source]¶

id_to_key: dict[str, airflow.models.taskinstance.TaskInstanceKey][source]¶

id_to_failure_counts: dict[str, int][source]¶

id_to_job_info: dict[str, BatchJobInfo][source]¶

add_job(job_id, airflow_task_key, airflow_cmd, queue, exec_config, attempt_number)[source]¶

向集合添加作业。

pop_by_id(job_id)[source]¶

根据 Batch 作业 ID 从集合中删除作业。

failure_count_by_id(job_id)[source]¶

根据 Batch 作业 ID 获取作业失败的次数。

increment_failure_count(job_id)[source]¶

根据 Batch 作业 ID 增加失败计数器。

get_all_jobs()[source]¶

获取集合中的所有 AWS ARN。

__len__()[source]¶: 返回集合中的作业数量。

class airflow.providers.amazon.aws.executors.batch.utils.BatchSubmitJobKwargsConfigKeys[source]¶

基类: airflow.providers.amazon.aws.executors.utils.base_config_keys.BaseConfigKeys

加载到 config 中且是有效的 Batch submit_job 参数的键。

JOB_NAME = 'job_name'[source]¶

JOB_QUEUE = 'job_queue'[source]¶

JOB_DEFINITION = 'job_definition'[source]¶

EKS_PROPERTIES_OVERRIDE = 'eks_properties_override'[source]¶

NODE_OVERRIDE = 'node_override'[source]¶

class airflow.providers.amazon.aws.executors.batch.utils.AllBatchConfigKeys[source]¶

基类: BatchSubmitJobKwargsConfigKeys

加载到 config 中且与 Batch Executor 相关的所有键。

MAX_SUBMIT_JOB_ATTEMPTS = 'max_submit_job_attempts'[source]¶

AWS_CONN_ID = 'conn_id'[source]¶

SUBMIT_JOB_KWARGS = 'submit_job_kwargs'[source]¶

REGION_NAME = 'region_name'[source]¶

CHECK_HEALTH_ON_STARTUP = 'check_health_on_startup'[source]¶

exception airflow.providers.amazon.aws.executors.batch.utils.BatchExecutorException[source]¶

基类: Exception

当 AWS Batch 生态系统中发生意外情况时抛出。