Qubole Check¶
Qubole 是一个开放、简单、安全的机器学习、流媒体和即席分析数据湖平台。Qubole 提供了一个建立在 Amazon Web Services、Microsoft 和 Google Clouds 上的大数据分析自助服务平台。
Airflow 提供操作符,用于在 QDS 上执行任务(命令)并对 Qubole 命令执行检查。
执行检查¶
要对 Qubole 命令执行检查,可以使用 QuboleCheckOperator
。
操作符期望在 QDS 上执行的命令。默认情况下,使用 Python bool
转换对该 Qubole 命令结果的第一行的每个值进行评估。如果任何值返回 False
,则检查失败并出错。