Apache Cassandra 操作符¶
Apache Cassandra 是一个开源的分布式 NoSQL 数据库,当您需要在不牺牲性能的情况下实现可扩展性和高可用性时可以使用它。它在商用硬件或云基础设施上提供线性可扩展性和容错能力,使其成为任务关键型数据的完美平台。它支持具有较低延迟的多数据中心复制。
先决条件¶
要使用操作符,您必须配置一个 Cassandra 连接。
等待创建表¶
CassandraTableSensor
操作符用于检查 Cassandra 集群中是否存在表。
使用 table
参数(在下面的示例中的 default_args
中设置)来轮询,直到找到提供的表。使用点表示法来定位特定的键空间。
等待创建记录¶
CassandraRecordSensor
操作符用于检查 Cassandra 集群中是否存在表的记录。
使用 table
参数(在下面的示例中的 default_args
中设置)来提及记录的键空间和表。使用点表示法来定位特定的键空间。
使用 keys
参数来轮询,直到找到提供的记录。记录的存在是使用键值对来识别的。在给定的示例中,我们正在查找列 p1
中的值 v1
和列 p2
中的值 v2
。
这些传感器的示例用法¶
with DAG(
dag_id=DAG_ID,
schedule=None,
start_date=datetime(2021, 1, 1),
default_args={"table": "keyspace_name.table_name"},
catchup=False,
tags=["example"],
) as dag:
table_sensor = CassandraTableSensor(task_id="cassandra_table_sensor")
record_sensor = CassandraRecordSensor(task_id="cassandra_record_sensor", keys={"p1": "v1", "p2": "v2"})
参考¶
更多信息,请查看 Cassandra 查询语言 (CQL) SELECT 语句。