Apache Kafka 连接

Apache Kafka 连接类型通过 confluent-kafka Python 包配置与 Apache Kafka 的连接。

默认连接 ID

Kafka 钩子和操作器默认使用 kafka_default,此连接非常简单,除了最简单的测试之外,不应假设它有用。

配置连接

连接配置为提供给 extra 字段的 json 可序列化字符串。 Confluent Kafka python 库 中描述了完整的参数列表。

如果您要从 Airflow UI 定义 Airflow 连接,则 extra 字段将被重命名为 配置字典

大多数操作器和钩子将检查至少 bootstrap.servers 键是否存在并且已设置为有效值。

此条目有帮助吗?