Apache Kafka 连接

Apache Kafka 连接类型通过 confluent-kafka Python 包配置与 Apache Kafka 的连接。

默认连接 ID

Kafka hooks 和 operators 默认使用 kafka_default,此连接非常基础,不应假定其对于最简单的测试之外的用途有用。

配置连接

连接配置为一个提供给 extra 字段的 JSON 可序列化字符串。error_cb 参数可以通过提供函数路径来指定回调函数,例如 \"module.callback_func\"。参数的完整列表在 Confluent Kafka Python 库 中描述。

如果您通过 Airflow UI 定义 Airflow 连接,extra 字段将被重命名为 Config Dict

大多数 operators 和 hooks 会检查 bootstrap.servers 键至少存在且其值有效。

此条目有帮助吗?