Apache Kafka 连接¶
Apache Kafka 连接类型通过 confluent-kafka Python 包配置与 Apache Kafka 的连接。
默认连接 ID¶
Kafka 钩子和操作符默认使用 kafka_default，此连接非常基础，不应假定它对于最简单的测试以外的用途有用。
配置连接¶
连接配置为提供给 extra 字段的 JSON 可序列化字符串。error_cb 参数可用于通过提供函数路径来指定回调函数。例如 "module.callback_func"。参数的完整列表在 Confluent Kafka python 库 中描述。
如果您从 Airflow UI 定义 Airflow 连接，extra 字段将重命名为 Config Dict。
大多数操作符和钩子将检查至少存在 bootstrap.servers 键，并且已将值设置为有效值。