AirbyteTriggerSyncOperator¶

使用 AirbyteTriggerSyncOperator 来触发 Airbyte 中现有的 ConnectionId 同步作业。

警告

此操作符会触发 Airbyte 中的同步作业。如果再次触发，此操作符不能保证幂等性。您必须了解正在更新/同步的源（数据库、API 等）以及在 Airbyte 中执行操作的方法。

使用操作符¶

AirbyteTriggerSyncOperator 需要 connection_id，这是在 Airbyte 中创建的源和目标同步作业之间的 uuid 标识符。使用 airbyte_conn_id 参数指定用于连接到您的帐户的 Airbyte 连接。

Airbyte 为云和 OSS 用户提供了一种单一的身份验证方法。您需要提供 client_id 和 client_secret 以使用 Airbyte 服务器进行身份验证。

您可以通过两种方式在 Airflow 中使用操作符触发同步作业。第一种是同步过程。此操作符将启动 Airbyte 作业，并且该操作符管理作业状态。另一种方法是使用标志 async = True，以便操作符仅触发作业并返回传递给 AirbyteSensor 的 job_id。

一个使用同步方式的例子

tests/system/airbyte/example_airbyte_trigger_job.py[源代码]

    sync_source_destination = AirbyteTriggerSyncOperator(
        task_id="airbyte_sync_source_dest_example",
        connection_id=CONN_ID,
    )

一个使用异步方式的例子

tests/system/airbyte/example_airbyte_trigger_job.py[源代码]

    async_source_destination = AirbyteTriggerSyncOperator(
        task_id="airbyte_async_source_dest_example",
        connection_id=CONN_ID,
        asynchronous=True,
    )

    airbyte_sensor = AirbyteJobSensor(
        task_id="airbyte_sensor_source_dest_example",
        airbyte_job_id=async_source_destination.output,
    )