AirbyteTriggerSyncOperator¶

使用 AirbyteTriggerSyncOperator 触发 Airbyte 中现有的 ConnectionId 同步作业。

警告

此操作符会触发 Airbyte 中的同步作业。如果再次触发，此操作符不保证幂等性。您必须了解要更新/同步的源（数据库、API 等）以及 Airbyte 中用于执行操作的方法。

使用操作符¶

AirbyteTriggerSyncOperator 需要 connection_id，这是在 Airbyte 中创建的源和目标同步作业之间的 uuid 标识符。使用 airbyte_conn_id 参数指定用于连接到您的帐户的 Airbyte 连接。

Airbyte 目前支持两种不同的 API。第一个是配置 API，它专门用于开源 Airbyte 实例。第二个是云 API，它用于 Airbyte 云服务。如果您使用的是 Airbyte 的云服务，则需要在操作符的参数中指定 api_type="cloud"。

您可以使用操作符以两种方式在 Airflow 中触发同步作业。第一种是同步过程。此操作符将启动 Airbyte 作业，并且操作符管理作业状态。另一种方法是使用标志 async = True，以便操作符仅触发作业并返回 job_id，传递给 AirbyteSensor。

使用同步方式的示例

tests/system/providers/airbyte/example_airbyte_trigger_job.py[来源]

    sync_source_destination = AirbyteTriggerSyncOperator(
        task_id="airbyte_sync_source_dest_example",
        connection_id=CONN_ID,
    )

使用异步方式的示例

tests/system/providers/airbyte/example_airbyte_trigger_job.py[来源]

    async_source_destination = AirbyteTriggerSyncOperator(
        task_id="airbyte_async_source_dest_example",
        connection_id=CONN_ID,
        asynchronous=True,
    )

    airbyte_sensor = AirbyteJobSensor(
        task_id="airbyte_sensor_source_dest_example",
        airbyte_job_id=async_source_destination.output,
    )