Apache Hive 到 Amazon DynamoDB¶

使用 HiveToDynamoDBOperator 传输将现有 Apache Hive 表的内容复制到现有的 Amazon DynamoDB 表。

先决条件任务¶

要使用这些操作器，您必须执行以下操作

使用 AWS 控制台或 AWS CLI 创建必要的资源。
通过 pip 安装 API 库。
pip install 'apache-airflow[amazon]'
详细信息请参阅 Airflow™ 安装
设置连接.

操作器¶

Apache Hive 到 Amazon DynamoDB 传输操作器¶

此操作器将记录从 Apache Hive 表复制到 Amazon DynamoDB 表。用户必须指定一个 HQL 查询作为过滤条件。

要获取更多信息，请访问： HiveToDynamoDBOperator

示例用法

tests/system/providers/amazon/aws/example_hive_to_dynamodb.py[源代码]

backup_to_dynamodb = HiveToDynamoDBOperator(
    task_id="backup_to_dynamodb",
    hiveserver2_conn_id=hive_connection_id,
    sql=HIVE_SQL,
    table_name=dynamodb_table_name,
    table_keys=[DYNAMODB_TABLE_HASH_KEY],
)

Apache Hive 到 Amazon DynamoDB¶

先决条件任务¶

操作器¶

Apache Hive 到 Amazon DynamoDB 传输操作器¶

参考¶