Apache Hive 操作器¶

Apache Hive 数据仓库软件有助于使用 SQL 读取、写入和管理驻留在分布式存储中的大型数据集。可以将结构投影到已存储的数据上。

HiveOperator¶

此操作器在特定的 Hive 数据库中执行 hql 代码或 hive 脚本。

tests/system/providers/apache/hive/example_twitter_dag.py[源代码]

    load_to_hive = HiveOperator(
        task_id=f"load_{channel}_to_hive",
        hql=(
            f"LOAD DATA INPATH '{hdfs_dir}{channel}/{file_name}'"
            f"INTO TABLE {channel}"
            f"PARTITION(dt='{dt}')"
        ),
    )

参考¶

有关更多信息，请查看 Apache Hive 文档。