Apache Hive 操作符¶

Apache Hive 数据仓库软件有助于使用 SQL 读取、写入和管理分布式存储中的大型数据集。可以将结构投影到已经存储的数据上。

HiveOperator¶

此操作符在特定的 Hive 数据库中执行 hql 代码或 hive 脚本。

tests/system/apache/hive/example_twitter_dag.py[源码]

    load_to_hive = HiveOperator(
        task_id=f"load_{channel}_to_hive",
        hql=(
            f"LOAD DATA INPATH '{hdfs_dir}{channel}/{file_name}'"
            f"INTO TABLE {channel}"
            f"PARTITION(dt='{dt}')"
        ),
    )

参考¶

更多信息请查看 Apache Hive 文档。