Apache Pig 算子¶

Apache Pig 是一个用于分析大型数据集的平台，它包含一种用于表达数据分析程序的高级语言，以及用于评估这些程序的基础设施。Pig 程序适合进行大量的并行化，这反过来又使它们能够处理非常大的数据集。

使用 PigOperator 来执行 Pig 脚本。

tests/system/providers/apache/pig/example_pig.py[源代码]

    run_this = PigOperator(
        task_id="run_example_pig_script",
        pig="ls /;",
        pig_opts="-x local",
    )