Amazon QuickSight¶

Amazon QuickSight 是一项快速的商业分析服务，用于构建可视化效果、执行临时分析以及快速从您的数据中获取业务见解。Amazon QuickSight 无缝发现 AWS 数据源，使组织能够扩展到数十万用户，并通过使用 Amazon QuickSight 超快、并行、内存计算引擎 (SPICE) 提供快速响应的查询性能。

先决条件任务¶

要使用这些操作符，您必须执行以下几项操作

使用 AWS 控制台或 AWS CLI 创建必要的资源。
通过 pip 安装 API 库。
pip install 'apache-airflow[amazon]'
详细信息请参阅 Airflow® 的安装
设置连接.

通用参数¶

aws_conn_id

引用 Amazon Web Services 连接 ID。如果此参数设置为 None，则将使用默认的 boto3 行为，而无需查找连接。否则，使用存储在连接中的凭据。默认值：aws_default

region_name

AWS 区域名称。如果此参数设置为 None 或省略，则将使用来自 AWS 连接额外参数的 region_name。否则，使用指定的值代替连接值。默认值：None

verify

是否验证 SSL 证书。

False - 不验证 SSL 证书。
path/to/cert/bundle.pem - 要使用的 CA 证书包的文件名。如果要使用与 botocore 使用的 CA 证书包不同的 CA 证书包，则可以指定此参数。

如果此参数设置为 None 或省略，则将使用来自 AWS 连接额外参数的 verify。否则，使用指定的值代替连接值。默认值：None

botocore_config

提供的字典用于构造 botocore.config.Config。此配置可用于配置避免限制异常、超时等。

示例，有关参数的更多详细信息，请参阅 botocore.config.Config¶

{
    "signature_version": "unsigned",
    "s3": {
        "us_east_1_regional_endpoint": True,
    },
    "retries": {
      "mode": "standard",
      "max_attempts": 10,
    },
    "connect_timeout": 300,
    "read_timeout": 300,
    "tcp_keepalive": True,
}

如果此参数设置为 None 或省略，则将使用来自 AWS 连接额外参数的 config_kwargs。否则，使用指定的值代替连接值。默认值：None

注意

指定一个空字典 {} 将覆盖 botocore.config.Config 的连接配置

操作符¶

Amazon QuickSight 创建摄取¶

QuickSightCreateIngestionOperator 为数据集创建并启动新的 SPICE 摄取。该操作符还会刷新现有的 SPICE 数据集。

tests/system/amazon/aws/example_quicksight.py

create_ingestion = QuickSightCreateIngestionOperator(
    task_id="create_ingestion",
    data_set_id=dataset_id,
    ingestion_id=ingestion_id,
)

传感器¶

Amazon QuickSight 摄取传感器¶

QuickSightSensor 等待 Amazon QuickSight 创建摄取，直到其达到最终状态。

tests/system/amazon/aws/example_quicksight.py

await_job = QuickSightSensor(
    task_id="await_job",
    data_set_id=dataset_id,
    ingestion_id=ingestion_id,
)

参考¶

QuickSight 的 Boto3 库文档