Google Cloud Life Sciences 运算符¶

Google Cloud Life Sciences 是一项在 Google Cloud 上执行一系列计算引擎容器的服务。它用于大规模处理、分析和注释基因组和生物医学数据。

先决条件任务¶

要使用这些运算符，您必须执行以下几项操作

使用 Cloud Console 选择或创建 Cloud Platform 项目。

为您的项目启用结算，如 Google Cloud 文档中所述。

启用 API，如 Cloud Console 文档中所述。
通过 pip 安装 API 库。
pip install 'apache-airflow[google]'
安装提供了详细信息。
设置 Google Cloud 连接.

管道配置¶

为了运行管道，需要配置请求正文。以下是包含单个操作的管道配置示例。

tests/system/google/cloud/life_sciences/example_life_sciences.py[源代码]

SIMPLE_ACTION_PIPELINE = {
    "pipeline": {
        "actions": [
            {"imageUri": "bash", "commands": ["-c", "echo Hello, world"]},
        ],
        "resources": {
            "regions": [f"{LOCATION}"],
            "virtualMachine": {
                "machineType": "n1-standard-1",
            },
        },
    },
}

管道也可以配置多个操作。

tests/system/google/cloud/life_sciences/example_life_sciences.py[源代码]

MULTI_ACTION_PIPELINE = {
    "pipeline": {
        "actions": [
            {
                "imageUri": "google/cloud-sdk",
                "commands": ["gsutil", "cp", f"gs://{BUCKET_NAME}/{FILE_NAME}", "/tmp"],
            },
            {"imageUri": "bash", "commands": ["-c", "echo Hello, world"]},
            {
                "imageUri": "google/cloud-sdk",
                "commands": [
                    "gsutil",
                    "cp",
                    f"gs://{BUCKET_NAME}/{FILE_NAME}",
                    f"gs://{BUCKET_NAME}/output.in",
                ],
            },
        ],
        "resources": {
            "regions": [f"{LOCATION}"],
            "virtualMachine": {
                "machineType": "n1-standard-1",
            },
        },
    }
}

阅读请求正文参数，以了解您可以在配置中包含的所有字段

运行管道¶

使用 LifeSciencesRunPipelineOperator 执行管道。

tests/system/google/cloud/life_sciences/example_life_sciences.py[源代码]

    simple_life_science_action_pipeline = LifeSciencesRunPipelineOperator(
        task_id="simple-action-pipeline",
        body=SIMPLE_ACTION_PIPELINE,
        project_id=PROJECT_ID,
        location=LOCATION,
    )

参考¶

有关更多信息，请查看