Google Cloud Storage 传输到 Samba 操作符¶

Google 有一项服务 Google Cloud Storage。此服务用于存储来自各种应用程序的大量数据。Samba 是 Linux 和 Unix 的标准 Windows 互操作性程序套件。Samba 为使用 SMB/CIFS 协议的客户端提供了安全、稳定和快速的文件和打印服务。

操作符¶

使用 GCSToSambaOperator 操作符在 Google Storage 和 Samba 之间传输文件。

使用 source_bucket, source_object, destination_path, impersonation_chain 的 Jinja 模板来动态定义值。

复制单个文件¶

以下操作符复制单个文件。

tests/system/samba/example_gcs_to_samba.py[源码]

copy_file_from_gcs_to_samba = GCSToSambaOperator(
    task_id="file-copy-gcs-to-samba",
    samba_conn_id=SMB_CONN,
    source_bucket=BUCKET_NAME,
    source_object=GCS_SRC_FILE,
    destination_path=DESTINATION_PATH_1,
)

移动单个文件¶

要移动文件，请使用 move_object 参数。一旦文件复制到 SMB，Google Storage 中的原始文件将被删除。 destination_path 参数定义 Samba 服务器上文件的完整路径。

tests/system/samba/example_gcs_to_samba.py[源码]

move_file_from_gcs_to_samba = GCSToSambaOperator(
    task_id="file-move-gcs-to-samba",
    samba_conn_id=SMB_CONN,
    source_bucket=BUCKET_NAME,
    source_object=GCS_SRC_FILE_IN_DIR,
    destination_path=DESTINATION_PATH_1,
    move_object=True,
)

复制目录¶

在 source_path 参数中使用 wildcard 来复制目录。

tests/system/samba/example_gcs_to_samba.py[源码]

copy_dir_from_gcs_to_samba = GCSToSambaOperator(
    task_id="dir-copy-gcs-to-samba",
    samba_conn_id=SMB_CONN,
    source_bucket=BUCKET_NAME,
    source_object=GCS_SRC_DIR,
    destination_path=DESTINATION_PATH_2,
)

移动特定文件¶

在 source_path 参数中使用 wildcard 来移动特定文件。 destination_path 定义前缀到所有复制文件的路径。

tests/system/samba/example_gcs_to_samba.py[源码]

move_dir_from_gcs_to_samba = GCSToSambaOperator(
    task_id="dir-move-gcs-to-samba",
    samba_conn_id=SMB_CONN,
    source_bucket=BUCKET_NAME,
    source_object=GCS_SRC_DIR,
    destination_path=DESTINATION_PATH_3,
    keep_directory_structure=False,
)