airflow.providers.pinecone.operators.pinecone¶

类¶

`PineconeIngestOperator`	将向量嵌入数据摄取到 Pinecone。
`CreatePodIndexOperator`	在 Pinecone 中创建基于 Pod 的索引。
`CreateServerlessIndexOperator`	在 Pinecone 中创建无服务器索引。

模块内容¶

class airflow.providers.pinecone.operators.pinecone.PineconeIngestOperator(*, conn_id=PineconeHook.default_conn_name, index_name, input_vectors, namespace='', batch_size=None, upsert_kwargs=None, **kwargs)[源代码]¶

基类: airflow.models.BaseOperator

将向量嵌入数据摄取到 Pinecone。

另请参阅

有关如何使用此 Operator 的更多信息，请参阅指南：将数据摄取到 Pinecone 索引中

参数:

conn_id (str) – 连接到 Pinecone 时使用的连接 ID。
index_name (str) – Pinecone 索引的名称。
input_vectors (list[pinecone.Vector] | list[tuple] | list[dict]) – 要摄取的数据，形式为向量列表、元组列表或字典列表。
namespace (str) – 要写入的命名空间。如果未指定，则使用默认命名空间。
batch_size (int | None) – 每个批次中要执行 upsert 操作的向量数量。
upsert_kwargs (dict | None) –

另请参阅

https://docs.pinecone.io/reference/upsert

template_fields: collections.abc.Sequence[str] = ('index_name', 'input_vectors', 'namespace')[源代码]¶

upsert_kwargs[源代码]¶

conn_id = 'pinecone_default'[源代码]¶

index_name[源代码]¶

namespace = ''[源代码]¶

batch_size = None[源代码]¶

input_vectors[源代码]¶

property hook: airflow.providers.pinecone.hooks.pinecone.PineconeHook[源代码]¶

返回 PineconeHook 的实例。

execute(context)[源代码]¶

使用 PineconeHook 将数据摄取到 Pinecone。

class airflow.providers.pinecone.operators.pinecone.CreatePodIndexOperator(*, conn_id=PineconeHook.default_conn_name, index_name, dimension, environment=None, replicas=None, shards=None, pods=None, pod_type='p1.x1', metadata_config=None, source_collection=None, metric='cosine', timeout=None, **kwargs)[源代码]¶

基类: airflow.models.BaseOperator

在 Pinecone 中创建基于 Pod 的索引。

另请参阅

有关如何使用此 Operator 的更多信息，请参阅指南：创建基于 Pod 的索引

参数:

conn_id (str) – 连接到 Pinecone 时使用的连接 ID。
index_name (str) – Pinecone 索引的名称。
dimension (int) – 要索引的向量的维度。
environment (str | None) – 创建索引时使用的环境。
replicas (int | None) – 使用的副本数量。
shards (int | None) – 使用的分片数量。
pods (int | None) – 使用的 Pod 数量。
pod_type (str) – 使用的 Pod 类型。默认为 p1.x1
metadata_config (dict | None) – 使用的元数据配置。
source_collection (str | None) – 使用的源集合。
metric (str) – 使用的指标。默认为 cosine。
timeout (int | None) – 使用的超时时间。

conn_id = 'pinecone_default'[源代码]¶

index_name[源代码]¶

dimension[源代码]¶

environment = None[源代码]¶

replicas = None[源代码]¶

shards = None[源代码]¶

pods = None[源代码]¶

pod_type = 'p1.x1'[源代码]¶

metadata_config = None[源代码]¶

source_collection = None[源代码]¶

metric = 'cosine'[源代码]¶

timeout = None[源代码]¶

property hook: airflow.providers.pinecone.hooks.pinecone.PineconeHook[源代码]¶

execute(context)[源代码]¶

创建 Operator 时派生。

Context 与渲染 jinja 模板时使用的字典相同。

参考 get_template_context 获取更多 context。

class airflow.providers.pinecone.operators.pinecone.CreateServerlessIndexOperator(*, conn_id=PineconeHook.default_conn_name, index_name, dimension, cloud, region=None, metric=None, timeout=None, **kwargs)[源代码]¶