AWS S3 Vectors, nueva herramienta para guardar vectores

Ya comentamos en un post anterior que los vectores tenían valor. Parece que la industria del cloud lo ha visto claro, y quieren abrirse a nuevas oportunidades de negocio, después de esta escalada de la IA.

AWS ha lanzado una nueva herramienta llamada S3 Vectors, que permite a los usuarios almacenar y gestionar vectores de manera eficiente en la nube. Esta herramienta está diseñada para facilitar el trabajo con modelos de IA y machine learning, que a menudo requieren el manejo de grandes volúmenes de datos en forma de vectores.

Con S3 Vectors, los desarrolladores pueden aprovechar la escalabilidad y durabilidad de Amazon S3, al tiempo que obtienen funcionalidades específicas para el manejo de vectores. Esto incluye la capacidad de realizar búsquedas y consultas avanzadas sobre los datos vectoriales, así como integraciones con otros servicios de AWS para el procesamiento y análisis de datos.

Esta nueva oferta de AWS es un claro indicativo de cómo la industria está evolucionando para adaptarse a las necesidades cambiantes de los desarrolladores y las empresas que buscan aprovechar el potencial de la IA y el machine learning.

Conceptos clave de S3 Vectors

S3 Vectors introduce varios conceptos clave que son importantes para entender su funcionamiento, veamos cuáles son:

• Vector bucket: Un vector bucket es un nuevo tipo de bucket en Amazon S3 que está optimizado para almacenar y gestionar vectores. A diferencia de los buckets tradicionales, los vector buckets están diseñados específicamente para manejar datos en forma de vectores, lo que permite una mayor eficiencia en las operaciones de búsqueda y consulta.
• Vector index: Un vector index es el recurso que permite realizar búsquedas eficientes sobre los vectores almacenados en un vector bucket. Este índice facilita la recuperación rápida de vectores similares o relacionados, lo que es esencial para aplicaciones de IA y machine learning. Cada index tiene una serie de parámetros que definen cómo se almacenan y gestionan los vectores, incluyendo la métrica de similitud utilizada para las búsquedas y la dimensionalidad de los vectores.
• Vectors: Los vectores son representaciones numéricas de datos que capturan características y relaciones semánticas. En el contexto de S3 Vectors, los vectores son los datos que se almacenan y gestionan dentro de un vector index, permitiendo realizar operaciones de búsqueda y análisis sobre ellos.

Ejemplo de uso de S3 Vectors

Para ilustrar cómo se utiliza S3 Vectors, consideremos un ejemplo práctico. Supongamos que queremos almacenar y buscar vectores que representan textos. Podríamos usar el metodo put_vectors para añadir vectores a un vector index, y luego utilizar el método query_vectors para buscar vectores similares.

Veamos un ejemplo de código en Python que muestra cómo interactuar con S3 Vectors:

import boto3
import json

# Creamos el cliente de S3 Vectors
s3vectors = boto3.client("s3vectors", region_name="us-west-2")

texts = [
    "El cloud computing es una tecnología que permite el acceso a recursos informáticos a través de Internet.",
    "Aprendo cloud computing con la Cátedra Cloud de la URV.",
    "Desarrollar aplicaciones en la nube es una habilidad valiosa en el mercado laboral."
]

# Generamos los embeddings (vectores)
embeddings = []
for text in texts:
    embeddings.append(generate_embedding(text))

# Escribimos los embeddings en el vector index con metadatos.
s3vectors.put_vectors(
    vectorBucketName="media-embeddings",   
    indexName="frases",   
    vectors=[
        {
            "key": "frase_1",
            "data": {"float32": embeddings[0]},
            "metadata": {"source_text": texts[0], "genre": "tecnologia"}
        },
        {
            "key": "frase_2",
            "data": {"float32": embeddings[1]},
            "metadata": {"source_text": texts[1], "genre": "feedback"}
        },
        {
            "key": "frase_3",
            "data": {"float32": embeddings[2]},
            "metadata": {"source_text": texts[2], "genre": "tecnologia"}
        }
    ]
)

# Generamos un vector de consulta para buscar frases similares.
input_text = "¿Que es el cloud computing?"

embedding = generate_embedding(input_text)

# Query al vector index.
response = s3vectors.query_vectors(
    vectorBucketName="media-embeddings",
    indexName="frases",
    queryVector={"float32": embedding}, 
    topK=3, 
    returnDistance=True,
    returnMetadata=True
)
# Mostramos los resultados de la consulta.
print(json.dumps(response["vectors"], indent=2))

En este ejemplo, primero creamos un cliente de S3 Vectors y generamos embeddings para una lista de textos. Luego, utilizamos el método put_vectors para almacenar estos vectores en un vector index, junto con metadatos relevantes. Finalmente, generamos un vector de consulta a partir de un texto de entrada y realizamos una búsqueda en el vector index utilizando el método query_vectors, obteniendo los vectores más similares junto con sus metadatos.

Conclusión

S3 Vectors es una herramienta poderosa que permite a los desarrolladores gestionar y buscar vectores de manera eficiente en la nube. Con su capacidad para manejar grandes volúmenes de datos vectoriales y realizar búsquedas avanzadas.

Esta herramienta abre nuevas posibilidades para aplicaciones de IA y machine learning, facilitando el trabajo con datos complejos y mejorando la eficiencia en el procesamiento de información.

Si estás interesado en explorar más sobre S3 Vectors, puedes consultar la documentación oficial de AWS para obtener más detalles sobre su funcionamiento y características.

¿Y tú, has probado S3 Vectors en tus proyectos? ¿Qué opinas sobre su utilidad para el manejo de vectores? ¡Déjanos tu opinión en los comentarios!