Del Texto al SQL: Revolucionando el Análisis de Datos con IA Generativa

El lenguaje SQL, esencial para la gestión de bases de datos, ha sido históricamente un desafío reservado para expertos. Sin embargo, la inteligencia artificial generativa está cambiando las reglas del juego al permitir que cualquier persona, sin conocimientos previos de SQL, pueda generar consultas con solo describir en lenguaje natural lo que necesita. Esta tarea, conocida como “text-to-SQL”, convierte instrucciones en lenguaje humano en consultas SQL precisas y semánticamente correctas, revolucionando el acceso a los datos y llevando el análisis empresarial al siguiente nivel.

Con la irrupción de los modelos de lenguaje grandes (LLMs), la generación de SQL basada en procesamiento del lenguaje natural (NLP) ha dado un salto cuántico. Estos modelos han demostrado una capacidad sorprendente para interpretar y convertir descripciones textuales en consultas SQL altamente precisas. No obstante, persisten algunos desafíos clave:

1. Ambigüedad del lenguaje humano: Mientras que SQL es estructurado y matemático, el lenguaje natural es flexible y a menudo ambiguo, lo que puede generar conversiones imprecisas.
2. Diversidad de bases de datos: Los datos no siempre residen en un único sistema, lo que requiere desarrollar capacidades de “text-to-SQL” adaptadas a múltiples plataformas.
3. Gestión de metadatos: Para generar SQL correcto, es crucial contar con información detallada sobre tablas y estructuras de datos, pero la recopilación de metadatos de calidad sigue siendo un reto.

A pesar de estos desafíos, la evolución de la IA generativa está marcando un antes y un después en la interacción con bases de datos. La capacidad de preguntar en lenguaje natural y obtener consultas SQL listas para ejecutarse no solo optimiza el acceso a la información, sino que también democratiza el análisis de datos, eliminando barreras técnicas y acelerando la toma de decisiones basada en datos.

El proceso, como se muestra en el diagrama anterior, inicia con una pregunta en lenguaje natural, como: ¿Cuántos trabajadores de T-Systems trabajan en España? Luego, esta pregunta se traduce a una consulta SQL, que es ejecutada por el motor SQL. Finalmente, la respuesta

LangChain es una potente herramienta de código abierto que traduce lenguaje natural a SQL, permitiendo que cualquiera, sin conocimientos técnicos, acceda a bases de datos simplemente escribiendo preguntas en texto.

Un momento ¿Cómo funciona?

Imagina que quieres obtener información de 5 usuarios en la base de datos Tsystems.db, almacenada en SQLite De forma tradicional, esto requeriría escribir una sentencia SELECT en SQL:

from langchain_community.utilities import SQLDatabase

db = SQLDatabase.from_uri("sqlite:///Chinook.db")
print(db.dialect)
print(db.get_usable_table_names())
db.run("SELECT UserId, Name FROM User LIMIT 5;")

para obtener la respuesta:

"[(1, ' Lukas Schneider'), (2, ‘Hannah Müller’), (3, ‘Felix Wagner’), (4, ‘Sophia Becker’), (5, ‘Jonas Hoffmann')]"

Sin embargo, podríamos expresar la consulta SQL en lenguaje natural de la siguiente manera:

from typing_extensions import Annotated


class QueryOutput(TypedDict):
    """Generated SQL query."""

    query: Annotated[str, ..., "Syntactically valid SQL query."]


def write_query(state: State):
    """Generate SQL query to fetch information."""
    prompt = query_prompt_template.invoke(
        {
            "dialect": db.dialect,
            "table_info": db.get_table_info(),
            "input": state["question"],
        }
    )
    structured_llm = llm.with_structured_output(QueryOutput)
    result = structured_llm.invoke(prompt)
    return {"query": result["query"]}

I usar la función Python write_query() para efectuar la consulta. Esto es:

write_query({"question": "Give me the first five users"})

{'query': ‘SELECT UserId, Name FROM User LIMIT 5;'}

Gracias a los modelos de lenguaje avanzados, el text-to-SQL está revolucionando la forma en que interactuamos con las bases de datos. Ahora, cualquier persona puede obtener información clave con solo hacer una pregunta en lenguaje natural, sin necesidad de escribir una sola línea de código. Esta tecnología no solo democratiza el acceso a los datos, sino que también acelera la toma de decisiones y optimiza los procesos empresariales. ¡El futuro del análisis de datos es más accesible, intuitivo y poderoso que nunca!”