Estudio comparativo de técnicas PEFT sobre modelos LLM para la generación de SQL a partir de lenguaje natural en entornos con recursos limitados

Abstract

Este trabajo presenta una evaluación comparativa de técnicas de ajuste fino eficiente en parámetros (PEFT) aplicadas a modelos de lenguaje de gran tamaño (LLM), con énfasis en su rendimiento para la tarea específica de generación de consultas SQL a partir de lenguaje natural (NL-to-SQL) en entornos con recursos computacionales limitados. Se analizan cuatro técnicas PEFT destacadas: LoRA, QLoRA, Prefix Tuning e (IA)³, utilizando como modelos base GPT-2 y LLAMA-7B. La evaluación considera tanto aspectos relacionados con la eficiencia computacional (tiempo de entrenamiento, consumo de memoria GPU y utilización de recursos) como métricas de rendimiento en la tarea de traducción NL-to-SQL (función de pérdida en entrenamiento y evaluación, convergencia, generalización y tiempos de inferencia). Este análisis concluye que técnicas como QLoRA y LoRA constituyen soluciones preferentes para entornos restringidos computacionalmente, proporcionando resultados robustos y eficientes, destacando por su bajo consumo de memoria GPU y rápida convergencia en la tarea de generación de consultas SQL desde lenguaje natural. Por otra parte, Prefix Tuning e (IA)³ presentan tiempos de entrenamiento significativamente mayores y requieren ajustes adicionales para alcanzar rendimientos comparables, haciendo su adopción menos viable en el tipo de escenario descrito sin ajustes profundos en hiperparámetros.