Estudio comparativo de técnicas PEFT sobre modelos LLM para la generación de SQL a partir de lenguaje natural en entornos con recursos limitados - Carrasco-Martínez, Antoni; Molera-Gómez, Iván (My University, 2026)
Este trabajo presenta una evaluación comparativa de técnicas de ajuste fino eficiente en parámetros (PEFT) aplicadas a modelos de lenguaje de gran tamaño (LLM), con énfasis en su rendimiento para la tarea específica de generación de consultas SQL a partir de lenguaje natural (NL-to-SQL) en entornos con recursos computacionales limitados. Se analizan cuatro técnicas PEFT destacadas: LoRA, QLoRA, Prefix Tuning e (IA)³, utilizando como modelos base GPT-2 y LLAMA-7B. La evaluación considera tanto aspectos relacionados con la eficiencia computacional (tiempo de entrenamiento, consumo de memoria GPU y utilización de recursos) como métricas de rendimiento en la tarea de traducción NL-to-SQL (función de pérdida en entrenamiento y evaluación, convergencia, generalización y tiempos de inferencia). Este análisis concluye que técnicas como QLoRA y LoRA constituyen soluciones preferentes para entornos restringidos computacionalmente, proporcionando resultados robustos y eficientes, destacando por su bajo consumo de memoria GPU y rápida convergencia en la tarea de generación de consultas SQL desde lenguaje natural. Por otra parte, Prefix Tuning e (IA)³ presentan tiempos de entrenamiento significativamente mayores y requieren ajustes adicionales para alcanzar rendimientos comparables, haciendo su adopción menos viable en el tipo de escenario descrito sin ajustes profundos en hiperparámetros.
This study presents a comparative evaluation of parameter-efficient fine-tuning techniques (PEFT) applied to large language models (LLMs), with an emphasis on their performance for the specific task of generating SQL queries from natural language (NL-to-SQL) in computationally constrained environments. Four prominent PEFT techniques are analyzed: LoRA, QLoRA, Prefix Tuning, and (IA)³, using GPT-2 and LLAMA-7B as base models. The evaluation considers both aspects related to computational efficiency (training time, GPU memory consumption, and resource utilization) and performance metrics in the NL-to-SQL translation task (loss function in training and evaluation, convergence, generalization, and inference times). This analysis concludes that techniques such as QLoRA and LoRA constitute preferable solutions for computationally constrained environments, providing robust and efficient results, standing out for their low GPU memory consumption and fast convergence in the task of generating SQL queries from natural language. On the other hand, Prefix Tuning and (AI)³ present significantly longer training times and require additional tuning to achieve comparable performance, making their adoption less viable in the described scenario without a deeper hyperparameter tuning.
Keywords: PEFT; LLM; NL-to-SQL; fine-tuning eficiente; recursos computacionales limitados; efficient fine-tuning; limited computational resources; Máster Universitario en Inteligencia Artificial