Desarrollo de un sistema de análisis automático de términos y condiciones de software mediante el uso de modelos de lenguaje extenso (LLMS)

Abstract

Las aplicaciones SaaS tienen Acuerdos de Cliente (CA) que son complicados de entender para los usuarios. De hecho, los usuarios no están motivados a leer los CA, aunque es importante conocer cuáles son sus obligaciones, derechos y prohibiciones en relación con la aplicación SaaS. Objetivo: Desarrollar un sistema automatizado basado en Modelos de Lenguaje Grandes (LLMs) para analizar y extraer cláusulas clave de los términos y condiciones del software, permitiendo a los usuarios entender rápidamente sus derechos. Método: Se desarrolló una aplicación avanzada basada en LLM utilizando el modelo llama-3.2-3b-instruct, implementado con FastAPI y LM Studio para la ejecución local del modelo, garantizando la privacidad de datos y un procesamiento eficiente. Para evaluar los resultados, se analizaron 19 documentos, generando 48 respuestas individuales. Se emplearon Evaluadores Basados en Modelos para evaluar el rendimiento del sistema en múltiples dimensiones críticas utilizando el framework G-Eval. Resultados: El sistema de análisis automatizado demostró un rendimiento notable: Precisión de Contexto 84,68 %, Relevancia de Respuesta 88,62 %, Fidelidad del Documento 75,64 %, Recuperación de Contexto 64,57 % y Puntuación de Rendimiento Global 79,21 %. Estas métricas revelan la capacidad del sistema para transformar documentos legales complejos en información comprensible, cerrando la brecha entre el lenguaje legal técnico y la comprensión del usuario. Conclusiones: Los resultados validan el potencial de los modelos de lenguaje avanzados para simplificar los términos y condiciones del software. Con alta relevancia de respuesta (86,77 %) y precisión de contexto (82,92 %), el sistema muestra un potencial significativo para democratizar el acceso a la información legal.