Artefactos de investigación para experimentos orientados a las personas en ingeniería de software: Una propuesta de estructura basada en las insignias de ACM

Abstract

El movimiento de Ciencia Abierta (Open Science, OS) promueve el valor de hacer públicos los artefactos de investigación (conjuntos de datos, scripts de análisis, guías, etc.) utilizados durante los estudios empíricos. La OS es ampliamente conocida en áreas como la Medicina o la Biología, donde el proceso de compartir artefactos de investigación está sujeto a protocolos estrictos. Desafortunadamente, en la Ingeniería de Software (Software Engineering, SE), este proceso se lleva a cabo de manera no sistemática, lo que da lugar a que los investigadores compartan material incompleto o inexacto, dificultando la reproducibilidad y replicabilidad de los estudios empíricos. No obstante, en los últimos años parece que la comunidad de Ingeniería de Software Empírica (Empirical Software Engineering, ESE) está adoptando algunas de las iniciativas propuestas por la OS, como la impulsada por la Association for Computing Machinery (ACM), que proporciona un sistema de insignias para evaluar la calidad de un artefacto de investigación. Este sistema de insignias ha sido adoptado por varias conferencias de SE como un método para evaluar los artefactos de investigación. Objetivos: Centrándose en los experimentos orientados a las personas (Human-Oriented Experiments, HOEs) en SE, cuyos artefactos de investigación son más complejos que los de los experimentos computacionales, este trabajo aplica la Investigación en Ciencia del Diseño (Design Science Research, DSR) con un doble propósito: (i) revisar el estado actual de la publicación de artefactos de investigación de HOEs mediante la evaluación de esta práctica en las revistas de ESE más relevantes, y (ii) proponer un esquema estructurado para los artefactos de investigación de HOEs, guiado por la mencionada política de insignias de la ACM.