¿Modelos de lenguaje grandes para generar reglas, sí o no?

La ingeniería de sistemas críticos para la seguridad, como dispositivos médicos y sistemas de intervención en salud digital, es compleja, donde se necesita un compromiso a largo plazo con expertos en la materia (SMEs) para capturar el comportamiento esperado de los sistemas. En este artículo, presentamos un enfoque novedoso que aprovecha los Modelos de Lenguaje Grandes (LLMs), como GPT-3.5 y GPT-4, como un posible modelo del mundo para acelerar la ingeniería de sistemas de software. Este enfoque implica utilizar LLMs para generar reglas lógicas, que luego pueden ser revisadas y comentadas por SMEs antes de su implementación. Evaluamos nuestro enfoque utilizando un conjunto de reglas médicas, creado a partir del sistema de monitoreo de intervenciones pandémicas en colaboración con profesionales médicos durante COVID-19. Nuestros experimentos muestran que 1) los LLMs tienen un modelo del mundo que inicia la implementación, 2) los LLMs generaron un menor número de reglas en comparación con expertos, y 3) los LLMs no tienen la capacidad de generar umbrales para cada regla. Nuestro trabajo demuestra cómo los LLMs aumentan el proceso de elicitar requisitos al proporcionar acceso a un modelo del mundo para dominios.