SAMStyler: Mejorando la Creatividad Visual Con Transferencia de Estilo Neural y el Modelo Segment Anything (SAM)

La Transferencia de Estilo Neural (NST) es una técnica popular de visión por computadora donde el contenido de una imagen se mezcla con el estilo de otra, lo que resulta en una imagen fusionada con ciertas propiedades de ambas imágenes originales. Este enfoque tiene aplicaciones prácticas en varios dominios y ha atraído una atención significativa tanto en la industria como en la academia. Una aplicación interesante de esta técnica es la transferencia de estilo segmentada, donde se utiliza un algoritmo de segmentación para localizar objetos dentro de una imagen y luego se realiza el método de transferencia de estilo localmente, produciendo imágenes con diferentes estilos para diferentes objetos. Este enfoque abre posibilidades para crear composiciones visualmente impactantes al combinar sin problemas varios estilos artísticos en objetos específicos dentro de una imagen, permitiendo un nuevo nivel de expresión creativa. Este artículo propone un método novedoso que combina el Modelo Segment Anything (SAM), un modelo de segmentación de imágenes basado en transformadores de visión de última generación desarrollado por Facebook, con la transferencia de estilo. Nuestro enfoque incluye la realización de la transferencia de estilo localizada en regiones de segmentación seleccionadas de una imagen utilizando algoritmos clásicos de transferencia de estilo. Para asegurar transiciones suaves entre el borde estilizado y el no estilizado, también desarrollamos nuestra función de pérdida con una técnica de suavizado de bordes. Los resultados experimentales demuestran la robustez y efectividad de la metodología propuesta, incluida la capacidad de infundir múltiples estilos artísticos en diferentes objetos dentro de una imagen. Las contribuciones de este trabajo incluyen la integración de SAM con la transferencia de estilo, la propuesta de una nueva función de pérdida, la evaluación de la transferencia de estilo segmentada en múltiples regiones de contenido, la comparación con enfoques de última generación y la experimentación con múltiples imágenes de estilo para diversas estilizaciones. Nuestro enfoque principal se centra en crear un modelo que funcione como un pintor digital en un amplio rango de géneros e estilos artísticos.