TriLoRA: Integrando SVD para la Personalización Avanzada de Estilo en Generación de Texto a Imagen

A medida que la tecnología de aprendizaje profundo continúa avanzando, los modelos de generación de imágenes, especialmente modelos como Stable Diffusion, están encontrando aplicaciones cada vez más extendidas en la creación de artes visuales. Sin embargo, estos modelos a menudo enfrentan desafíos como el sobreajuste, la falta de estabilidad en los resultados generados y las dificultades para capturar con precisión las características deseadas por los creadores durante el proceso de ajuste fino. En respuesta a estos desafíos, proponemos un método innovador que integra la Descomposición en Valores Singulares (SVD) en la estrategia de actualización de parámetros de Adaptación de Bajo Rango (LoRA), destinada a mejorar la eficiencia de ajuste fino y la calidad de salida de los modelos de generación de imágenes. Al incorporar SVD dentro del marco de LoRA, nuestro método no solo reduce efectivamente el riesgo de sobreajuste, sino que también mejora la estabilidad de las salidas del modelo y captura ajustes sutiles de características deseadas por los creadores con mayor precisión. Evaluamos nuestro método en múltiples conjuntos de datos y los resultados muestran que, en comparación con los métodos tradicionales de ajuste fino, nuestro enfoque mejora significativamente la capacidad de generalización del modelo y la flexibilidad creativa, manteniendo la calidad de generación. Además, este método mantiene el excelente rendimiento de LoRA bajo condiciones de recursos limitados, permitiendo mejoras significativas en la calidad de generación de imágenes sin sacrificar la eficiencia original y las ventajas de recursos.