Designer OBI : génération de caractères artistiques d'inscriptions sur os oracle en mode zéro-shot avec transfert de style multimodal

La génération de caractères artistiques d'Inscriptions sur Os Oracle (OBI) combine des caractères anciens avec l'intelligence artificielle pour créer des œuvres d'art ayant un patrimoine culturel et un impact visuel. La création actuelle repose sur des compétences manuelles spécialisées et longues. Nous proposons OBI-Designer, une méthode zéro-shot pour créer automatiquement des caractères d'art OBI basée sur des modèles Vision-Language pré-entraînés. OBI-Designer utilise un pipeline en deux étapes : la synthèse de glyphes et la synthèse de textures. La phase de synthèse de glyphes introduit une méthode de vectorisation d'image axée sur le sens basée sur l'Interval Score Matching (ISM) pour optimiser les contours des caractères, en utilisant des fonctions de perte supplémentaires pour garantir la lisibilité. La phase de synthèse de textures stylise les glyphes en utilisant ControlNet et un affinage LoRA. Des expériences approfondies démontrent l'efficacité de notre méthode, atteignant une précision de reconnaissance Top-1 de 93,8% et se classant au plus haut dans les études utilisateurs (4,20 sur 5). OBI-Designer promeut en outre la combinaison de la synthèse artistique oracle et de l'intelligence artificielle.