Curar datos sintéticos fundamentados con perspectivas globales para una IA equitativa

El desarrollo de modelos de IA robustos depende en gran medida de la calidad y variedad de los datos de entrenamiento disponibles. En campos donde la escasez de datos es prevalente, la generación de datos sintéticos ofrece una solución vital. En este documento, introducimos un enfoque novedoso para crear conjuntos de datos sintéticos, fundamentado en la diversidad del mundo real y enriquecido a través de la diversificación estratégica. Sintetizamos datos utilizando una colección comprensiva de artículos de noticias que abarcan 12 idiomas y provienen de 125 países, para asegurar una amplitud de representaciones lingüísticas y culturales. A través de la diversificación temática impuesta, la traducción y la resumación, el conjunto de datos resultante refleja con precisión las complejidades del mundo real y aborda el problema de la subrepresentación en conjuntos de datos tradicionales. Esta metodología, aplicada inicialmente al Reconocimiento de Entidades Nombradas (NER), sirve como modelo para numerosas disciplinas de IA donde la diversificación de datos es crítica para la generalización. Los resultados preliminares demuestran mejoras sustanciales en el rendimiento en puntos de referencia tradicionales de NER, de hasta un 7.3%, destacando la efectividad de nuestros datos sintéticos en imitar los ricos y variados matices de las fuentes de datos globales. Este documento describe las estrategias empleadas para sintetizar conjuntos de datos diversos y proporciona un conjunto de datos curado para NER.