Un conjunto de datos de palabras de libros antiguos manchúes para OCR

Los libros antiguos manchúes llevan el contexto histórico y la esencia cultural de la Dinastía Qing, sirviendo como un patrimonio indispensable e importante en el desarrollo de la civilización china. Debido a los desafíos en la interpretación de estos textos, particularmente la dificultad en el reconocimiento de palabras manchúes, el estudio del reconocimiento de palabras manchúes basado en el aprendizaje profundo es particularmente importante. Sin embargo, los modelos de aprendizaje profundo dependen en gran medida de conjuntos de datos anotados de alta calidad y a gran escala durante el entrenamiento. Para abordar esto, este estudio construye un conjunto de datos de palabras de libros antiguos manchúes de alta calidad y diverso. Dadas las limitaciones de los métodos tradicionales de segmentación para la recolección de datos, como los altos costos y la naturaleza que consume tiempo de la anotación manual, este conjunto de datos adopta un enfoque semi-automatizado, combinando tecnología asistida por computadora y verificación manual para lograr una extracción efectiva de palabras. Sobre esta base, también se introdujo un mecanismo de revisión de calidad de imagen y anotación para eliminar sistemáticamente muestras borrosas, inclinadas y mal cortadas para garantizar la claridad de las imágenes y la precisión y consistencia de las anotaciones. Con base en la serie de libros antiguos raros en manchú y chino alojados en la Biblioteca Nacional, este estudio extrae un total de 24,280 imágenes de palabras de libros antiguos manchúes, cubriendo 2,428 palabras únicas en manchú, con 10 imágenes correspondientes a cada palabra. En el proceso de recolección y recopilación de datos, encontramos que este conjunto de datos es la colección más grande de imágenes de palabras manchúes hasta la fecha, proporcionando una sólida base de datos para investigaciones relacionadas.