Spatial Scaper: Uma Biblioteca para Simular e Aumentar Paisagens Sonoras para Localização e Detecção de Eventos Sonoros em Ambientes Realistas

A localização e detecção de eventos sonoros (SELD) é uma tarefa importante na escuta máquina. Avanços significativos dependem de dados simulados com eventos sonoros em salas específicas e etiquetas espácio-temporais fortes. Os dados de SELD são simulados através da convolução de respostas ao impulso de sala localizadas espacialmente (RIRs) com formas de onda de som para colocar eventos sonoros em uma paisagem sonora. No entanto, as RIRs exigem coleta manual em salas específicas. Apresentamos SpatialScaper, uma biblioteca para simulação e aumento de dados de SELD. Em comparação com ferramentas existentes, o SpatialScaper emula salas virtuais por meio de parâmetros como tamanho e absorção das paredes. Isso permite a colocação parametrizada (incluindo movimento) de fontes sonoras de primeiro e segundo plano. O SpatialScaper também inclui pipelines de aumento de dados que podem ser aplicados a dados de SELD existentes. Como estudo de caso, usamos o SpatialScaper para adicionar salas aos dados de SELD do DCASE. Treinar um modelo com nossos dados levou a melhorias progressivas de desempenho como uma função direta da diversidade acústica. Esses resultados mostram que o SpatialScaper é valioso para treinar modelos SELD robustos.