Aprimoramento de fala para sistemas de entrada-saída ambisonics: Modelagem de reverberação espaço-temporal e uma estrutura de filtragem neural

Preservar pistas espaciais no aprimoramento da fala é crucial para alcançar tanto a inteligibilidade quanto uma impressão de "estar presente" na comunicação de áudio ambisonics dominada pelo alto-falante. O aprimoramento de fala baseado em dados para sistemas de entrada-saída ambisonics enfrenta dois desafios principais. Primeiro, projetar o sinal alvo para modelagem de reverberação apenas do ponto de vista temporal, como foi feito em cenários de canal único, tende a degradar a percepção espacial. Segundo, a adequação de várias formulações de matriz de filtro para diferentes sinais alvo não foi estudada sistematicamente. Para abordar o design do sinal alvo, o formulamos como um problema de modelagem de resposta a impulso de sala ambisonics, e propomos uma modelagem espacial baseada na diretividade máxima, bem como uma variante que passa sem perdas o componente omnidirecional. Para estimar esses sinais alvo, estabelecemos uma estrutura de filtragem neural, englobando tanto o domínio harmônico esférico quanto o domínio de onda plana, com três parametrizações de matriz de filtro: máscara, beamform-e-projete, e matriz não restrita. Os experimentos mostram que a modelagem de reverberação espaço-temporal proposta gera uma impressão auditiva espacial mais natural do sinal alvo e ainda melhora a liberação espacial do encobrimento, onde o desempenho da filtragem neural depende principalmente da adequação do posto da matriz de filtro para matrizes de covariância espacial de sinal em vez da transformação do domínio espacial.