Key points are not available for this paper at this time.
Recentemente, técnicas de inteligência artificial para educação têm recebido crescente atenção, enquanto ainda permanece um problema em aberto projetar sistemas eficazes de instrução de instrumentos musicais. Embora os pressionamentos de teclas possam ser derivados diretamente de partituras, os movimentos de transição entre os pressionamentos de teclas exigem orientação mais extensiva na performance de piano. Neste trabalho, construímos um benchmark de geração de movimento da mão no piano para guiar os movimentos das mãos e as digitções ao tocar piano. Para isso, coletamos um conjunto de dados anotado, PianoMotion10M, composto por 116 horas de vídeos de execução de piano de uma visão de cima, com 10 milhões de poses de mãos anotadas. Também introduzimos um modelo de linha de base poderoso que gera movimentos das mãos a partir de áudios de piano por meio de um preditor de posição e um gerador de gestos guiados por posição. Além disso, uma série de métricas de avaliação são projetadas para avaliar o desempenho do modelo de linha de base, incluindo similaridade de movimento, suavidade, precisão posicional das mãos esquerda e direita e fidelidade geral da distribuição do movimento. Apesar de os pressionamentos de teclas do piano em relação a partituras ou áudios já estarem acessíveis, o PianoMotion10M visa fornecer orientação sobre a digitção no piano para fins de instrução. O conjunto de dados e o código-fonte podem ser acessados em https://agnjason.github.io/PianoMotion-page.
Gan et al. (qui,) estudaram essa questão.