Extração Não Supervisionada de Destaques de Vídeos via Autoencoders Recuros Robustas

Com a crescente popularidade de plataformas de compartilhamento de vídeos curtos como Instagram e Vine, há uma necessidade crescente de técnicas que extraem automaticamente destaques de vídeos. Enquanto trabalhos anteriores abordaram esse problema com regras heurísticas ou aprendizado supervisionado, apresentamos uma abordagem de aprendizado não supervisionado que aproveita a abundância de vídeos editados por usuários em sites de mídias sociais como YouTube. Baseando-se na ideia de que os subeventos mais significativos dentro de uma classe de vídeo estão comumente presentes entre vídeos editados, enquanto os menos interessantes aparecem com menor frequência, identificamos os subeventos significativos através de um autoencoder recorrente robusto treinado em uma coleção de vídeos editados por usuários solicitados para cada classe particular de interesse. O autoencoder é treinado usando uma função de perda exponencial de contração proposta que o torna robusto ao ruído nos dados de treinamento coletados na web, e é configurado com células de memória de curto e longo prazo (LSTM) bidirecionais para modelar melhor a estrutura temporal dos segmentos de destaque. Diferente das técnicas supervisionadas, nosso método pode inferir destaques usando apenas um conjunto de vídeos editados baixados, sem precisar também de suas contrapartes pré-editadas, que raramente estão disponíveis online. Experimentos extensivos indicam a promessa da nossa solução proposta neste desafiador ambiente não supervisionado.