ClearShot: Escuchando la Entrada del Teclado desde Video

La interceptación de la comunicación electrónica generalmente se previene mediante mecanismos basados en criptografía. Sin embargo, estos mecanismos no evitan que se obtenga información privada a través de canales laterales, como las emisiones electromagnéticas de los monitores o el sonido producido por los teclados. Si bien extraer la misma información observando a alguien escribir en un teclado puede parecer una tarea fácil, se vuelve extremadamente complicada si debe ser automatizada. Sin embargo, se necesita una herramienta automatizada en el caso de procedimientos de vigilancia prolongados o actividad de usuario extensa, ya que un ser humano es capaz de reconstruir solo unos pocos caracteres por minuto. Este documento presenta un enfoque novedoso para recuperar automáticamente el texto que se está escribiendo en un teclado, basándose únicamente en un video del usuario escribiendo. Como parte del enfoque, desarrollamos una serie de técnicas novedosas para el seguimiento de movimiento, reconstrucción de oraciones y corrección de errores. El enfoque se ha implementado en una herramienta llamada ClearShot, que ha sido probada en una serie de configuraciones realistas donde pudo reconstruir una parte sustancial de la información escrita.