Um corpus para a avaliação de algoritmos de compressão sem perdas

Vários autores utilizaram o corpus de textos de Calgary para fornecer resultados empíricos para algoritmos de compressão sem perdas. Este corpus foi coletado em 1987, embora não tenha sido publicado até 1990. Os avanços nos algoritmos de compressão têm alcançado melhorias relativamente pequenas na compressão, medidas usando o corpus de Calgary. Há uma preocupação de que os algoritmos estejam sendo ajustados a este corpus e que pequenas melhorias medidas dessa forma podem não se aplicar a outros arquivos. Além disso, o corpus tem quase dez anos, e ao longo desse período, houve mudanças nos tipos de arquivos que são comprimidos, particularmente com o desenvolvimento da Internet e o rápido crescimento do armazenamento secundário de alta capacidade para computadores pessoais. Exploramos as questões levantadas acima e desenvolvemos uma técnica fundamentada para coletar um corpus de dados de teste para métodos de compressão. Um corpus, chamado corpus de Canterbury, é desenvolvido usando essa técnica, e relatamos o desempenho de uma coleção de métodos de compressão usando o novo corpus.