WebGraph: A Próxima Geração (Está em Rust)

Relatamos os resultados de um esforço de um ano no Laboratório de Algoritmos da Web e Inria para portar o framework WebGraph 4 de Java para Rust. Por duas décadas, o WebGraph tem sido fundamental na análise e distribuição de grandes grafos para a comunidade de pesquisa do TheWebConf, mas as limitações intrínsecas da Máquina Virtual Java tornaram-se um gargalo para casos de uso muito grandes, como o grafo Merkle do Software Heritage 2 com seus meio trilhão de arcos. Como parte desta implementação de página limpa do WebGraph em Rust, desenvolvemos alguns projetos auxiliares trazendo para o ecossistema Rust algumas funcionalidades ausentes de interesse independente, como mapeamento de memória fácil, consistente e sem custo de estruturas de dados. O WebGraph em Rust oferece melhorias de desempenho impressionantes em relação à implementação anterior, permitindo análises de grafos de código aberto em conjuntos de dados muito grandes, como o Common Crawl, em cima de uma linguagem de programação de sistemas moderna.