TiDB

Bancos de dados de Processamento Transacional e Analítico Híbrido (HTAP) requerem o processamento de consultas transacionais e analíticas em isolamento para eliminar a interferência entre elas. Para alcançar isso, é necessário manter réplicas diferentes dos dados especificados para os dois tipos de consultas. No entanto, é desafiador fornecer uma visão consistente para réplicas distribuídas dentro de um sistema de armazenamento, onde solicitações analíticas podem ler de maneira eficiente dados consistentes e atualizados de cargas de trabalho transacionais em grande escala e com alta disponibilidade. Para atender a esse desafio, propomos estender algoritmos de consenso baseados em máquinas de estado replicadas para fornecer réplicas consistentes para cargas de trabalho HTAP. Com base nessa ideia nova, apresentamos um banco de dados HTAP baseado em Raft: TiDB. No banco de dados, projetamos um sistema de armazenamento multi-Raft que consiste em um armazenamento de linhas e um armazenamento de colunas. O armazenamento de linhas é construído com base no algoritmo Raft. Ele é escalável para materializar atualizações de solicitações transacionais com alta disponibilidade. Em particular, ele replica assincronamente logs do Raft para aprendizes que transformam o formato de linha em formato de coluna para tuplas, formando um armazenamento de colunas atualizável em tempo real. Esse armazenamento de colunas permite que consultas analíticas leiam de maneira eficiente dados atualizados e consistentes com forte isolamento em relação às transações no armazenamento de linhas. Com base nesse sistema de armazenamento, construímos um mecanismo SQL para processar transações distribuídas em larga escala e consultas analíticas caras. O mecanismo SQL acessa de forma otimizada réplicas de dados em formato de linha e formato de coluna. Também incluímos um poderoso mecanismo de análise, TiSpark, para ajudar o TiDB a se conectar ao ecossistema Hadoop. Experimentos abrangentes mostram que o TiDB alcança alta performance isolada sob o CH-benCHmark, um benchmark focado em cargas de trabalho HTAP.