可扩展的多查询执行使用强化学习

对数据密集型决策支持的日益需求以及向多租户基础设施的迁移使数据库承受了高分析查询负载的压力。对高吞吐量的要求与传统的逐查询数据库设计相悖，这些设计优化查询以实现高效的串行执行。跨查询共享工作提供了减少处理总成本的机会，因此可以在增加查询负载的情况下提高吞吐量。系统可以通过在执行前评估所有机会并重构查询批次，或通过在运行时检查单个传入查询中的机会来共享工作：前者策略在面对大量查询时扩展性差，因为它需要昂贵的共享感知优化，而后者仅检测少量机会。这两种策略都未能在大型和临时工作负载中最小化处理成本。本文提出了RouLette，一种专门针对多查询执行的智能引擎，通过运行时自适应解决现有工作共享策略的不足。RouLette通过用自适应查询处理替代共享感知优化来扩展，并通过使用强化学习选择探索和利用的机会。RouLette还包括减少适应开销的优化。与最先进的逐查询引擎相比，RouLette在基于TPC-DS模式的多查询工作负载中将吞吐量提高了1.6-28.3倍，与支持共享的原型相比提高了最高6.5倍。