LeCo: 学習された直列相関による軽量圧縮

軽量データ圧縮は、カラムストアが分析クエリに対して優れたパフォーマンスを示すことを可能にする重要な技術です。シャノンのエントロピーに近づくための辞書ベースのエンコーディングに関する包括的な研究が行われているにもかかわらず、圧縮のためにカラム内の直列相関を体系的に利用した先行研究はほとんどありません。本論文では、LeCo（すなわち、学習圧縮）を提案します。これは、機械学習を用いて値のシーケンス内の直列冗長性を自動的に除去し、優れた圧縮比と復元性能を達成するためのフレームワークです。LeCoは、この目的のために一般的なアプローチを提供し、Frame-of-Reference（FOR）、デルタエンコーディング、およびランレングスエンコーディング（RLE）などの既存のアルゴリズムを我々のフレームワークの下で特別なケースとしています。3つの合成データセットと8つの実世界データセットを使用したマイクロベンチマークでは、LeCoのプロトタイプが、既存のソリューションに対して圧縮比とランダムアクセス速度の両方でパレート向上を達成することが示されています。LeCoを広く使用されるアプリケーションに統合する際には、Arrowカラム実行エンジンにおけるデータ分析クエリで最大5.2倍の速度向上を観察し、RocksDBのスループットが16%増加することを確認しました。