増分K平均木を用いたビッグデータ管理 - GPU加速構築と視覚化

ビッグデータが科学研究を革新する一方で、データ管理と分析のタスクはかつてないほど困難になっています。この困難を軽減する一つの方法は、データに埋め込まれた多層階層を取得することです。階層を知ることはデータの性質を明らかにするだけでなく、大規模データ分析の第一歩でもあります。しかし、階層を学習するための現在のアルゴリズムは、通常、高次元の大容量データに対してスケーラブルではありません。この課題に取り組むために、本論文ではデータから木構造を構築するための新しいスケーラブルなアプローチを提案します。我々の方法は、適応した増分K平均法を用いて、下から上への方法で木を構築します。点距離の分布を参照することにより、木の高さと各ノードの分岐を柔軟に制御できます。また、次元削減も前処理として実施し、計算効率をさらに向上させます。このアルゴリズムは並列設計を採用し、CUDA（Compute Unified Device Architecture）を用いて実装されるため、ビッグデータに効率的に適用できます。2つの実際のデータセットでアルゴリズムをテストし、その結果は拡張円環デンドログラムやその他の視覚化技術で視覚化されます。