클라우드 아키텍처의 데이터 웨어하우스에서 ETL 프로세스의 효율적인 하이브리드 최적화

초록 빅데이터에서 분석 데이터는 다양한 형식의 서로 다른 출처에서 수집되어 데이터 정리, 사용자 정의 및 데이터 웨어하우스에 적재하는 형태로 변환된다. 다른 형식의 데이터 추출 및 필요 형식으로 변환하려면 변환 알고리즘이 필요하다. 이 변환 단계는 중복 문제를 가지고 있으며 데이터 웨어하우스의 여러 위치에 저장되어 있어 계산 비용이 증가한다. 빅데이터 ETL의 주요 문제는 고차원 데이터 처리와 효과적인 데이터 웨어하우스 사용을 위한 유사한 데이터 유지이다. 따라서 추출, 변환, 적재(ETL)는 데이터 웨어하우스에서 의미 있는 정보를 추출하고 사용자를 유지하는 데 중요한 역할을 한다. 본 논문은 클라우드 기반 아키텍처의 ETL 프로세스에서 빅데이터 처리를 위한 탐색 알고리즘 및 집단 지성의 하이브리드 최적화를 제안한다. 제안된 작업은 데이터 웨어하우스에서 복잡한 데이터 저장 및 검색과 관련된 여러 문제를 극복한다. 집단 지성 알고리즘은 고차원 데이터, 대규모 데이터의 동적 변화 및 변환 단계에서의 비용 최적화와 같은 문제를 극복할 수 있다. 본 연구에서는 집단 지성 알고리즘을 위해 그레이 울프 최적화 알고리즘(GWO)을 구현하여 데이터의 고차원성을 줄인다. 탐색 알고리즘(Tabu Search, TS)은 관련 데이터를 그룹으로 클러스터링하는 데 사용된다. 클러스터링은 데이터 웨어하우스에서 관련 데이터를 정확하게 분리하는 것을 의미한다. ETL 프로세스에서 클러스터 크기는 GWO-TS의 제안된 작업을 통해 최적화될 수 있다. 따라서 데이터 웨어하우스의 대규모 데이터는 예상 지연 시간 내에 처리될 수 있다.