인덱스 인식을 이용한 의사결정 트리 및 랜덤 포레스트를 활용한 대규모 데이터베이스를 위한 분류 기반 빠른 검색

다양한 영역에서 수집된 방대량의 데이터는 현대 데이터 탐색 및 분석에 큰 도전을 제공합니다. 대규모 데이터베이스에서 "흥미로운" 객체를 찾기 위해 사용자는 일반적으로 긍정적 및 부정적인 예제를 사용하여 쿼리를 정의하고, 관심 있는 객체를 전체 데이터 카탈로그에서 식별하기 위해 분류 모델을 훈련합니다. 그러나 이 방식은 데이터 카탈로그의 모든 인스턴스에 분류 모델을 적용하기 위해 모든 데이터를 검색해야 하므로, 많은 사용자와 쿼리를 상호 작용적으로 처리하는 대규모 데이터베이스에서 사용하기에는 비용이 과도하게 비쌉니다. 이 작업에서는 사용자가 소수의 긍정적 및 부정적인 예제를 통해 쿼리를 지정하여 목표 객체를 상호 작용적으로 검색할 수 있도록 하는 새로운 검색 기반 분류 프레임워크를 제안합니다. 이전 접근 방식과 달리 우리의 프레임워크는 전체 데이터베이스를 검색하지 않고도 저비용으로 이러한 쿼리에 신속하게 응답할 수 있습니다. 우리의 프레임워크는 의사결정 트리 및 랜덤 포레스트를 위한 인덱스 인식 구축 방식에 기반하며, 이러한 분류 모델의 추론 단계를 범위 쿼리 집합으로 변환하여 다차원 인덱싱 구조를 활용하여 효율적으로 실행할 수 있도록 합니다. 우리의 실험 결과는 수억 개의 객체가 있는 대규모 데이터 카탈로그에 대한 쿼리를 단일 서버를 사용하여 몇 초 안에 처리할 수 있으며, 이는 기존의 스캔 기반 접근 방식이 수 시간 필요했던 것과 비교됩니다.