IoT 지원 장치, 클라우드 애플리케이션, 금융 거래, 소셜 미디어 네트워크 및 모니터링 목적으로 사용하는 다양한 센서에서 생성되는 데이터의 빠른 성장으로 인해 실시간 스트리밍 환경에서 데이터 품질을 지속적으로 모니터링해야 할 필요성이 커지고 있습니다. 품질이 낮은 데이터는 분석, 의사결정 과정, 시스템 성능, 그리고 기업의 수익성에 부정적인 영향을 미칩니다. 배치 데이터 환경을 위해 설계된 기존의 데이터 품질 평가 프레임워크는 오늘날의 스트리밍 환경에서 잠재적인 품질 문제를 시기적절하게 모니터링하고 수정할 수 없기 때문에 종종 불충분하게 나타납니다. 현재 연구는 고속 스트리밍 맥락에서 데이터 품질을 모니터링하기 위한 최첨단 접근 방식들을 탐색하고 주요 데이터 품질 보증 방법론에 대해 논의합니다. 특히, 제안된 모니터링 프레임워크는 데이터 스키마, 결측치, 알림 기반 모니터링을 포함하여 지속적인 검증 및 이상 탐지 기술을 포함합니다. 본 논문에서 적용한 방법론은 실시간 스트림 처리 프레임워크에서 고속 데이터 품질 모니터링에 관한 기존 학술 연구에 대한 문헌 검토를 포함했습니다. 결과들은 실시간 데이터 품질 모니터링이 데이터 신뢰성을 크게 향상시키고, 잠재적인 오류와 그 확산을 제거하며, 의사결정 효율성 및 스트림 처리의 확장성을 개선함을 보여줍니다.
Sarvesh Kumar Gupta (목,)는 이 문제를 연구했습니다.