Transformando big data em dados inteligentes: Uma visão sobre o uso do algoritmo k‐vizinhos mais próximos para obter dados de qualidade

O algoritmo k‐vizinhos mais próximos é caracterizado como uma técnica de mineração de dados simples, mas eficaz. A principal desvantagem dessa técnica aparece quando grandes quantidades de dados—que provavelmente contêm ruídos e imperfeições—estão envolvidas, tornando esse algoritmo uma técnica imprecisa e especialmente ineficiente. Essas desvantagens têm sido objeto de pesquisa por muitos anos e, entre outras abordagens, técnicas de pré-processamento de dados, como redução de instâncias ou imputação de valores ausentes, visaram essas fraquezas. Como resultado, esses problemas se transformaram em pontos fortes e a regra dos k‐vizinhos mais próximos se tornou um algoritmo central para identificar e corrigir dados imperfeitos, removendo amostras ruidosas e redundantes ou imputando valores ausentes, transformando Big Data em Dados Inteligentes—que são dados de qualidade suficiente para esperar um bom resultado de qualquer algoritmo de mineração de dados. O papel desse algoritmo de coleta de dados inteligentes em um contexto de aprendizado supervisionado é investigado. Isso inclui uma breve visão geral de Dados Inteligentes, tendências atuais e futuras para o algoritmo k‐vizinhos mais próximos no contexto de Big Data e as técnicas de pré-processamento de dados existentes baseadas nesse algoritmo. Apresentamos as versões emergentes desses algoritmos prontas para big data e desenvolvemos alguns novos métodos para lidar com Big Data. Realizamos uma análise experimental minuciosa em uma série de grandes conjuntos de dados que fornecem diretrizes sobre como usar o algoritmo k‐vizinhos mais próximos para obter Dados Inteligentes/Qualidade para um processo de mineração de dados de alta qualidade. Além disso, vários Pacotes Spark foram desenvolvidos, incluindo todos os algoritmos de Dados Inteligentes analisados. Este artigo é categorizado sob: Tecnologias > Conceitos Fundamentais de Pré-processamento de Dados e Conhecimento > Mineração de Big Data Tecnologias > Classificação