딥다이브

어두운 데이터 추출 또는 지식 기반 구축(KBC) 문제는 이메일, 웹 페이지 및 PDF 보고서를 포함한 비구조적 데이터 소스로부터 정보를 사용하여 SQL 데이터베이스를 채우는 것입니다. KBC는 데이터 추출, 정리 및 통합 문제를 포함하는 산업 및 연구에서 오랫동안 해결해야 할 문제입니다. 우리는 KBC 시스템 개발에 도움을 줄 수 있는 데이터베이스와 머신 러닝 아이디어를 결합한 시스템인 딥다이브를 설명합니다. 딥다이브의 핵심 아이디어는 통계적 추론과 머신 러닝이 추출, 정리 및 통합이라는 고전적 데이터 문제를 통합적이고 보다 효과적인 방식으로 해결하기 위한 핵심 도구라는 것입니다. 딥다이브 프로그램은 선언적이며, 확률적 추론 알고리즘을 작성할 수 없습니다. 대신, 도메인에 대한 특성이나 규칙을 정의함으로써 상호작용합니다. 이러한 설계 선택의 주요 이유는 도메인 전문가가 자신의 KBC 시스템을 구축할 수 있도록 지원하기 위함입니다. 우리는 KBC 시스템 구축을 가속화하기 위해 딥다이브에서 사용되는 응용 프로그램, 추상화 및 기술을 제시합니다.