Extração automática de conhecimento a partir de documentos

O acesso a uma grande quantidade de conhecimento é crítico para o sucesso em responder perguntas de domínio aberto para sistemas DeepQA, como o IBM Watson™. A representação formal do conhecimento possui a vantagem de ser fácil de raciocinar, mas a aquisição de conhecimento estruturado em domínios abertos a partir de dados não estruturados é muitas vezes difícil e cara. Nossa hipótese central é que o conhecimento sintático superficial e sua semântica implícita podem ser adquiridos facilmente e podem ser usados em muitas áreas de um sistema de perguntas e respostas. Adotamos uma abordagem em duas etapas para extrair o conhecimento sintático e a semântica implícita. Primeiro, o conhecimento superficial de grandes coleções de documentos é extraído automaticamente. Em segundo lugar, semânticas adicionais são inferidas a partir de estatísticas agregadas do conhecimento superficial extraído automaticamente. Neste artigo, descrevemos em detalhes que tipo de conhecimento superficial é extraído, como isso é feito automaticamente a partir de um grande corpus e como semânticas adicionais são inferidas a partir de estatísticas agregadas. Também discutimos brevemente as várias maneiras como o conhecimento extraído é usado ao longo do sistema IBM DeepQA.