Key points are not available for this paper at this time.
우리는 Neuro-Symbolic Concept Learner (NS-CL)를 제안합니다. 이 모델은 명시적인 감독 없이 시각적 개념, 단어 및 문장의 의미 분석을 학습합니다. 대신, 우리의 모델은 이미지를 보고 쌍으로 된 질문과 답변을 읽어서 학습합니다. 우리의 모델은 객체 기반의 장면 표현을 구축하고 문장을 실행 가능한 기호 프로그램으로 변환합니다. 두 모듈의 학습을 연결하기 위해, 우리는 잠재적 장면 표현에서 이러한 프로그램을 실행하는 신경-기호 추론 모듈을 사용합니다. 인간 개념 학습에 비유하면, 지각 모듈은 참조되는 객체의 언어적 설명을 기반으로 시각적 개념을 학습합니다. 한편, 학습된 시각적 개념은 새로운 단어와 새로운 문장을 분석하는 데 도움을 줍니다. 우리는 과정적 학습을 사용하여 이미지와 언어의 큰 조합 공간을 탐색하는 데 가이드를 제공합니다. 광범위한 실험은 우리의 모델이 시각적 개념, 단어 표현 및 문장의 의미 분석을 학습하는 데 있어 정확성과 효율성을 보여줍니다. 나아가, 우리의 방법은 새로운 객체 속성, 조합, 언어 개념, 장면 및 질문, 심지어 새로운 프로그램 도메인에 대한 원활한 일반화를 허용합니다. 또한 시각적 질문 응답 및 양방향 이미지-텍스트 검색을 포함한 응용 프로그램을 강화합니다.
Mao et al. (금요일)이 질문을 연구했습니다.