다중 문서 요약을 위한 계층적 변환기

본 논문에서는 여러 입력 문서를 효과적으로 처리할 수 있는 신경 요약 모델을 개발하고, 문서를 계층적으로 인코딩하는 능력을 가진 변환기 아키텍처를 정제합니다. 우리는 주의 메커니즘을 통해 문서 간의 관계를 나타내며, 단순히 텍스트 범위를 연결하고 평면 시퀀스로 처리하는 것이 아니라 정보를 공유할 수 있도록 합니다. 우리 모델은 텍스트 단위 간의 잠재적 의존성을 학습하지만 유사성이나 담화 관계에 초점을 맞춘 명시적 그래프 표현을 활용할 수도 있습니다. WikiSum 데이터셋에 대한 경험적 결과는 제안된 아키텍처가 여러 강력한 기준선에 비해 상당한 개선을 가져온다는 것을 보여줍니다.