변형기 기반의 어휘 제약 헤드라인 생성

이 논문은 자동 헤드라인 생성 방법의 변형을 탐구합니다. 여기서 생성된 헤드라인은 회사나 제품 이름과 같은 주어진 구문을 포함해야 합니다. 변형기 기반 모델을 사용하는 이전 방법들은 주어진 구문에 해당하는 추가 정보를 인코더에 제공함으로써 주어진 구문을 포함하는 헤드라인을 생성합니다. 그러나 이러한 방법들은 항상 생성된 헤드라인에 구문을 포함할 수 없습니다. 주어진 구문에서 앞뒤 방향으로 토큰 시퀀스를 생성하는 이전 RNN 기반 방법에 영감을 받아, 우리는 주어진 구문을 고품질 생성된 헤드라인에 포함시키는 것을 보장하는 간단한 변형기 기반 방법을 제안합니다. 우리는 또한 변형기의 제어 가능한 생성 순서를 활용하는 새로운 헤드라인 생성 전략을 고려합니다. 일본 뉴스 코퍼스를 이용한 우리의 실험은 생성된 헤드라인에 구문을 포함하는 것이 보장된 우리의 방법이 이전의 변형기 기반 방법들과 유사한 ROUGE 점수를 달성함을 보여줍니다. 또한 우리의 생성 전략이 이전의 전략보다 더 나은 성능을 보임을 보여줍니다.