신경 언어 모델 평가의 최신 동향

순환 신경망 아키텍처의 지속적인 혁신은 언어 모델링 벤치마크에서 최첨단 결과의 꾸준한 유입을 제공하고 있습니다. 그러나 이러한 결과는 서로 다른 코드 기반과 제한된 컴퓨팅 자원을 사용하여 평가되었으며, 이는 통제되지 않은 실험 변동의 원인을 나타냅니다. 우리는 대규모 자동 블랙박스 하이퍼파라미터 조정을 통해 여러 인기 있는 아키텍처와 정규화 방법을 재평가하고, 적절히 정규화된 표준 LSTM 아키텍처가 보다 최근의 모델보다 우수하다는 다소 놀라운 결론에 도달했습니다. 우리는 Penn Treebank 및 Wikitext-2 코퍼스에서 새로운 최첨단을 수립하고, Hutter Prize 데이터셋에 대한 강력한 기준선도 제시합니다.