암시적으로 토큰 의미를 학습하기

Key Points

• 이 연구는 언어 작업에서 보다 효과적인 의미적 주의를 위한 새로운 심층 학습 모델을 제안하는 것을 목표로 합니다.
• 순환 심층 학습 모델인 Roken을 개발했습니다.
• 암시적 학습 기술에 중점을 두었습니다.
• 모델을 다음 토큰 및 시퀀스-투-시퀀스 학습 작업에 적용했습니다.
• Roken은 의미적 주의 효율성을 향상시킵니다.
• 언어 예측에서 더 빠른 성능을 보여주었습니다.
• 시퀀스-투-시퀀스 작업에서 정확도가 향상되었습니다.