트랜스포머를 이용한 텍스트 분류 조사: 얼마나 넓고? 얼마나 크고? 얼마나 길고? 얼마나 정확하며? 얼마나 비쌀까? 얼마나 안전한가?

텍스트 분류는 감정 분석에서 챗봇을 통한 질문-답변까지 다양한 응용을 가진 자연어 처리(NLP)에서 기본 과제입니다. 최근 몇 년 동안 트랜스포머 기반 모델이 NLP에서 주된 틀로 떠오르며, 많은 벤치마크에서 뛰어난 결과를 보여주고 있습니다. 본 논문에서는 응용의 확장된 분류 체계를 추천하고, 이러한 응용 전반에 걸친 다양한 모델의 성능을 검토합니다. 전통적인 연구 기술과 공동 인용 및 문헌 연결의 사용은 이 분야의 현재와 과거 연구에 대한 포괄적인 시각을 제공합니다. 이 연구는 최근의 대규모 언어 모델(LLM)에 중점을 두고 트랜스포머 기반 모델의 역사 개요를 제공하는 것으로 시작합니다. 이후, 단일 모달(텍스트 전용) 입력과 다중 모달 분류의 새로운 영역에 대해 논의하여 이 분야의 현재 및 새로운 연구를 비교합니다. 다중 모달 텍스트/숫자/열 형 데이터의 사용에서 발견된 격차가 강조되며, 향후 연구에 대한 권장 사항이 제공됩니다. 마지막으로, 텍스트 입력 변수(토큰)의 길이를 검토하여 짧은 텍스트에서 긴 문서 응용으로의 진화를 탐색합니다. 게다가, 20개의 응용에 걸쳐 358개의 데이터셋에서의 정확성이 검토되며, 예상치 못한 결과가 나타나 LLM이 항상 가장 정확하거나 가장 저렴한 옵션이 아님을 보여줍니다. 모델 성능 외에도, 트랜스포머 기반 모델의 안전성 의미도 검토되며, 윤리, 편향, 사회적 의미, 저작권과 관련된 문제의 요약이 탐구됩니다.