StablePT: 안정적인 프롬프트 생성을 통한 소수 샷 학습

대형 언어 모델은 프롬프트를 통해 효과적인 소수 샷 학습자가 될 수 있는 능력을 보여주었으며, 데이터 부족 상황에서 학습의 패러다임을 혁신했습니다. 그러나 이 접근법은 프롬프트 초기화의 품질에 크게 의존하며, 여러 실행 간에 항상 큰 변동성을 보입니다. 이러한 특성으로 인해 프롬프트 튜닝은 신뢰성이 떨어지고 잘못 설계된 프롬프트에 취약해져 실제 세계 응용으로의 확장이 제한됩니다. 이 문제를 해결하기 위해 우리는 하드 프롬프트와 소프트 프롬프트를 별도의 입력으로 처리하여 프롬프트 초기화로 인한 노이즈를 완화합니다. 또한, 우리는 훈련 과정에서 클래스 인식 정보를 활용하기 위해 대조 학습으로 소프트 프롬프트를 최적화하여 모델 성능을 유지합니다. 실험 결과, 정확성이 7.20% 증가하며, 평균적으로 표준 편차가 2.02 감소하여 최신 기술을 초월함을 증명했습니다. 또한, 광범위한 실험은 다양한 작업을 포함하는 7개의 데이터 세트에서 그 견고성과 안정성을 강조합니다.