플럼: 메타 휴리스틱을 이용한 프롬프트 학습

고급 언어 모델의 발전은 이러한 시스템을 개선하고 맞춤화하기 위한 기법으로 프롬프트 엔지니어링의 광범위한 채택으로 이어졌습니다. 특히, 체인-오브-생각과 같은 전문화된 프롬프트는 이전에 인식되지 않았던 이 모델의 잠재적 추론 능력을 드러냈습니다. 그러나 효과적인 프롬프트를 식별하는 과정은 느렸으며, 보편적인 프롬프트 최적화 전략에 대한 필요성을 촉발했습니다. 유감스럽게도, 현재의 프롬프트 학습 접근법은 진정한 '보편적' 기준을 모두 충족하는 경우가 드물며, 즉 자동화되고, 이산적이며, 블랙박스이고, 기울기 없는 동시에 해석 가능해야 합니다. 본 논문에서는 메타 휴리스틱과 블랙박스 프롬프트 학습의 새로운 조합을 소개하며, 일련의 새로운 프롬프트 조정 알고리즘을 제시합니다. 우리의 패러다임 내에서 우리는 여섯 가지 일반적인 방법: 힐 클라이밍, 시뮬레이티드 어닐링, 교차가 있는/없는 유전자 알고리즘, 타부 탐색, 하모니 탐색을 개발하고 검토하여 화이트박스 및 블랙박스 프롬프트 학습 환경에서 그들의 효과를 입증합니다. 특히, 우리는 이러한 방법이 추론 및 이미지 생성 작업에서 이전에 알려지지 않았던 더 인간이 이해할 수 있는 프롬프트를 발견하는 데 사용될 수 있음을 보여주어 프롬프트 최적화의 다양한 가능성을 열어줍니다. 이것은 블랙박스 모델의 최적화를 보다 효율적으로 만들어 최소한의 계산 자원으로 다양한 작업 맞춤형 모델을 개발할 수 있게 합니다.