Key points are not available for this paper at this time.
초록 대형 언어 모델(LLM)인 GPT-4와 같은 진화하는 환경에서 상황 맥락 학습(ICL) 및 "사고의 흐름"(CoT)과 같은 방법론의 효과가 AI 이해 및 상호작용을 개선하는 데 인식되었다. 이러한 접근 방식은 명확성, 역할 프롬프트 및 구조화된 프롬프트 설계를 강조하는 프롬프트 엔지니어링 원칙에 부합하여 문법적 복잡성을 줄이고 익숙한 언어를 사용하여 LLM의 해석 정확도 및 응답 일관성을 향상시킨다. 우리의 연구는 LLM 매개 변수를 변환 행렬로 개념화하기 위한 수학적 프레임워크를 제시하며, 텍스트 복잡성을 고차원 벡터 공간으로 해석한다. 이 프레임워크는 프롬프트 구조가 LLM 성능에 미치는 영향을 이해하는 데 도움이 되며, 간단한 프롬프트에서 복잡한 프롬프트로 분류하고 그들이 LLM의 고유 차원성에 미치는 영향을 조사한다. 연구 결과는 프롬프트 복잡성과 LLM의 고유 차원성 간에 직접적인 상관관계를 보여준다. 간단한 문장은 낮은 차원성으로 이어지며(7B, 13B 및 33B 모델 각각 11.78, 9.99 및 9.60), 문법적 복잡성은 이를 증가시킨다(12.08, 14.08 및 12.70), 그리고 언어적 복잡성은 더 낮거나 유사한 값을 산출한다. 우리의 연구는 ICL과 CoT의 효능 이면의 기제에 대한 지식 격차를 해소하고, LLM 기능을 최적화하기 위한 전략들을 제공한다. 이는 LLM 행동에 대한 새로운 관점을 제공하며, 이러한 강력한 계산 도구의 잠재력을 극대화하는 데 있어 프롬프트 설계의 중요한 역할을 강조한다.
Agnihotri et al. (Tue,)가 이 질문을 연구하였다.