A Study on the Implementation Strategy of an SLLM-Advanced RAG Fusion System in On-Premise Closed Network

보안 및 운용 제약이 엄격한 온프레미스 폐쇄망 환경에서 군사 교리 지식에 특화된 질의응답 시스템을 구축하기 위해서는 데이터 보안 유지와 답변 정확성을 확보할 수 있는 고도화된 시스템 설계가 필요하다. 본 연구에서는 이를 위한 실질적인 기술적 방법론으로서 SLLM(Small Large Language Model)과 Advanced RAG의 최적화된 융합 모델을 제안한다. 실험을 위해 Mistral-7B, Qwen-2.5-7B, Llama-3.1-8B, GPT-OSS-20B와 같은 대표적인 SLLM 모델을 활용하였다. 또한 A6000 GPU, vLLM 추론엔진, FAISS DB를 기반으로 한 폐쇄망 환경을 구축하였으며, SLLM과 Naive-RAG를 결합하여 각 모델의 성능을 비교 분석한 후 최적의 기본 모델을 선정하였다. 특히, 쿼리 확장, 인덱스 최적화, 후처리 기법으로 대표되는 Advanced RAG 기법을 단계적으로 적용하는 실험 설계를 통해 검색 성능과 답변 품질에 미치는 영향을 추가로 분석하였다. 평가 데이터셋은 DeepEval 라이브러리를 활용하여 생성하였으며, 모델의 정량적·정성적 성능평가를 위해 RAGAS 평가지표, NLP 기반 메트릭, LLM-as-judge 방법을 함께 활용하였다. 실험 결과, Parent-Child 인덱싱과 쿼리 확장 및 상호 순위 융합(RRF) 후처리를 결합한 구조가 가장 우수한 성능을 보임을 확인하였다. 이러한 연구 결과는 온프레미스 폐쇄망 환경에서도 SLLM과 Advanced RAG 기법의 효과적인 융합을 통해 안정적이고 신뢰성 높은 군 교리 특화 질의응답 시스템 구현이 가능함을 시사한다.