딥 강화 학습 기반의 동적 유연 작업장 스케줄링

스마트 공장에서의 예측할 수 없는 동적 사건은 스케줄링 계획 및 생산 효율성에 심각한 영향을 미친다. 주문의 총 지연 시간을 최소화하기 위해, 본 논문은 랜덤 작업 도착이 있는 동적 유연 작업장 스케줄링 문제(DFJSP)를 해결하기 위한 딥 강화 학습(DRL) 방법을 제안한다. 스케줄링 과정에서 지능형 에이전트는 각 스케줄링 포인트에서 작업장 상태에 따라 사용 가능한 기계에서 처리할 작업을 선택할 수 있다. DFJSP를 마르코프 결정 과정(MDP)으로 변환하여 작업장 환경을 반영하기 위해 여덟 개의 상태 특성을 추출하고, 여섯 개의 복합 배차 규칙이 동작 공간으로 설계된다. 또한, 지능형 에이전트의 학습 효율과 솔루션 품질을 향상시키기 위해 보상 함수가 개발되고, 탐색과 활용의 균형을 맞추기 위해 소프트맥스 선택 전략이 적용된다. 과잉 추정 문제를 효과적으로 완화하는 듀얼링 더블 딥 Q-네트워크(듀얼링 DDQN) 알고리즘이 지능형 에이전트를 훈련시키기 위해 도입된다. 수치 시뮬레이션 결과, 제안된 듀얼링 DDQN 방법이 DFJSP를 효과적으로 해결함을 보여준다. 기존 스케줄링 전략과 비교했을 때, 제안된 접근법은 우수한 성능을 보일 뿐만 아니라 다양한 규모의 사례에서도 그 장점을 유지한다.