딥 강화 학습을 이용한 VLSI 배치 파라미터 최적화

배치 품질은 물리적 설계 흐름에서 필수적입니다. PPA 목표를 달성하기 위해, 인간 엔지니어는 상용 배치기(예: 최대 밀도, 혼잡 노력 등)의 여러 설정을 조정하는 데 상당한 시간을 할애합니다. 본 논문에서는 상용 EDA 도구의 배치 파라미터를 최적화하기 위한 딥 강화 학습(RL) 프레임워크를 제안합니다. 우리는 인간의 개입과 도메인 지식 없이 파라미터를 최적으로 조정하는 방법을 학습하는 자율 에이전트를 구축하며, 이는 자가 검색을 통해 RL로만 훈련됩니다. 보지 못한 넷리스트에 일반화하기 위해, 우리는 그래프 토폴로지 이론에서 손으로 만든 특징의 혼합과 비지도 그래프 신경망을 사용하여 생성된 그래프 임베딩을 사용합니다. 우리의 RL 알고리즘은 데이터의 희소성과 배치 실행의 지연을 극복하기 위해 선택되었습니다. 훈련된 RL 에이전트는 한 번의 배치 반복에서 보지 못한 넷리스트에서 인간 엔지니어 및 최첨단 툴 자동 조정기와 비교하여 최대 11% 및 2.5%의 와이어 길이 개선을 달성합니다(각각 20배 및 50배 적은 반복 수로).