특이점 해결을 통한 변분 베이지안 신경망

이 작업에서 우리는 특이 학습 이론(SLT)이 베이지안 신경망(BNNs)에서 변분 추론의 이론 및 실천에 중요하다는 점을 주장합니다. 먼저, 테스트 로그 예측 밀도를 통해 측정된 하류 예측 성능과 변분 목표 간의 불일치에 대한 혼란을 해소합니다. 다음으로, 우리는 SLT 수정된 점근적 형태를 사용하여 특이 후방 분포의 설계에 대해 알립니다. 구체적으로, 우리는 Bhattacharya 외(2020)에서 도입된 이상적인 변분 가족을 기반으로 구축하며, 이론적으로 매력적이지만 실제로는 처리하기 어려운 것입니다. 우리의 제안은 기준 분포가 신중하게 초기화된 일반화된 감마인 정규화 흐름의 형태로 나타납니다. 우리는 이것을 표준 가우시안 기준 분포와 비교하고 변분 자유 에너지 및 변분 일반화 오류 측면에서 개선 사항을 보여줍니다. 추가 부록 및 기사에 대한 코드는 온라인에서 제공됩니다.