선형 회귀에서의 베이지안 변수 선택

초록 이 논문은 종속 변수를 예측하기 위한 선형 회귀 모델에서 예측 변수를 선택하는 데 관련됩니다. 가능한 한 객관적인 베이지안 접근 방식을 기반으로 합니다. 먼저 회귀 모델에서 미지의 매개변수에 대한 사전 분포계열을 지정하여 종속 변수에 확률 분포를 할당합니다. 그러나 이 방법은 완전한 베이지안이 아니며, 이 계열에서 최종적으로 선택된 사전 분포는 데이터에 의해 영향을 받습니다. 예측변수가 구별 가능한 관측치를 나타낸다고 가정하며, 해당 회귀 계수는 독립적인 사전 분포가 할당됩니다. 모델에서 삭제될 수 있는 각 회귀 계수에 대해, 사전 분포는 0에서의 점 질량과 다른 곳에서의 확산 균일 분포의 혼합으로, 즉 “스파이크와 슬랩” 분포입니다. 랜덤 오류 구성 요소는 평균 0과 표준 편차 σ를 가진 정규 분포를 할당받으며, 여기서 ln(σ)은 지역적으로 균일한 비정보적인 사전 분포를 가집니다. 각 하위 모델에 대해 적절한 사후 확률이 도출됩니다. 회귀 계수가 동일한 사전 분포를 가질 때, 사후 분포는 데이터와 공통 사전 분포에 대한 스파이크의 높이를 슬랩의 높이로 나눈 매개변수 γ에만 의존합니다. 이 매개변수는 확률 분포를 할당받지 않으며, 대신 베이지안 방법의 클래스의 구성원을 지시하는 매개변수로 간주됩니다. γ를 선택하고 응답 함수의 복잡성 및 개별 예측 변수의 강도를 평가하며 최적 하위 모델에 대한 불확실성을 평가하기 위한 비공식적인 지침으로 그래픽 방법이 제안됩니다. γ에 대한 다음의 플롯이 제안됩니다: (a) 특정 회귀 계수가 0일 사후 확률; (b) 모델의 항목 수에 대한 사후 기대값; (c) 하위 모델 분포의 사후 엔트로피; (d) 사후 예측 오류; (e) 적합도 측정의 사후 확률. 플롯(d)와 (e)은 y를 선택하는 방법으로 제안됩니다. 예측 오류는 ‘하나 남기기’ 접근 방식으로 각 관측 값에 대해 모든 데이터가 주어질 때 예측 밀도를 생성하는 베이지안 교차 검증 접근 방식을 사용하여 결정됩니다. 적합도 측정은 전체 모델에 대해 적합도에 대한 표준 F 검정을 통과하는 모든 하위 모델의 사후 확률의 합입니다. 변수의 스케일링에 따른 결과의 의존성이 논의되며, 스케일링 상수를 선택하는 몇 가지 방법이 제안됩니다. 에너지 절약 연구에서 발생한 대규모 데이터 세트를 기반으로 한 예제가 이 방법의 적용을 시연합니다.