Spiking-NeRF: 에너지 효율적인 신경 렌더링을 위한 스파이킹 신경망

인공 신경망(ANNs)은 많은 인공지능 작업에서 뛰어난 성능을 달성했습니다. 응용 시나리오가 더욱 복잡해짐에 따라 ANNs의 계산 및 에너지 소비도 지속적으로 증가하고 있으며, 이는 에너지 제약이 있는 장치에 ANNs를 배포하는 데 도전이 되고 있습니다. 스파이킹 신경망(SNNs)은 에너지 효율적인 신경망을 구축하기 위한 유망한 솔루션을 제공합니다. 그러나 현재 SNN의 훈련 방법은 ANNs처럼 정밀한 값을 출력할 수 없습니다. 이로 인해 SNN의 응용이 상대적으로 단순한 이미지 분류 작업으로 제한됩니다. 본 논문에서는 SNN의 응용을 신경 렌더링 작업으로 확장하고 'Spiking-NeRF'(스파이킹 신경 방사 필드)라는 에너지 효율적인 스파이킹 신경 렌더링 모델을 제안합니다. 먼저 ANN에서 SNN으로의 변환 이론을 분석하고 SNN이 정밀한 장면 속성 값을 얻도록 하는 출력 방식을 제안합니다. 그런 다음 신경 렌더링의 특별한 네트워크 아키텍처에 맞게 매개변수 정규화 방법을 사용자 정의합니다. 또한 에너지 소비를 줄이기 위해 스파이크의 이산적 특성을 기반으로 한 조기 종료 전략(ETS)을 제시합니다. 우리는 Spiking-NeRF의 성능을 현실적인 장면과 합성 장면 모두에서 평가합니다. 실험 결과는 Spiking-NeRF가 ANN 기반 NeRF에 비해 최대 \ (2. 27\)의 에너지 절감을 통해 유사한 렌더링 성능을 달성할 수 있음을 보여줍니다.