파라미터 효율 학습을 위한 사인 활성화 저랭크 행렬

저랭크 분해는 신경망 아키텍처에서 파라미터 효율성을 향상시키기 위한 중요한 도구로 떠오르며 머신러닝의 다양한 응용 분야에서 주목받고 있습니다. 이러한 기술은 파라미터 수를 크게 줄여 컴팩트함과 성능 간의 균형을 유지합니다. 그러나 일반적인 문제는 파라미터 효율성과 모델의 정확성 간의 타협으로, 줄어든 파라미터는 종종 전체 랭크에 비해 정확성 저하로 이어지는 경향이 있습니다. 본 연구에서는 저랭크 분해 과정 내에 사인 함수(Sinusoidal function)를 통합하는 새로운 이론적 프레임워크를 제안합니다. 이 접근법은 저랭크 방법의 파라미터 효율성 이점을 유지할 뿐만 아니라 분해의 랭크를 증가시켜 모델 정확성을 향상시킵니다. 우리의 방법은 Vision Transformers(비전 변환기), Large Language Models(대형 언어 모델), Neural Radiance Fields(신경 방사장), 3D 형태 모델링에서의 성공적인 적용 사례에 비추어 기존 저랭크 모델에 대한 적응 가능한 향상으로 입증됩니다. 이는 우리가 제안한 기술의 광범위한 잠재력과 효율성을 보여줍니다.