우리는 DP-SGD를 사용하여 대규모 언어 모델(LLM)의 차분 개인 정보 보호 미세 조정에서 샘플 효율성의 문제를 다룹니다. DP-SGD는 강력한 개인 정보 보호 보장을 제공하지만, 추가된 잡음은 그래디언트 행렬의 엔트로피를 상당히 증가시켜 낮은 랭크 구조를 방해하고 최적화를 느리게 합니다. 우리는 무작위 행렬 이론을 활용하여 그래디언트를 잡음 제거하고 낮은 랭크 구조를 복원하며 원래 신호와의 정렬을 개선하는 후처리 알고리즘을 제안합니다. GLUE 작업에 대한 RoBERTa의 DP-SGD 미세 조정에 적용할 때, 우리의 방법은 최적의 성능이 요구되지 않을 때 훈련 시간을 상당히 줄이며 최신 방법들에 비해 샘플 효율성을 향상시킵니다. 이 연구는 행렬 복구 기술이 개인 정보 보호 보장을 손상시키지 않으면서 개인 언어 모델 훈련의 유용성을 향상시킬 수 있음을 보여줍니다.
Dadsetan 외. (수요일), 이 문제를 연구했다.