대규모 사전학습 언어 모델을 이용한 소수 샷 약물 쌍 상승작용 예측을 위한 CancerGPT

대규모 사전학습 언어 모델(LLM)은 최소한의 학습 데이터로도 다양한 분야에서 소수 샷 학습에 큰 잠재력을 보입니다. 그러나 생물학과 같이 더 복잡한 분야에서의 미지의 과제에 대한 일반화 능력은 아직 완전히 평가되지 않았습니다. LLM은 구조화된 데이터와 샘플 크기가 제한된 경우에도 텍스트 코퍼리에서 사전 지식을 추출하여 생물학적 추론을 위한 유망한 대안 방식을 제공할 수 있습니다. 본 연구에서 제안하는 소수 샷 학습 방식은 LLM을 사용하여 구조화된 데이터와 특성이 부족한 희귀 조직에서 약물 쌍의 상승작용을 예측합니다. 여러 암종의 7개 희귀 조직을 대상으로 한 실험에서, LLM 기반 예측 모델은 매우 적거나 전혀 없는 샘플로도 유의미한 정확도를 달성하였습니다. 제안하는 CancerGPT 모델(약 1억 2400만 매개변수)은 크기가 더 큰 미세조정된 GPT-3 모델(약 1750억 매개변수)과도 견줄 만한 성능을 보였습니다. 본 연구는 제한된 데이터 환경에서 희귀 조직의 약물 쌍 상승작용 예측에 처음으로 도전하였고, 생물학적 반응 예측 과제에 LLM 기반 예측 모델을 활용한 최초의 연구입니다.