ProtLLM: 단백질을 단어로 하는 전처리를 포함한 인터리브된 단백질-언어 LLM

우리는 단백질 중심 및 단백질-언어 작업 모두를 위한 다재다능한 교차 모달 대형 언어 모델(LLM)인 ProtLLM을 제안합니다. ProtLLM은 고유한 동적 단백질 장착 메커니즘을 갖추고 있어 자연어 텍스트와 임의의 수의 단백질이 섞인 복잡한 입력을 처리할 수 있습니다. 또한, 우리는 ProtLLM을 훈련하기 위해 단백질을 단어로 하는 언어 모델링 접근 방식을 제안합니다. 전문 단백질 어휘를 개발함으로써 우리는 모델이 방대한 후보 풀에서 자연어뿐만 아니라 단백질을 예측할 수 있는 능력을 갖추도록 합니다. 추가로, 우리는 사전 훈련을 위해 InterPT라는 대규모 인터리브된 단백질-텍스트 데이터셋을 구축합니다. 이 데이터셋은 (1) 단백질 주석과 같은 구조화된 데이터 출처와 (2) 생물학적 연구 논문과 같은 비구조화된 데이터 출처를 포괄적으로 포함하여 ProtLLM이 단백질을 이해하는 데 필요한 중요한 지식을 제공합니다. 우리는 전통적인 감독 단백질 중심 작업에서 ProtLLM을 평가하고 그 혁신적인 단백질-언어 응용 프로그램을 탐색합니다. 실험 결과는 ProtLLM이 단백질 중심 작업에서 단백질 전문 기준선에 비해 우수한 성능을 달성할 뿐만 아니라 단백질-언어 작업에서 제로샷 및 문맥 내 학습 능력을 유도한다는 것을 보여줍니다.