단백질 주석 작성을 위한 대형 언어 모델 평가

초록 UniProtKB에는 현재까지 2억 5천 1백만 개 이상의 단백질이 등록되어 있습니다. 그러나 이들 중 단 0.25%만이 15,000개 이상의 가능한 Pfam 가족 도메인 중 하나로 주석이 달려 있습니다. 현재의 주석 프로토콜은 서열 정렬 및 숨겨진 마르코프 모델을 사용하여 얻은 수동으로 선별된 가족 도메인에서 지식을 통합합니다. 이 접근 방식은 Pfam 주석을 자동으로 늘리는 데 성공적이었지만, 단백질 발견과 비교할 때 낮은 비율로 이루어졌습니다. 불과 몇 년 전, 자동 Pfam 주석을 위한 딥 러닝 모델이 제안되었습니다. 그러나 이러한 모델은 훈련 데이터의 상당량을 요구하며, 이는 인구가 부족한 가족에서 도전이 될 수 있습니다. 이 문제를 해결하기 위해, 우리는 전이 학습을 기반으로 한 새로운 프로토콜을 제안하고 평가합니다. 이는 큰 비주석 데이터 세트에서 자기 감독으로 훈련된 단백질 대형 언어 모델(LLMs)을 사용하는 것이 필요합니다. 그런 다음 이러한 임베딩을 사용하여 소규모 주석 데이터 세트에서 감독 학습을 통해 특화된 작업을 수행합니다. 이 프로토콜에서는 단백질 도메인 주석의 실제 예측을 개선하기 위해 여러 최첨단 단백질 LLM과 기계 학습 아키텍처를 평가했습니다. 결과는 단백질 가족 분류에 대해 최첨단보다 현저히 개선되었으며, 표준 방법에 비해 예측 오류를 60%나 줄였습니다. 우리는 LLM 임베딩이 단백질 주석 작성을 위해 실제적이고 간단한 방법으로 어떻게 사용될 수 있는지 설명하고, GitHub 리포지토리에서 파이프라인을 제공합니다. 전체 소스 코드 및 데이터는 https://github.com/sinc-lab/llm4pfam에서 확인할 수 있습니다.