CAFASP‐1: 완전 자동화된 구조 예측 방법의 비판적 평가

첫 번째 완전 자동화된 구조 예측(CAFASP-1)의 비판적 평가 결과를 제시한다. 그 목표는 커뮤니티에서 사용할 수 있는 접힘 인식을 위한 완전 자동화된 웹 서버의 성공률을 평가하는 것이었다. 이 연구는 단백질 구조 예측 방법론에 대한 세 번째 회의에서 사용된 목표에 기초하였다(CASP-3). 그러나 CASP-3와는 달리, 이 연구는 목표의 구조가 알려진 후에 이루어졌기 때문에 블라인드 실험이 아니었다. 목적은 CASP-3 제출 시 몇몇 그룹이 사용한 방법의 성능을 사용자 개입 없이 평가하는 것이었다. "인간과 기계" 예측이 자동화된 예측보다 우수한 것은 분명하지만, 이 CAFASP-1 실험은 우리의 방법 사용자에게 매우 가치가 있다. 이것은 방법의 성능만을 나타내며, CASP에서 평가된 "인간과 기계"의 성능을 나타내지 않는다. 이 정보는 사용자가 사용할 프로그램을 선택하고 이들 프로그램을 특정 예측 목표에 적용할 때 신뢰성을 평가하는 데 도움이 될 수 있다. 또한, 완전 자동화된 방법의 평가는 유전체 규모에서의 적용 가능성을 평가하는 데 특히 중요하다. 각 목표에 대해 그룹은 서버에서 생성된 최고 순위 접힘을 제출하였다. CAFASP-1에서는 접힘 인식 웹 서버에만 집중하였고, CASP-3와 달리 정확한 접힘 인식만을 평가하였다. 여기에서 사용된 네 가지 목표 범주 내에서 일부 성능 차이가 나타났지만, 전반적으로 어떤 단일 서버도 다른 서버들보다 현저히 우수하다고 입증되지 않았다. 결과는 현재의 완전 자동화된 접힘 인식 서버가 쌍순서 검색 방법이 실패할 때 종종 원거리 유사성을 식별할 수 있음을 보여주었다. 그러나 가족 수준 목표를 제외하고는 최고 순위 접힘의 점수가 신뢰할 수 있는 완전 자동화된 예측을 가능하게 할 만큼 충분히 중요했던 경우는 거의 없었다. CAFASP-1의 목표, 규칙 및 절차는 CASP-3에서 사용된 것과 다르기 때문에 여기에서 보고된 결과는 CASP-3에서 보고된 결과와 비교할 수 없다. 그럼에도 불구하고 현재의 자동화된 접힘 인식 방법이 "인간 전문가와 기계"의 예측과 경쟁할 수 있는 수준에 이르지 못한 것은 분명하다. 마지막으로, CAFASP-1은 자동화된 서버 기반 단백질 구조 예측의 미래 블라인드 시험의 요구 사항을 식별하는 데 유용했다.