신경망 과대광고와 약한 기준선에 대한 비교

최근 기계 학습 커뮤니티는 자성의 순간을 가졌습니다. ICLR 2018에서 널리 논의된 논문에서 Sculley 등은 다음과 같이 썼습니다: "우리는 경험적 발전의 속도가 전체 분야에서 경험적 엄격성의 일관된 증가와 일치하지 않을 수도 있다는 것을 관찰합니다." 그들의 주요 불만은 "승리를 강조하는 연구 및 출판 문화의 발전"(원문 강조)으로, 이는 일반적으로 "새로운 방법이 주어진 작업이나 벤치마크에서 이전 방법보다 우수함을 입증하는 것"을 의미합니다. 적절한 설명은 "리더보드 쫓기"일 수 있으며, 많은 비전 및 NLP 작업에서는 비유가 아닙니다. 중앙 집중식 리더보드1가 존재하여 점진적인 진행 상황을 다섯 번째 소수점까지 추적하며, 일부는 수년간 지속되어 수십 개의 항목을 축적합니다. Sculley 등은 "과학의 목표는 승리가 아니라 지식"이라고 상기시킵니다. 오늘날 과학적 기업의 구조(출판 압력, 진행 속도 등)는 "이기는 것"과 "좋은 과학을 수행하는 것"이 자주 완전히 일치하지 않는다는 것을 의미합니다. 그들은 최근 신경망의 발전이 더 나은 하이퍼파라미터 최적화와 같은 평범한 문제에 기인할 수 있다는 여러 논문을 인용합니다. 많은 결과는 재현할 수 없으며, 관찰된 일부 개선은 단지 잡음일 수 있습니다.