대규모 언어 모델(LLM)은 웹 텍스트와 구조와 내용이 크게 다른 개인 데이터 생태계의 기업 데이터베이스 테이블에 대해 거의 알지 못합니다. LLM의 성능은 교육 데이터와 밀접하게 연결되어 있으므로, 기업 데이터베이스 관리 및 분석 작업을 개선하는 데 얼마나 유용할 수 있는지가 중요한 질문입니다. 이를 해결하기 위해, 우리는 기업 데이터셋에서 텍스트-투-SQL 및 의미론적 열 유형 감지 작업에 대한 LLM의 성능에 대한 실험 결과를 제시합니다. 기업 데이터에 대한 LLM의 성능은 일반적으로 사용되는 벤치마크 데이터셋에 비해 상당히 낮습니다. 우리의 발견과 업계 실무자로부터의 피드백에 따라 우리는 지연 시간, 비용, 품질의 세 가지 근본적인 문제를 식별하고, 기업 데이터 워크플로우에서 LLM을 효과적으로 활용하기 위한 잠재적 솔루션을 제안합니다.
Demiralp et al. (Mon,)은 이 문제를 연구했습니다.