컴퓨터 비전과 창의적 콘텐츠 생성: 텍스트-스케치 변환

컴퓨터 비전 및 창의적 콘텐츠 생성 분야 내에서, 텍스트 설명을 기반으로 시각적 요소를 결합하는 과정은 매력적인 연구 및 발전 영역으로 떠오르고 있습니다. 이 분야에서 흥미로운 응용 프로그램은 텍스트-스케치 변환으로, 이는 고급 머신 러닝 방법을 사용하여 서면 설명을 동등한 스케치나 그림으로 변환합니다. 시각적 표현의 활용은 항상 뛰어난 소통 방법으로 입증되었습니다. 따라서 모든 소통 영역에서 시각화를 통합하는 것은 프로세스의 효율성을 크게 향상시킬 것입니다. 이 논문의 목적은 이를 달성하는 것입니다. 이 논문은 사용자가 제공한 설명을 사용하여 그림의 스케치를 생성하는 이미지 생성기의 개발을 제시합니다. 생성된 외형은 웹사이트 내의 HTML 캔버스에 전시됩니다. 생성기는 사용자의 설명을 파싱하기 위해 POS 태깅을 사용하며, 그런 다음 파싱된 설명을 기반으로 원하는 이미지를 생성하기 위해 숨겨진 층 회귀 신경망과 Sketch RNN을 활용합니다. Quick Draw 데이터셋에서 사전 훈련된 Sketch RNN 모델이 사용자의 설명에 언급된 객체의 스케치를 그리는 데 사용됩니다. 또한 신경망이 사용자 지침에 따라 객체를 배치하는 데 활용됩니다. 결과는 HTML 캔버스에 렌더링된 일련의 붓놀림으로 구성됩니다. 이 소프트웨어는 모든 컴퓨터의 모든 시스템 사용자가 사용할 수 있으며, 키보드를 사용하여 자신의 문자열을 입력할 수 있습니다. 이 소프트웨어는 최소한의 하드웨어 사양을 갖춘 PC에서도 효율적이고 신뢰성 있게 작동할 수 있습니다. 사전 설치된 브라우저를 통해 사용자는 웹 페이지의 사용자 인터페이스를 볼 수 있으며, 정보를 입력하고 해당 출력 결과를 받을 수 있습니다.