Key points are not available for this paper at this time.
웹 페이지 디자인 비전에서 UI 코드를 자동으로 생성하는 것은 개발자의 부담을 크게 덜어줄 수 있으며, 초보 개발자나 디자이너가 디자인 다이어그램에서 직접 웹 페이지를 생성할 수 있게 합니다. 현재까지의 연구는 심층 신경망을 설계하여 근본적인 디자인 비전이나 스케치에서 UI 코드를 생성하는 목표를 달성했습니다. 다중 모달 대형 언어 모델(MLLM)에서 이루어진 획기적인 발전에 영감을 받아, 고품질의 디자인 이미지에서 UI 코드를 자동으로 생성하는 것이 가능성이 높아지고 있습니다. 그럼에도 불구하고, 우리의 조사 결과는 기존 MLLM이 진정한 고품질의 대규모 데이터셋의 부족으로 인해 자동화된 UI 코드 생성에서 불만족스러운 성능을 보이고 있음을 밝혀냈습니다. 이 격차를 해소하기 위해, 우리는 실제 시나리오에서 추출되고 포괄적인 레이아웃 정보로 보강된 새로운 데이터셋인 VISION2UI를 제시합니다. 이 데이터셋은 오픈 소스 Common Crawl 데이터셋의 수집, 정리 및 필터링을 포함하는 일련의 작업을 통해 파생되었습니다. 품질 유지를 위해 라벨이 있는 샘플에서 학습한 신경 점수를 사용하여 데이터를 정제하고, 더 높은 품질의 인스턴스를 유지합니다. 궁극적으로, 이 과정은 디자인 비전과 UI 코드를 포함하는 2,000개의 병렬 샘플로 구성된 데이터셋을 생성합니다(조만간 더 많은 내용이 추가될 예정입니다). 데이터셋은 https://huggingface.co/datasets/xcodemind/vision2ui 에서 이용 가능합니다.
Gui et al. (Tue,)은 이 문제를 연구하였습니다.