EfficientViT-SAM: Modelo Acelerado para Segmentar Cualquier Cosa Sin Pérdida de Rendimiento

Presentamos EfficientViT-SAM, una nueva familia de modelos acelerados para segmentar cualquier cosa. Mantenemos el codificador de prompts ligero de SAM y el decodificador de máscaras, mientras sustituimos el pesado codificador de imágenes por EfficientViT. Para el entrenamiento, comenzamos con la destilación del conocimiento del codificador de imágenes SAM-ViT-H a EfficientViT. Posteriormente, realizamos un entrenamiento de extremo a extremo en el conjunto de datos SA-1B. Beneficiándonos de la eficiencia y capacidad de EfficientViT, EfficientViT-SAM ofrece una aceleración medida de 48.9× en TensorRT en GPU A100 respecto a SAM-ViT-H sin sacrificar rendimiento. Nuestro código y modelos preentrenados están disponibles en https://github.com/mit-han-lab/efficientvit.