Explorando TensorRT para Mejorar la Inferencia en Tiempo Real para Aprendizaje Profundo

El aprendizaje profundo (DL) ha evolucionado drásticamente y se ha convertido en una de las técnicas de aprendizaje automático más exitosas. Una variedad de aplicaciones habilitadas por DL se han integrado ampliamente en sistemas de software, incluyendo los embebidos. A pesar de haber logrado resultados muy exitosos en precisión, el gran tamaño de las redes neuronales profundas podría requerir un consumo significativo de recursos de tiempo de ejecución y computación. Para superar estas desventajas, se ha desarrollado TensorRT y puede ser incorporado en marcos populares de DL como PyTorch y Open Neural Network Exchange (ONNX). En este documento, centrados en la inferencia, proporcionamos una evaluación integral sobre el rendimiento de TensorRT. Específicamente, evaluamos la validación de la salida de inferencia, el tiempo de inferencia, el rendimiento de inferencia y el uso de memoria de GPU. Nuestros resultados demuestran que TensorRT es capaz de mejorar significativamente las métricas de eficiencia de inferencia sin comprometer la precisión de la inferencia. Además, TensorRT puede ser adoptado a través de varios flujos de trabajo alternativos. Nuestra evaluación también muestra los pros y contras de estos flujos de trabajo de TensorRT. Analizamos cada flujo de trabajo y discutimos la selección del flujo de trabajo para diferentes escenarios de aplicación.