μ§λ₯ν κ΅ν΅ μμ€ν λ° μμ¨μ£Όν νκ²½μμ 보νμ μμ μ 보μ₯νκΈ° μν΄, λλ‘μ 보νμ μμμ μ μνκ³ μ ννκ² λΆν νλ κΈ°μ μ ν΅μ¬μ μΈ μμμ΄λ€. λ₯λ¬λ κΈ°λ°μ μμ λΆν λͺ¨λΈμ λμ μ νλλ₯Ό 보μ΄μ§λ§, λ°©λν μ°μ°λκ³Ό λ©λͺ¨λ¦¬ μκ΅¬λ‘ μΈν΄ κ³ κ°μ GPU μμ΄λ μ€μκ° μ²λ¦¬κ° μ΄λ ΅λ€λ μ€μ§μ μΈ νκ³κ° μ‘΄μ¬νλ€. λ³Έ λ Όλ¬Έμ μ΄λ¬ν νλμ¨μ΄ μμ‘΄μ±μ 극볡νκ³ , λ²μ© CPU νκ²½μμ μ€μκ° μ±λ₯κ³Ό μ νλλ₯Ό λμμ λ¬μ±νλ λͺ¨λΈ μ΅μ ν λ°©μμ μ μνλ€. μ΄λ₯Ό μν΄, λνμ μΈ μμ λΆν λͺ¨λΈμΈ DeepLabv3λ₯Ό κΈ°λ°μΌλ‘ μΈν μ OpenVINO ν΄ν·κ³Ό NNCF(Neural Network Compression Framework)λ₯Ό νμ©νμλ€. 32λΉνΈ λΆλμμμ (FP32) λͺ¨λΈμ 8λΉνΈ μ μ(INT8) λͺ¨λΈλ‘ λ³ννλ νμ²λ¦¬ μμν(PTQ) κΈ°λ²μ μ μ©νμ¬ μΆλ‘ κ³Όμ μ κ°μννμλ€. μ€ν κ²°κ³Ό, CPU νκ²½μμ INT8 λͺ¨λΈμ μλ³Έ FP32 λͺ¨λΈ λλΉ μΆλ‘ μλκ° 45.77% ν₯μλμ΄ 56.63 FPSλ₯Ό λ¬μ±, μ€μκ° μ²λ¦¬ κΈ°μ€(30 FPS)μ μ΄κ³Όνλ μ±λ₯μ ν보νμλ€. λν, μ΅μ νλ λͺ¨λΈμ YOLOv8 κ°μ²΄ νμ§ λͺ¨λΈκ³Ό μ΅ν©ν 보νμ μν κ°μ§ μμ€ν μ μ μ©νμ¬ κ²μ¦ν κ²°κ³Ό, μ νλ μ νμμ΄ μλ³Έκ³Ό λλ±ν 88.6%μ mAPλ₯Ό μ μ§ν¨μ νμΈνμλ€. λ³Έ μ°κ΅¬λ μ μλ μμν κΈ°λ²μ΄ κ³ λΉμ© νλμ¨μ΄ μμ΄λ λ₯λ¬λ λͺ¨λΈμ ν¨μ¨μ±μ κ·Ήλνν μ μμμ μ μ¦νμλ€. μ΄λ μ λΉμ© μ£μ§ λλ°μ΄μ€λ λ²μ© μλ² νκ²½μμ μ€μκ° λ³΄νμ μμ μμ€ν μ ꡬννλ λ° μ€μ§μ μΈ κΈ°μ¬λ₯Ό ν κ²μΌλ‘ κΈ°λλλ€.
Jong-Cheol Hwang (Tue,) studied this question.