Инвентос на Videotech 2023. Методы ускорения инференса нейронных сетей на примере видеоаналитики
VideoTech – конференция посвященная технологиям видео. Мероприятие объединяет и развивает профессиональное сообщество разработчиков и инженеров, специализирующихся на создании стриминговых платформ, сервисов видеоконференцсвязи, плееров, инфраструктур хранения и раздачи видеоконтента.
В этому году VideoTech проходил в онлайн формате 16-17 ноября и офлайн 21-22 ноября. Со стороны нашей команды в онлайн части конференции с докладом выступил Александр Шалимов, ведущий инженер Инвентос. Тема доклада «Методы ускорения инференса нейронных сетей на примере видеоаналитики».
Александр рассказал о применении и оптимизации нейронных сетей в реальных условиях – обработке видео с камер дорожного наблюдения и обнаружения транспортных средств. В докладе разобраны задачи, в которых требуется оптимизация нейронных сетей, типовые проблемы, техники и подходы решения. Особое внимание уделено сравнению производительности инференса, как влияет выбор языка программирования и оптимизации работы с памятью при ускорении нейронных сетей.
На примере задач команды Александр поделился опытом использования метода квантизации и использования аппаратно-ориентированных библиотек. В результате оптимизации производительность увеличилась в 4 раза на конечном устройстве Jetson NX без существенного ухудшения метрик.
Представленные подходы универсальны и позволяют адаптировать их для любых задач и областей, где используются нейронные сети.
Сопроводил выступление и принял участие в обсуждении эксперт компании Viasat Tech Евгений Ильюшин.
Доклад будет полезен специалистам по машинному обучению и нейросетям из разных отраслей.
Смотрите запись выступления на платформе Webcaster.