Аннотация

Аннотация: В статье рассмотрена задача распознавания и интерпретации изображений объектов на основе гарнитуры смешанной реальности Microsoft Hololens 2 в контексте работы по оптимизации процесса идентификации комплектующих персонального компьютера (КПК). Для решения поставленной задачи разработаны программные средства (ПС), имеющие клиент-серверную архитектуру. Клиентская часть ПС расположена на гарнитуре Microsoft Hololens 2 и отвечает за графический интерфейс, формирование снимков КПК, а также – отправку запросов на сервер. Серверная часть ПС содержит модуль аннотирования изображений, модуль перевода текстовых описаний, а также – модуль базы данных с информацией о названиях КПК, их текстовых описаниях и верифицирующих изображениях. Модули аннотирования и перевода текстов основаны на применении моделей нейронных сетей глубокого обучения – BLIP и T5 соответственно, представляющих собой модели-трансформеры. При этом для модели BLIP на наборе данных, содержащем примеры из предметной области в виде пар «изображение – аннотация», выполнено дообучение, позволившее в процессе распознавания изображений формировать точные аннотации КПК. Разработанные ПС могут быть использованы при выполнении инвентаризации КПК с использованием гарнитуры Microsoft Hololens 2 для оптимизации процесса их идентификации, а также при обучении персонала, работающего с КПК.