30 мая отгремело Техношоу МИЭМ. О том, как это было, мы уже рассказывали ранее. Сегодня мы познакомим вас с одним из перспективных проектов выставки: “Разработка системы распознавания (ML) и интеллектуального контроля ручных операций в промышленном производстве”.
Техношоу 2022: самые яркие проекты
Команда проекта создала программу, которая использует модули с нейронными сетями, чтобы в режиме реального времени анализировать процесс сборки детали и сообщать оператору-сборщику о его корректных и некорректных действиях.
Команда состоит из четырех студентов: Ярослав Мазиков (2-ой курс Прикладной математики) и Сергей Лукашев (3-й курс Информационной безопасности) занимают позицию исследователя в области машинного обучения; Дарья Козырева и Алексей Солдатов (оба на 3-м курсе Прикладной математики) – python разработчики. Команда методично работала под руководством Минченкова Виктора Олеговича.
Мы взяли интервью у Сергея, чтобы подробнее узнать о самом проекте и его результатах.
Сергей Лукашев, исследователь в области машинного обучения
– Какое оборудование вы используете?
– Сейчас мы предполагаем, что сборка детали происходит на столе. Тогда для интеллектуального контроля мы используем:
камеры, чтобы понимать, что происходит на столе;
искусственное освещение, чтобы картинка с камеры не зависела от окружающих условий;
проектор, чтобы была возможность подсвечивать некоторые области сборки;
специализированный стенд со столешницей, на которой происходит сборка;
настраиваемую металлическую конструкцию/стенку в задней части стола, чтобы расположить там камеры, свет и проектор;
и компьютер, на котором происходят все вычисления. Его мы располагаем под столом.
Оборудование
– Сбор каких деталей программа может отследить? Ваша технология применима для любой отрасли или для какой-то конкретной?
– Ограничения на отрасль нет. Есть некоторые технические особенности, с которыми придется считаться, и первая – размер детали. Если нам предстоит следить за большим столом, на котором расположены детали размером менее сантиметра, то мы столкнемся с вопросом: "А улавливает ли наша камера эти объекты?". Пока наши эксперименты показывают, что для качественной детекции объектов на столе необходимо минимум 60 пикселей на деталь на исходном изображении. При этом снимать в очень большом количестве тоже нельзя: появится упор в вычислительные мощности. Так что пока четко сформулировать ограничения сложно. На данный момент мы работаем с деталями от велосипедной втулки. Там есть как детали размером порядка 5 сантиметров, так и от 15см.
– На техношоу показалось, что пока камеры следят только за правильным порядком расположения деталей, а не самой сборкой. Это так?
– На текущий момент это так. Но "под капотом" у стенда лежит архитектура, которая должна позволить довольно просто интегрировать любой usecase, который только может потребоваться. Ведь важно не только научить программу следить за сборкой втулки, но и сделать это так, чтобы потом вместо втулки можно было в краткие сроки добавить возможность собирать другую деталь. Поэтому в данном стенде используются паттерны проектирования, которые должны быть в любом серьёзном современном проекте.
– То есть сейчас можно правильно расположить три детали, но программа не отследит, правильно ли в итоге их собрали?
– Да. Сейчас у нас нет модуля, который отвечал бы за правильность соединения деталей, но в будущем мы сможем его внедрить: для этого почти все готово. Да и сама эта задача, насколько мне известно, в области нейронных сетей еще не имеет решения. Есть разные новости, что какие-то компании показали нечто подобное нашей задумке, но понять, как они это сделали, не представляется возможным.
– Каков спрос на такие установки? Сейчас процесс сборки сильно автоматизирован.
– Изначально, проект создавался для тех производств, где автоматизация по различным причинам не представляется возможной. Поскольку проект еще далёк от состояния, в котором его можно было бы представить покупателям, то и спроса нет. Но интерес к данной разработке проявляют многие. Техношоу МИЭМ отлично дало это понять, когда вся наша команда из 4-ех человек несколько часов без передышки рассказывала гостям о проекте :).
– Спасибо за интервью!
