Студенты НИТУ МИСИС создали систему адаптации фильмов для незрячих

14 04 2023 / Новости ВУЗов

При разработке видеоредактора с тифлокомментариями использованы три разные state-of-the-art (флагманские) модели глубокого обучения, каждая из которых призвана решить определенную задачу. Первая анализировала аудиоряд и видеопоток для поиска тех моментов в фильме, где было бы уместно вставить озвучку происходящего. Вторая модель генерировала текстовое описание текущего кадра, а третья — озвучивала подготовленный текст. По словам разработчиков, им было интересно поработать с актуальной проблемой адаптации контента и интерфейсов для людей с ограниченными возможностями и создать полноценный видеоредактор в виде веб-приложения, применив на практике последние подходы в решении задач image2text, text2speech, voice detection. В перспективе видеоредактор может быть доработан и использован в работе онлайн-кинотеатров, что позволит незрячим людям лучше представлять атмосферу фильмов. На сегодняшний день подобные сервисы создаются только для внутреннего пользования онлайн-кинотеатрами. В открытом доступе подобного программного обеспечения нет. Разработкой занимались студенты 4 курса Университета МИСИС Дмитрий Дин, Марк Кувшинов, Дмитрий Личко, а также студентки 3 курса МГУ имени Ломоносова Полина Черникова и Анастасия Гисина. Ребята создали видеоредактор в рамках хакатона TrueTech, организованного компанией МТС, и заняли первое место. Приз победителям составил 400 000 рублей.

Учебное заведение

Университет науки и технологий МИСИС

г. Москва Есть представитель

Отзывы 1 Задать вопрос

Позвонить

Студенты НИТУ МИСИС создали систему адаптации фильмов для незрячих

Получить доступ в личный кабинет