Вы представитель учебного заведения ? Вашей организации ещё нет на нашем портале ? Добавить учебное заведение
Город: Москва

Российские ученые улучшили метод глубокого обучения нейросетей

В Институте интеллектуальных кибернетических систем НИЯУ МИФИ предложили новый метод для обучения ограниченной машины Больцмана (вид нейросети), позволяющий оптимизировать процессы семантического кодирования, визуализации и распознавания данных. Результаты исследования опубликованы в журнале «Optical Memoryand Neural Networks».

В настоящее время большую популярность приобретает изучение глубоких нейронных сетей различной архитектуры: сверточных, рекуррентных, автоэнкодерных. Ряд высокотехнологичных компаний, среди которых – Microsoft и Google, используют глубокие нейронные сети для проектирования различных интеллектуальных систем. Вместе с глубокими нейронными сетями приобрел популярность термин «глубокое» обучение.

В системах глубокого обучения автоматизируется сам процесс выбора и настройки признаков. То есть, сеть самостоятельно определяет и использует наиболее эффективные алгоритмы для иерархического извлечения признаков. Для метода глубокого обучения характерно обучение на больших выборках при помощи единого оптимизационного алгоритма. Типичные алгоритмы оптимизации настраивают параметры всех операций одновременно и эффективно оценивают влияние каждого параметра нейросети на ошибку с помощью так называемого метода обратного распространения.

«Способность искусственных нейронных сетей обучаться является наиболее интригующим их свойством. Подобно биологическим системам, нейронные сети сами моделируют себя, стремясь достичь лучшей модели поведения», — отметил профессор Института кибернетических систем НИЯУ МИФИ Владимир Головко.

Прорыв в обучении нейросетей произошел в 2006 году, после научной публикации Джеффри Хинтона с описанием техники предварительной тренировки нейросети. В статье говорилось, что можно эффективно предобучать многослойную нейронную сеть, если обучать каждый слой отдельно при помощи ограниченной машины Больцмана, а затем дообучать методом обратного распространения ошибки. Эти сети получили название нейронных сетей глубокого доверия (Deep Belief Networks, DBN).

Профессор ИИКС НИЯУ МИФИ Владимир Головко проанализировал проблематику и основные парадигмы глубокого машинного обучения, предложив новый метод для обучения ограниченной машины Больцмана. Ученый показал, что классическое правило обучения этой нейросети является частным случаем предложенного им метода.

«Американские ученые Минский и Пейперт в свое время выявили, что однослойный персептрон с пороговой функцией активации формирует линейную разделяющую поверхность с точки зрения классификации образов и поэтому не может решить задачу «исключающее или». Это провоцировало пессимистические выводы насчет дальнейшего развития нейронных сетей. Однако последнее утверждение справедливо только для однослойного персептрона с пороговой или монотонной непрерывной функцией активации – например, сигмоидной. При использовании сигнальной функции активации однослойный персептрон может решить задачу «исключающее или», так как он разбивает входное пространство образов на классы при помощи двух прямых», – рассказал Владимир Головко.

В работе также были проанализированы перспективы применения глубоких нейронных сетей для сжатия, визуализации и распознавания данных. Кроме того, Головко предложил подход к реализации семантического кодирования (хеширования) с помощью глубоких автоассоциативных нейронных сетей. Этот метод глубокого обучения может быть очень полезен в поисковиках для нейросетей, которые, по утверждению автора, будут показывать высокую скорость поиска релевантных изображений.

Практическую ценность данных научных разработок сложно переоценить: они уже нашли применение в таких областях, как компьютерное зрение, распознавание речи и биоинформатика.

РИА Новости

вуз: Национальный исследовательский ядерный университет "МИФИ"
Читать еще: Комментариев нет
  • Желаете оставить комментарий?
Новости других учебных заведений Москвы:
  • 11.01 Ушел из жизни Дмитрий Иванович Михайлик
    Академия Государственной противопожарной службы Министерства Российской Федерации по делам гражданской обороны, чрезвычайным ситуациям и ликвидации последствий стихийных бедствий

    11 января на 99-м году жизни ушел из жизни легенда МЧС России Дмитрий Иванович Михайлик.

  • 10.01 Гайдаровский форум в РАНХиГС откроется двумя мероприятиями образовательной тематики
    Российская академия государственной службы при Президенте Российской Федерации

    Первый день Х Гайдаровского форума начнется с делового завтрака Forbes и Трианонского диалога «Россия – Франция: новые технологии образования».

  • 10.01 «Место встречи умных людей»: что ждать от Гайдаровского форума – 2019
    Российская академия государственной службы при Президенте Российской Федерации

    С 15 по 17 января в Москве пройдет Гайдаровский форум, который проводится в формате международной научно-практической конференции с 2010 г. Форум стал удобной площадкой для встречи ведущих российских ...

  • 10.01 Начались учебные будни
    Академия Государственной противопожарной службы Министерства Российской Федерации по делам гражданской обороны, чрезвычайным ситуациям и ликвидации последствий стихийных бедствий

    После праздничной суеты вновь наступили учебные будни в Академии.

  • 10.01 Приглашаем на магистерские программы: "Международная экономика", "Маркетинговое управление"
    Всероссийская академия внешней торговли Министерства экономического развития Российской Федерации

    Заочная форма обучения сочетает в себе самостоятельную работу студентов по программам курсов учебного плана и 2-х недельные учебные сборы (экзаменационно-установочные сессии), которые проводятся два р...