Физики из Петрозаводского государственного университета предложили новый метод запоминания и распознавания образов в импульсной нейронной сети. Его применение позволит выполнять сложные логические и когнитивные задачи при помощи устройств малого размера с небольшим количеством нейронов. Исследование, выполненное при поддержке РНФ, опубликовано в журнале Electronics.
Искусственные нейронные сети, используемые в решении задач машинного обучения, строятся по тем же принципам, что и сети нервных клеток в живом организме. Запоминание и распознавание информации происходит за счет передачи сигналов между отдельными нейронами системы. Обычно нейронные сети реализуются программно, но могут состоять и из физических устройств, среди которых наиболее распространены осцилляторные, то есть колебательные. Показатели каждого нейрона в них, например, электрическое сопротивление, ритмически меняются.
Модельными объектами в новом исследовании стали сети из нескольких нейронов-осцилляторов на базе электрических переключателей из диоксида ванадия. Характеристики этих устройств меняются под воздействием температуры, что позволяет управлять системой. Через подложку, на которой находятся переключатели, распространяется тепло. Каждый нейрон под его воздействием генерирует собственные импульсы, и следующий переключатель, получая сигнал, переходит из открытого состояния в закрытое или наоборот. Этот термический тип связи между нейронами – запатентованная разработка авторов исследования.
Переключения каждого нейрона происходят на определенной частоте, и со временем частоты разных осцилляторов синхронизируются. Состояние системы, при котором это происходит, называется синхронным, и каждое такое состояние может быть использовано для обучения сети. Для этого информацию переводят в векторную форму. Объекты для запоминания описывают по нескольким признакам: размеру, форме, массе, компонентам цвета, скорости движения и т. д. Со значением каждого признака сопоставляются координаты вектора. Например, если описывать объекты по их цветам в модели RGB (Red, Green, Blue), то вектору с координатами (150, 31, 200) будет соответствовать один конкретный цвет – между фиолетовым и лиловым. Каждый вектор соответствует параметрам системы в одном из синхронных состояний. При обучении нейронная сеть запоминает несколько различных векторов. И если после обучения при вводе тестового вектора система возвращается к наиболее близкому из ранее запомненных синхронных состояний, происходит распознавание.
Основой для метода стала обнаруженная физиками частичная синхронизация системы, или синхронизация на субгармониках. Выяснилось, что колебания разных нейронов в сети синхронизируются не только на основной частоте, но и на частотах, равных ее кратным долям. Если учитывать эти субгармоники, частотная область синхронизации значительно расширяется, а число возможных синхронных состояний многократно возрастает. Удалось смоделировать достижение 260 состояний синхронизации для системы из двух осцилляторов и 650 – из трех. Каждое из них потенциально может быть использовано для запоминания и распознавания информации.
Увеличение числа синхронных состояний за счет субгармоник называется эффектом синхронизации высокого порядка. Каждый нейрон при этом имеет несколько синхронных состояний. Так, осцилляторная сеть даже из малого количества составляющих может выполнять сложные операции, к примеру распознавать речь, изображения и видео, а также решать задачи прогнозирования, оптимизации и управления.
«В ряде наших исследований начата разработка методик обучения подобных нейронных сетей и показана их реальная работа в качестве устройств распознавания образов, – отмечает ведущий научный сотрудник Петрозаводского государственного университета Андрей Величко. – В перспективе на основе этих сетей могут быть созданы компактные нейросетевые чипы с наноразмерными осцилляторами. Хотя в своих исследованиях мы использовали только один модельный объект, термически связанные осцилляторы на основе диоксида ванадия, разработанный метод является достаточно общим. Закономерности, которые мы выявили, фундаментальны и могут применяться в исследованиях осцилляторных сетей с различными механизмами и топологией связей нейронов. Мы надеемся на сотрудничество с другими российскими и зарубежными научными группами».