Введение в предмет Computational Neuroscience (вычислительная нейронаука).
Истоки нейронауки: достижения биологии и физиологии, психологии,
дискретная математики, кибернетики, статистической физики и синергетики.
Роль компьютерного моделирования. Философские основания нейронауки.
Исторический обзор. Структура курса. Учебная и ознакомительная литература.
"Подмигните компьютеру - он поймет". В начале 90-х под таким заголовком в старейшей
уважаемой газете Нью-Йорк Таймс появилась статья, рассказывающая о современных
достижениях и направлениях в области интеллектуальных компьютерных систем.
Среди магистральных путей развития данной отрасли эксперты издания выделили
- Компьютеры с высокой степенью параллелизма обработки информации, которые
могут разделить ту или иную задачу на части и обрабатывать их одновременно,
тем самым значительно сокращая общее время вычислений;
- Компьютеры, в которых вместо электронных сигналов для передачи информации
используется оптика. Оптические сигналы уже начали использоваться для передачи
данных между компьютерами;
- Компьютеры с нейронными сетями, представляющие собой машины, работающие
аналогично тому, как по нашим современным представлениям, функционирует мозг.
Последнее, третье, направление, которое существенно опирается на первые два,
и составляет основную тему предлагаемого курса Лекций. При этом курс сфокусирован
лишь на одном из разделов направления искусственных нейронных сетей,
а именно, на нейроинформатике, как науке, изучающей нейроподобные способы
обработки информации при помощи компьютеров.
Разнообразие, большой об'ем и противоречивость различной диагностической
информации выводят на передний план проблему поиска физических систем, способных
к ее переработке. Решение этой комплексной задачи тесно связано с новыми
информационными технологиями, важное место среди которых занимают методы
распознавания и категоризации образов. Нейронные сети - мощный и на сегодня,
пожалуй, наилучший метод для решения задач распознавания образов в ситуациях,
когда в экспериментальных данных отсутствуют значительные фрагменты информации,
а имеющаяся информация предельно зашумлена. Высокая степень параллельности,
допускаемая при реализации нейросистем, обеспечивает обработку недоступных
оператору об'емов информации за времена, меньшие или сравнимые с
допустимыми временами измерений.
К рубежу 80-х годов были достигнуты значительные результаты в совсем молодой
синергетике, науке о самоорганизации в неравновесных системах; систематизированы факты
и проведены многочисленные новые эксперименты в нейрофизиологии, в частности, подробно
изучено строение и механизм действия отдельных нейронов; сформулирован принцип работы и
создана первая ЭВМ с параллельной архитектурой. Эти обстоятельства, по-видимому,
стимулировали начало интенсивных исследований нейронных сетей, как моделей
ассоциативной памяти.
Широкий интерес к нейронным сетям был инициирован после появления
работы Хопфилда (Hopfield J.J., 1982), который показал, что задача с изинговскими
нейронами
может быть сведена к обобщениям ряда моделей, разработанных к тому моменту в физике
неупорядоченных систем. Работа сети Хопфилда (наиболее подробно обсуждаемая в
физической литературе)
состоит в релаксации начального "спинового портрета" матрицы двоичных кодов
к одному из стационарных состояний, определяемых
правилом обучения (правилом Хебба). Таким образом, данная сеть может применяться для
задач распознавания.
В 1986 году появилась работа Румельхарта, Хинтона и Вильямса
(Rumelhart D.E., Hinton G.E., Williams R.J., 1986), содержавшая ответ на вопрос,
долгое время сдерживавший развитие нейроинформатики - как обучаются иерархические
слоистые нейронные сети, для которых "классиками" еще в 40-50 х годах была доказана
универсальнось для широкого класса задач. В последующие годы предложенный
Хинтоном алгоритм обратного распространения ошибок претерпел бесчисленное
множество вариаций и модификаций.
Многообразие предлагаемых алгоритмов, характеризующихся различной степенью детальности
проработки, возможностями их параллельной реализации, а также наличием аппаратной
реализации, приводит к особой актуальности исследования по сравнительным характеристикам
различных методик.
Нейронаука в современный момент переживает
период перехода от юного состояния к зрелости. Развитие в области теории и приложений
нейронных сетей идет в самых разных направлениях: идут поиски новых нелинейных
элементов, которые могли бы реализовывать сложное коллективное поведение в ансамбле
нейронов, предлагаются новые архитектуры нейронных сетей, идет поиск областей приложения
нейронных сетей в системах обработки изображений, распознавания образов и речи,
робототехники и др. Значительное место в данных исследованиях традиционно занимает
математическое моделирование.
Необходимость написания систематического курса по теории нейронных сетей и
вычислительным системам на их основе во многом определяется отсутствием отечественных
учебных монографий по этой теме. Кроме того, сама эта тема пока не заняла свое место в
традиционных курсах университетов и ВУЗов. И хотя промышленные эксперты американского
Управления перспективных исследований DARPA ожидают начало массового распространения новой
нейросетевой технологии в конце 90-х годов, уже сегодняшний уровень теоретического
понимания и практического использования нейронных сетей в мировой информационной индустрии
все явственнее требует профессиональных знаний в этой области.
Главной задачей предлагаемого курса является практическое введение в современные методы
и системы обработки информации, об'единенные в научной литературе термином Computational
Neuroscience (вычислительная нейро-наука), а также введение в перспективные подходы
построения вычислительных и информационных систем новых поколений.
Особенностью рассматриваемой нами темы является ее междисциплинарный характер. Свой
вклад в становление нейронауки внесли биологияи физиология высшей нервной деятельности,
психология восприятия, дискретная математика, статистическая физика и синергетика, и,
конечно, кибернетика и, конечно, компьютерное моделирование.
Лекции содержат основную информацию о принципах организации естественных (биологических)
нейронных сетей и их математических моделей - искусственных нейронных сетей, необходимую
для синтеза нейросетевых алгоритмов для практических задач. Для этой цели в книгу включены
две вводные темы - математическое введение (Лекция 2) и вводные биологические сведения
(Лекция 3). Формальное математическое наполнение курса сведено к минимуму и опирается на
базовые знания по курсам линейной алгебры и дифференциальных уравнений. Поэтому он может
быть рекомендован и, в основном, предназначен для струдентов инженерных специальностей, а
также математиков-прикладников и программистов.
Основные разделы курса
-
Введение, сведения из биологии, физиологии
высшей нервной деятельности, психологии, кибернетики, статистической физики и дискретной
математики;
-
Биологический нейрон и его математическая модель;
-
ПЕРСЕПТРОН, линейная разделимость и теорема Розенблатта об обучении;
-
Обучение нейронной сети, как задача комбинаторной оптимизации;
-
Правило Хебба, модель Хопфилда и ее обобщения;
-
Иерархические нейронные сети;
-
Алгоритм обратного распространения ошибок;
-
Модели Липпмана-Хемминга, Хехт-Нильсена, Коско;
-
Способы представления информации в нейронных сетях;
-
Современные нейросетевые архитектуры, КОГНИТРОН и НЕОКОГНИТРОН Фукушимы;
-
Теория адаптивного резонанса;
-
Алгоритмы генетического поиска для построения топологии и обучениия нейронных сетей;
-
Адаптивный кластерный анализ и карта самоорганизации Кохонена;
-
Конечные автоматы и нейронные сети;
-
Заключение - современные день нейронауки,
нейро-ЭВМ шестого поколения, нейропроцессоры, математическое обеспечение, научные и
коммерческие приложения.
Литература
А. Основная
- Ф. Уоссермен. Нейрокомпьютерная техника. Москва: Мир, 1992.
- А.Н. Горбань, Д.А. Россиев. Нейронные сети на персональном компьютере.
Новосибирск: Наука, 1996.
- Информатика. Справочник. Под. Ред. Д.А.Поспелова. Москва: Педагогика, 1996.
Б. Дополнительная
- Т. Кохонен. Ассоциативная память. Москва: Мир, 1980.
- Ф. Розенблатт. Принципы нейродинамики. Москва: Мир, 1965.
- Автоматы. Под. ред. К.Э. Шеннона и Дж. Маккарти. Москва: Издательство Иностранной
Литературы, 1956.
- Д. Марр. Зрение. Москва: Радио и Связь, 1987.
- М. Минский, С. Пейперт. Персептроны. Москва: Мир, 1971.
- Н. Винер. Кибернетика. Москва: Советское радио, 1968.
- А.А. Веденов. Моделирование элементов мышления. Москва: Наука, 1988.
- А.Ю. Лоскутов, А.С. Михайлов. Введение в синергетику. Москва: Наука, 1990.
- С.О. Мкртчян. Нейроны и нейронные сети. Москва: Энергия, 1971.
- А.Н. Горбань. Обучение нейронных сетей. Москва: СП "Параграф", 1990.
- А.И. Галушкин. Синтез многослойных схем распознавания образов. Москва: Энергия, 1974.
- Ф.Г. Гантмахер. Теория матриц. Москва: Наука, 1988.
- Н. Грин, У. Стаут, Д. Тейлор. Биология. Под.ред. Р.Сопера. Т.1-3, Москва: Мир, 1990.
- Г. Шеперд. Нейробиология. Тт. 1-2, Москва: Мир, 1987.
- Ф. Блум, А. Лейзерсон, Л. Хофстедтер. Мозг, разум и поведение. Москва: Мир, 1988.
- Б. Банди. Методы оптимизации. М. Радио и связь, 1988
Замечание к электронному варианту 1998 г.
За прошедшие 5 лет с момента написания Лекций в Российской нейроинформатике
произошли значительные изменения. Разнообразные курсы по нейронным сетям начали
повсеместно входить в программы высшей школы для различных технических специальностей.
Появились и, немногочисленные пока, учебники, среди которых в первую очередь
следует отметить книгу А.Н. Горбаня и Д.А. Россиева (1996). Увы, тираж в 500 экземпляров
не позволяет рассматривать это превосходное (хотя и относительно сложное) издание
в качестве базового учебника.
|
материалы 