3. Искусственный разум на базе нейроподобной системы

Структура и элементы системы

Нейрон и связь

Нейрон является основным элементом системы и представляет собой элемент со множеством взвешенных выходов (рис справа). Путем подключения данных выходов к другим произвольным нейронам образуется нейроподобная сеть (рис слева). Выход нейрона, подключенный к другому нейрону образует связь, которая характеризуется:

• проводимостью; как уже говорилось, выходы нейрона взвешены, т.е. связь характеризуется некоторым множителем (весовым коэффициентом) w изменяющимся на интервале [0..1] и называющимся проводимостью;
• направлением; направление связи - от исходного нейрона к подключаемому; где первый является источником, второй - приемником;

Также связи разделяются на нормальную и инвертирующую. Для последней, при нормальном токе сигнала (от источника к приемнику) ее проводимость берется со знаком минус.

Проходя по связи сигнал маштабируется проводимостью, т. е. умножается на ее значение.

Характеристика нейрона. Нейрон суммирует сигналы, прошедшие по его входам, и результат подает на нейронную функцию (НФ), которая определяет характеристику нейрона.

Рассмотрим две нейронные функции: арктангенсоиду (1) и сигмоиду (2):

(1)
(2)

Где:

S - сумма сигналов на входе нейрона; определяется как S x_i * w_i,
x_i - сигнал на i - входе;
w_i - проводимость i - связи;
K_НК - коэффициент наклона кривой;
S_КТ - положение критической точки КТ (точка перегиба кривой, в ней первая производная достигает экстремума - максимума);
Y - выход нейрона; изменяется на интервале 0..1 и называется возбуждением нейрона;
Y_ВИВ - внутренний источник возбуждения, показывает, какое возбуждение имеет нейрон в КТ;

Для приведенных графиков К_НК = 2 S_КТ = 0.5 Y_ВИВ = 0.5

Данная функция выполняет следующие задачи:

1. нормирование выходного сигнала, т.е. приведение его к диапазону [0..1];
2. обеспечение скачкообразного изменения возбуждения в окрестности КТ, и плавного – за ее пределами;
3. Наличие некоторого возбуждения при отсутствии сигналов на входе нейрона -возбуждение покоя (ВП), определяется положением КТ и значением ВИВ;

Как видно из графиков, данные две функции обладают практически идентичными характеристиками, однако арктангенсоида имеет более выраженные параметры, поэтому в дальнейшем будем использовать именно ее.

Назовем сумму сигналов на входе нейроной функции результирующим входным сигналом (РВС). Далее вход НФ будем считать непосредственно входом нейрона.

Виды нейронов

Группа нейронов, условно объединенная по какому-либо признаку, называется нейрополем.

Нормальный нейрон
Нормальный нейрон – основной элемент нейросети. Расположен он между входными и выходными нейронами. Группа нормальных нейронов образует основное нейрополе сети.

Входной нейрон
Расположен на входе сети, и служит для приема информации из внешнего мира и возбуждается от рецепторов (органов чувств) системы. Группа входных нейронов образует входное поле сети.

Выходной нейрон
Находиться на выходе сети и управляет состоянием системы во внешнем мире и возбуждает эффекторы (мышцы) системы. Группа выходных нейронов образует выходное поле сети.

Входные и выходные нейроны образуют интерфейсное нейрополе (ИНП). Существует также эмоциональное нейрополе (ЭНП), которое будет рассмотрено ниже.

Иерархическая структура сети

Входными нейроном для исходного являются нейроны, подключенные на вход исходного. Соответственно, выходными нейронами будут являться нейроны, подключенные на выход исходного.

Путем назовем цепочку вида нейрон-нейрон-...-нейрон, для которой выполняются условия:

1. каждый последующий нейрон является входным или выходным для предыдущего; в первом случае будет прямой путь, во втором - обратный;
2. в данной цепочке нейроны не повторяются, т.е. путь не может проходить более одного раза через каждый нейрон;

Длинной пути называется количество его образующих связей, а проводимость пути определяется как произведение проводимостей всех образующих связей.

Теперь перейдем к иерархической структуре сети (ИСС). Важным понятием здесь выступает уровень абстракции (УА) нейрона. Нейроны ИНП будем считать нейронами 0-го УА.

Для определения УА произвольного нейрона необходимо определить путь с максимальной проводимостью между ним и нейроном ИНП. Длина такого пути и будет определять УА нейрона¹

Глубину сети определим максимальным УА нейронов. Она является качественной характеристикой сети. Поскольку при повышении УА количество нейронов будет уменьшаться, то сеть можно представить в виде конуса, объем которого - количество нейронов сети, высота - глубина сети.

Нейроны каждого УА можно представить в виде слоя, где степень принадлежности нейрона слою определяется проводимостью его пути до нейрона ИНП.

Если пронумеровать нейроны каждого слоя, то можно перейти к многослойной фрактальной системе координат нейроподобной сети. Слой образует n - мерную систему координат, где n — число нейронов слоя. Значение координаты показывает проводимость связи с данным нейроном. Тогда координаты любого нейрона можно задать в виде матрицы слои ґ координаты внутри слоя.

Здесь:
A — матрица-координата нейрона
a_ij — проводимость связи с нейроном i - слоя, j - номера внутри слоя
(n+1) — максимальное число нейронов в слое
m — глубина сети

Субъективную близость двух нейронов определим максимальной проводимостью пути между ними, а субъективным расстоянием — длинной данного пути.

Следует отметить высокую динамичность ИСС, вызванную постоянным изменением проводимости всех связей, а также добавлением новых.

Ансамблевая структура сети

Нейроны объединяются в ансамбли. Ансамбль – группа нейронов, одновременно возбуждаемых при определенных условиях. Ансамбль несет на себе семантическую нагрузку и является семантической единицей сети. Нейроны, входящие в ансамбль называются атомами данного ансамбля (АА).

На входы атомов ансамбля подключается нейрон, называемый определителем ансамбля (ОА). Главной отличительной особенностью ансамбля является одновременное возбуждение всех его элементов:

• при возбуждении АА, в результате обратного тока сигнала (см ниже), возбуждается и определитель; его возбуждение определяется значением возбуждения атомов и их количеством;
• при возбуждении ОА, в результате прямого тока сигнала, возбуждаются и атомы, пропорционально возбуждению определителя;

Следует отметить, что определители ансамблей могут являться атомами других ансамблей.

Характеристики ансамбля:

1. Объем определяется числом атомов
2. Возбуждаемость обратно пропорциональна среднему положению КТ
3. Целостность : определяется средним значением проводимости связей ОА с АА
4. Тип ансамбля определяется типом ОА и АА. Под типом понимается принадлежность его определенному нейрополю

Данная организация нейроподобной системы сходна с физическим миром, где из элементарных частиц образуются атомы, которые составляют молекулы, последние объединяются в более сложные структуры. В результате, имея в качестве строительного материала группу элементарных частиц и простые законы их взаимодействия (сильные, слабые, гравитационные и электромагнитные), мы можем соорудить довольно сложные системы. Точнее системы организуются самостоятельно на основании упомянутых законов взаимодействия.

Таким образом, главное – правильно определить взаимодействие элементов, механизмы, обеспечивающие их динамику.

Краткая характеристика функционирования системы.

Функционирование нейроподобной системы обеспечивается действием ряда механизмов, изменяющих ее структуру в плане самоорганизации. Рассмотрим кратко каждый из них.

Обратный ток сигнала

Связь проводит сигнал в обоих направлениях, причем ее проводимость в обратном направлении составляет w_ij K_ОТС, где K_ОТС — коэффициент проводимости в обратном направлении. Направление тока сигнала определяется разностью потенциалов (сигналов) на входе и выходе сети.

Пусть потенциал входа связи соответствует возбуждению источника — Y_i, потенциал выхода — пропорционален возбуждению приемника — K_ОТС Y_j. Тогда разность потенциалов будет U_ij = Y_i - K_ОТС Y_j. Если U_ij > 0, то сигнал течет от источника к приемнику, иначе — в обратном направлении. Величина сигнала составляет |U_ij|, а ток сигнала (значение после прохождения через связь) I_ij = |U_ij| w_ij — в прямом направлении, или I_ji = |U_ij| w_ij К_ОТС — в обратном.

Распределение возбуждения по нейросети

Т.к. алгоритм распределения возбуждения по сети является ключевым, представим его схематически в виде блок-схемы.

Обозначим:

S_i(t) — РВСi - нейрона, полученный в результате данного распределения;
S_i(t-1) — РВСi - нейрона в предыдущий такт распределения;
Y_i(t-1) — возбуждение i - нейрона в предыдущий такт

Кратковременная память

Реализуется за счет добавления к нейрону свойства инерции, т.е. затухание его РВС с течением времени.

Закон КВП представлен ниже:

S(t) = K_КВП S(t-1)

Где
         S(t) — текущее РВС нейрона
         S(t-1) — предыдущее РВС нейрона
         К_КВП — скорость затухания РВС, 0 < К_КВП < 1

Угасание РВС происходит перед распределением возбуждения по сети, следовательно, если перед первым тактом РВС всех нейронов равен нулю, то ко следующему он уже будет составлять K_КВП S.

Долговременная память

Долговременная память (ДВП) определяет закон изменения проводимости от тока сигнала через данную связь:

где I_ПОР — некоторое пороговое значение тока, имеет значение, близкое к единице.

Когда I_ПОР + I > 1 связь обновляется, а когда I_ПОР + I < 1 — затухает.

Квадратный корень обеспечивает инерцию проводимости, обуславливая стремление коэффициента ее изменения к единице.

Следует заметить, что данный механизм не обеспечивает «обнуление» связи (это может произойти только при преодолении предела погрешности), следовательно, если с нейроном была установлена хотя бы одна связь, то теоретически он всегда может быть возбужден, т.е. в НПС отсутствует «полное забывание».

С другой стороны, отсюда следует, что сам факт наличия связи еще ни о чем ни говорит, т.к. ее проводимость может быть бесконечно малой.

Система управления вниманием

Нейрон, имеющий максимальное возбуждение в сети, выделяется механизмом СУВ. При этом он становиться активным и его РВС увеличивается в К_СУВ раз. Угасание возбуждения СУВ обеспечивается механизмом КВП.

Механизм СУВ препятствует угасанию сигнала в сети, а также способствует контрастному выделению максимально возбужденного нейрона на фоне других нейронов сети. Т.е. распределение возбуждения в сети упрощенно будет представлять нормальный закон с нейроном СУВ в экстремуме.

Процесс смены нейрона механизмом СУВ называется логическим выводом.

Замечание. Данным механизмом выделяются только нейроны нормального нейрополя.

Дрейф критической точки

Изменение положения КТ влечет за собой изменение значения возбуждения покоя и возбуждаемости нейрона. Т.е. чем меньше значение КТ, тем больше возбуждаемость (возбуждение при одном и том же РВС) нейрона.

Положение КТ в фазовых координатах (S, dS) изменяется по петле Гистерезиса.

Диапазон дрейфа ограничен значениями S_КТ1 .. S_КТ2.

Рассмотрим закон ДКТ:

Если S_КТ + DS < S_КТ1, то DS = S_КТ1 - S_КТ
Если S_КТ + DS > S_КТ2, то DS = S_КТ2 - S_КТ

Где

DS - изменение положения КТ;
S_КТ - текущее положение КТ;
K_ДКТ - коэффициент скорости дрейфа;
Y - текущее возбуждение нейрона;
Y_ДКТ - граничное возбуждение нейрона;
S_KT1 - левая граница положения КТ;
S_KT2 - правая граница положения КТ;

Последние два условия показывают, что при попытке выхода за установленные границы, КТ принимает граничное значение.

Если возбуждение нейрона превышает некоторое пороговое значение Y_ДКТ, то КТ начинает дрейфовать влево с угасающей скоростью, пропорциональной К |Y-Y_ДКТ| (на графике слева это нижняя красная кривая). Если возбуждение нейрона меньше граничного, то КТ дрейфует вправо с угасающей скоростью, пропорциональной К |Y-Y_ДКТ| (на графике слева это верхняя синяя кривая).

Данный механизм обеспечивает долговременную систему СУВ, позволяя отметить наиболее активные нейроны с возможностью последующего их возбуждения.

Изменение наклона кривой

Механизм ИНК изменяет значение коэффициента наклона кривой К_НК характеристики нейрона в зависимости от изменения его возбуждения dY = Y(t) - Y1(t-1) по следующему закону:

Если dY > 0, то К_НК = К_НК (1 + dY * К_ИНК )
Иначе К_НК = К_НК - К_ИНК (К_НК - К_НК0 )

Где

К_ИНК — скорость изменения наклона кривой, 0 < К_ИНК < 1
К_НК0 — базовое значение наклона кривой;

Таким образом, повышение возбуждения нейрона способствует увеличению его коэффициента наклона кривой, и, как следствие, уменьшение его возбуждаемости, что придает нейрону свойство инерции.

Данный механизм позволяет придать тем возбуждаемым нейронам преимущество в выборе их СУВ, возбуждение которых было в предыдущий такт выше. Действительно, dY будет ниже для тех одинаково возбуждаемых нейронов, возбуждение которых в предыдущий такт было выше, следовательно для них будет меньшая скорость увеличения наклона кривой.

Образование ансамблей

Цель данного механизма состоит в образовании новых ансамблей нейронов из возбужденной группы нейронов. Причем, если возбуждение активного нейрона (выделенного механизмом СУВ) больше верхнего порогового значения Yв, то он принимается за определитель ансамбля, и от него устанавливаются связи со всеми нейронами, возбужденными выше нижнего порога возбуждения Yн, т.е. принадлежащими возбужденному ансамблю.

Связь I - нейрона определителя ансамбля с j - нейроном атомом, устанавливается при Y_j і Y_Н, определяется по выражению:

w_ij = Y_j

Однако, если связь ОА с данным АА уже существует, то не устанавливается новая связь, а к проводимости существующей добавляется новая проводимость. При этом, если значение проводимости превышает 1, то она принимается равной 1.

Параметры системы

1. Переменные сети

2. Параметры сети

3. Параметры механизмов

Динамическая структура системы

Здесь прямоугольниками обозначены узлы системы, а стрелками – воздействия одних узлов на другие.

Три узла – три уровня динамики, образуют нейроподобную систему, которая взаимодействует с внешним миром через первый уровень.

1 уровень — переменные сети
2 уровень — параметры сети
3 уровень — параметры механизмов

Пунктирной рамкой показана нейропобная сеть. Пунктирной стрелкой — возможное воздействие на параметры механизмов со стороны системы (будет разработано мною позже).

Воздействие со стороны системы на 2 уровень динамики будет рассмотрено ниже.

Как видно из рисунка, мы имеем высокодинамичную систему. Если учесть, что параметры узлов и связей между ними также изменяются во времени, то получим систему с большой степенью энтропии. Предсказать состояние такой системы через некоторый промежуток времени довольно сложно.

Возникает вопрос о необходимой глубине (количестве уровней) динамики. Думаю, она должен определяться требованиями, предъявляемыми к системе, и ограничениями ресурсов. Ведь чем больше глубина динамики, тем выше качество функционирования системы, но тем больше потребляется ресурсов (главным образом – быстродействие), тем выше сложность системы.

Рассмотрим два узла А и В, причем уровень динамики узла А на единицу больше, чем у узла В. Тогда узел А для В будет управляющим, а узел В для А – обучающим. Т.е. при прямом воздействии (от высших узлов к низшим) мы имеем управление узлом, а при обратном – обучение узла. Обучение производиться с целью настроить узел на оптимальное управление в смысле заданного критерия. Оптимальное управление должно обеспечивать наиболее эффективное состояние узла независимо от стороннего воздействия.

Кратко: узел А управляет узлом В, а узел В обучает узел А лучшему управлению собой.

А теперь рассмотрим физические аналоги нейрона:

1. Сумматор — нейрон суммирует все входные сигналы;
2. Сопротивление — поскольку выходной сигнал нейрона нормируется, т.е. приводится к диапазону [0..1], то он, как правило, ослабляет входные сигналы;
3. Усилитель — механизм СУВ усиливает возбуждение нейрона;
4. Емкость — при снятии сигнала с нейрона КВП обеспечивает его плавное угасание;

и физические аналоги связи:

1. Сопротивление — проходя по связи сигнал угасает;
2. Диод — проводимость связи в прямом направлении гораздо выше, чем в обратном;
3. Инвертор — проходя по инвертирующей связи знак сигнала меняется на противоположный

Определение параметров системы

Как уже отмечалось, мы имеем высокодинамичную систему, и поэтому большую роль играет так называемая «критичность» начальных значений параметров системы, т.е. такое их значение, которое обеспечивает оптимальное поведение системы на протяжении всего цикла существования. Однако применить процедуру оптимизации нет возможности ввиду сложности определения критерия, множественности параметров системы и ее высокой динамичности. Естественным (и возможно единственным) выходом является применение непрерывных генетических алгоритмов) Непрерывность алгоритма означает, что хромосома состоит из кортежа вещественных чисел, которые являются параметрами системы. Главная сложность заключается в определении фитнесс-функции, которая вычисляется за весь жизненный цикл функционирования системы. Такой подход является довольно продолжительным, однако именно по такому пути шла наша с Вами эволюция.

Дальнейшее развитие системы заключается в объединении ансамблей в более сложные структуры и изучение их взаимодействия; объединение данных структур в объекты следующего порядка (УА) и т.д., а также изучение их динамики. Т.е. мы остаемся верными схеме, рассмотренной в параграфе «конструирование мира». Постепенно такой процесс интеграции приводит нас к психологии, далее, к социальной психологии, социологии и т.д., т.е. мы выходим на освоенный, известный уровень, для которого предложенная система является как квантовая механика и молекулярная физика для электротехники, сопротивления материалов и пр. Проложением данного моста мы и займемся в следующем разделе.