GotAI.NET

Форум: Проблемы искусственного интеллекта

 

Регистрация | Вход

 Все темы | Новая тема Стр.6 (7)<< < Пред. | След. > >>   Поиск:  
 Автор Тема: На: Искусственный интеллект для обывателя.
Обыватель
Сообщений: 238
На: Искусственный интеллект для обывателя.
Добавлено: 10 мар 19 22:26
Вдруг кто не смотрел.


[Ответ][Цитата]
Обыватель
Сообщений: 238
На: Искусственный интеллект для обывателя.
Добавлено: 17 мар 19 2:07
Изменено: 11 май 19 22:37
[Ответ][Цитата]
Обыватель
Сообщений: 238
На: Искусственный интеллект для обывателя.
Добавлено: 23 мар 19 2:51
Изменено: 23 мар 19 2:53


[Ответ][Цитата]
Обыватель
Сообщений: 238
На: Искусственный интеллект для обывателя.
+1
Добавлено: 11 май 19 22:35
Текст содержит вставки с примерами на PascalABC.NET. Потому что:
- это учебная среда, прощающая криворукость, что позволяет сосредоточится на результате, а не коде;
- это Pascal, то есть типизированные файлы, что способствует;
- это вообще-то оболочка к .NET, что даёт сопутствующий функционал.


Небольшое предисловие.

Человек увлекавшийся авиацией и понимающий принципы полёта, в состоянии представить пегаса. Но представить пегаса, машущего крыльями в полёте, уже нет. Так и с искусственными нейронными сетями. За всё время моего интереса к теме, мне встречалось множество объяснений того как работает машинное обучение и многие из них рисовали ясную картину возможного применения нейронных сетей. Вот только объяснения, рисующего интуитивно понятную модель мышления, мне встретить так и не удалось.

Создаётся впечатление, что в современном подходе к искусственным нейронным сетям, решение подгоняется под требуемый результат, сводя понимание работы нейронной сети до логики чёрного ящика… И вот, вопреки здравому смыслу, без возможности управлять полётом и шанса на удачную посадку, пегас обученный нейронной сетью полетел.

С другой стороны, какой бы подход не использовался для понимания процесса мышления, всегда оказывалось, что «живая» память возможна только на нейронах. Но вокруг них наплодили такое количество домыслов, что любое обращение к этой теме, превращается в борьбу с лишними сущностями и ветряными мельницами. Поэтому в дальнейшем, насколько это возможно, подобная терминология употребляться не будет. Хотя речь, безусловно о концепции мышления, основанной на принципах нейронных сетей.

Собственно, к делу.

Сразу стоит уточнить, что в данном примере требуется некое допущение, позволяющее существовать двум видам памяти:
- Один вид памяти является профессиональным, позволяющем запоминать данные, связанные с профессиональной деятельностью. Примером такой памяти может служить зрительная память или память на цифры.
- Второй вид памяти используется только для обучения профессиональным навыкам. Например, мышечная память позволяет обучатся игре на музыкальных инструментах или заниматься такими видами спорта, в которых важную роль играет правильность движений.
В первую очередь речь будет идти о втором виде памяти.

Теперь гипотеза описывающая механизм памяти.

Хранящаяся в памяти информация должна быть взаимосвязана, что подразумевает существование памяти как некой обособленной структуры. Следовательно, должен существовать механизм структурирования такой памяти, который можно приравнять к процессу обучения – воздействию на память, вносящему изменения в её структуру.

В этом случае, о наличие памяти будет свидетельствовать действия, согласующиеся с моделью заложенной обучением. То есть память, подвергнутая структурированию в процессе обучения, будет проявлять те реакции, которые закладывались в ходе обучения. В рамках рассматриваемой гипотезы, такие проявления будут примером интеллектуальных способностей.

Но, чем устойчивей структура, тем сильней и продолжительней должно быть воздействие для её изменения. Это является результатом процесса структурирования, сущность которого заключается в создании устойчивых структур за счёт повышения прочности внутренних связей. Со временем это приведёт к тому, что будут проявляться реакции не согласующиеся с моделью закладываемой обучением, из-за появления устойчивых к воздействию связей. А значит, и оценка интеллектуальных способностей будет снижаться.

Иначе говоря, полностью структурированная память не в полной мере обладает интеллектом. Структурированная память утрачивает свою пластичность, что не позволяет адаптироваться к постоянным изменениям и приводит к устареванию давно наработанных навыков. В свою очередь, не структурированная память, ещё не обладает интеллектом. Так как обработка неструктурированного материала, требует внешнего воздействия для создания начальной формы способной к дальнейшему самостоятельному развитию. Отсюда следует, что интеллект – это этап процесса структурирования памяти, от момента, когда мышление уже возможно, до того момента, кода ресурс памяти исчерпан.

Так бывает - явление которому свойственно развитие, содержит собственное отрицание в своём развитии. Исходя из чего, уровень интеллекта определяемый тестами на IQ, мог бы являться показателем деградации памяти через обучение, если бы был известен начальный объём памяти. Рассматривая пример врача, начинающего свою карьеру с изучения анатомии человека и заканчивающего специалистом по одному единственному виду опухоли, можно сказать что к концу карьеры был в значительной мере исчерпан ресурс памяти, которой хватило только на узкую специализацию. Но, для того чтобы иметь возможность практического применения такого представления о памяти, необходимо понимать, что такое память.

Есть два подхода к пониманию памяти:
- Один подход рассматривает память как свойство объекта, что позволяет только предполагать протекающие в объекте процессы, отвечающие за память. Например, наблюдение за объектами обладающими памятью позволило выделить четыре основные функции памяти: запоминание, хранение, воспроизведение, забывание. При этом процессы, стоящие за этими функциями остаются скрыты.
- Другой подход рассматривает, саму память, как структуру которая выполняет исключительно вышеуказанные функции: запоминание, хранение, воспроизведение и забывание. При таком рассмотрении, память – это объект способный влиять на всего самого себя с целью внесения в себя изменений. Самостоятельно и осознано изменяться под влиянием обстоятельств.

Так человек ведущей какие-то осмысленные записи на листе бумаги, является системой обладающей памятью. Он способен записать поступающую информацию, сохранить её, воспроизвести прочитав с листа и удалить, зачеркнув то, что по его мнению стало не актуальным. Но такая система не может рассматривается как память, так как для занятия подобной деятельностью человек уже должен обладать интеллектом, а значит и собственной памятью. Каждый отдельно взятый элемент такой структуры, не должен выполнять все функции свойственные памяти, иначе именно этот элемент и будет являться памятью.

Из всего вышесказанного можно сделать вывод, что память — это структура, состоящая из неизменных элементов, качественные изменения в которой определяются взаимосвязью между этими элементами. Взаимосвязь между элементами структуры формируется под внешним или внутреннем воздействием. Но если такое воздействие будет одинаково влиять на все связи в рассматриваемой структуре, то можно будет определить только сам факт воздействия.

Для дифференциации информации в памяти, должна существовать такая возможность её структурирования, при которой воздействие на отдельные связи будет происходить исходя из их семантической близости. Для чего в формировании внутренней структуры памяти должны участвовать базовые элементы. Их задача, исходя из активности собственных связей, определять семантическую близость происходящего события и того события с которым они ассоциированы. Если семантическая близость очевидна, то активные связи необходимо укрепить.

Пример модели по вышеописанной гипотезе.

Такую структуру памяти можно рассмотреть на примере системы имеющей сенсоры, объединённые в единое сенсорное пространство. Сенсоры в данном случае могут принимать значение 0 или 1, и для каждого сенсора имеется запись его активности, представленная в виде списка: {x1, x2…xn}.

Предположим, что на сенсорное пространство оказывается воздействие двух типов. Первое – хаотично. Второе воздействие соответствует одному и тому же событию, на которое нужно научиться реагировать.

Определить такое событие можно выполнив следующие вычисления.

Для каждого сенсора складываем значения активности за определённый интервал времени dt: dMm = x1+x2+…+xn. В следствии чего, формируется список содержащий активность сенсорного пространства в выбранном временном интервале: {dM1, dM2…dMm}.

При этом, главное требование, предъявляемое к поступающей информации – это отсутствие искажений. Но ситуация может осложняется наличием шумов. Для борьбы с ними, в полученном списке, находим сенсор с самой высокой активностью dMmax, с помощь которого задаётся пороговое значение фильтра шума P = dMmax/2, что также может быть равнозначно P = n/2 или P = dt/2. После чего из активности каждого сенсора вычитаем найденное пороговое значение {q1, q2…} = {dM1-Р, dM2-Р…dMm-Р}, таким образом формируется маска, где отрицательные значения соответствуют сенсорам, чья активность была вызвана шумом и(или) являлась недостаточно высока. Собственно, благодаря этому происходит формирование отрицательных связей.

С целью упрощения последующих вычислений, приводим маску к унифицированному виду, при котором сумма значений всех элементов маски не будет превышать единицы: q1+q2+…+qm ≤ 1. Для чего находим сумму всех положительных значений SM = q1>0+q2>0+…+qm>0, на которое делим каждый элемент маски Q = {q1/SM, q2/SM…qm/SM}.

Для дальнейшего определения события по воздействию на сенсорное пространство необходимо записать текущую активность сенсоров: {x1, x2…xm}. После чего найти сумму произведений текущей активности сенсоров на маску A = q1* x1+ q2* x2+…+qm* xm. И тогда переменная «A» покажет, исходя из активности сенсорного пространства, насколько уместно присутствие искомого события в контексте текущей ситуации.

Таким образом, в моделируемой системе, информация может записываться за счёт изменения самой системы, храниться и воспроизводится, что соответствует признакам памяти.

Для моделирования процесса забывания, предположим, что воздействие на сенсорное пространство для одного и того же события со временем изменяется. Маска так же должна адаптироваться вслед за изменяющимся представлением события, с целью сохранения своей актуальности. Такая актуализация возможна в следствии того, что значение «A» близкое к 1 свидетельствует о схожести текущего воздействия на сенсорное пространство и обучающей выборки. Следовательно, обучающая выборка должна быть дополнена вновь поступившими данными. Для чего актуализируем выборку активности сенсорного пространства в интервале времени dt, которая была взята как эталонное представление события: {dM1+x1, dM2+x2… dMm+x m}.

После чего повторяем обучения для выбранной маски:

P = dMmax/2,

{q1, q2…} = {dM1-Р, dM2-Р…dMm-Р},

SM = q1>0+q2>0+…+qm>0,

Q = {q1/SM, q2/SM…qm/SM}.

Это позволяет, с определённой инерцией свойственной системе, плавно замещать ранее сохранённую информацию новыми данными. Адаптироваться к изменяющимся условиям.

Но, из-за фильтрации шумов, будет снижена точность оценки ситуации, создающая искажения при уточнении хранящейся в памяти информации. Что бы минимизировать такое влияние, для каждого события необходимо использовать ассоциированный, с этим событием, кластер масок Q1, Q2…Qk, записанных в разные интервалы времени dt1, dt2…dtk. Для согласования работы такого кластера в методах рассматриваемой модели, необходима ещё одна маска, стоящая над ассоциированным кластером. Для новой маски входящими значениями будет активность A1, A2…Ak масок Q1, Q2…Qk кластера, и работа всего кластера будет определяться именно по этой маске, стоящей над кластером.

При этом новая маска будет определяющей только для того кластера на базе которого формировалась, но она может относится одновременно к нескольким кластерам. В таком случае, при устойчивом искажении, затронувшем только часть масок, появляется возможность разделить исходный кластер на два самостоятельных, каждый из которых будет ассоциирован со своим событием. Один из кластеров будет отвечать за старое событие, второй – за вновь выявленное.

Со временем, бесконтрольное деление ассоциированных кластеров, может привести к тому, что представление о событии чрезмерно усложнится. Что приведёт к снижению эффективность модели, за счёт увеличения затрат на обработку события.

Чтобы этого избежать, необходимо дополнить поступающую информацию, данными из источника c высокой достоверностью, то есть из самой памяти. Для чего требуется ввести маску V’ обратную ассоциированному кластеру. Тогда, при частичной активации кластера, обратная маска поможет возбудиться всему кластеру, или же полностью затормозит его, таким образом, не дав искажению укорениться в кластере.

Исходной информацией для обратной маски V’ будут значения A1, A2… активности масок Q1, Q2…Qk входящих в ассоциированный кластер, записанные за время dt’: dQk= a1+a2+…+al. Благодаря чему, появляется список содержащий активность масок ассоциированного кластера в выбранном временном интервале: {dQ1, dQ2…dQk}.

Для дальнейшего использования списка с целью дополнения поступающей информации, приводим список к унифицированному виду, при котором сумма значений всех элементов списка не будет превышать единицы: dQ1+ dQ2+…+ dQk ≤ 1. Для чего в полученном списке, находим элемент с максимальным значением dQmax, на который делим каждый элемент списка {q’1, q’2…} = {dQ1/dQmax, dQ2/dQmax …dQk/dQmax}. Таким образом формируется обратная маска V’.
При этом в качестве выхода маски V’, будет использован список сформированный таким же образом как прямая маска, но за время dt’:

dM’m = x1+x2+…+xn,

{dM’1, dM’2…dM’m},

P = dM’max/2,

{v1, v2…} = {dM’1-Р, dM’2-Р…dM’m-Р},

SM = v1>0+v2>0+…+vm>0,

{v’1, v’2…} = {v1/SM, v2/SM… vm/SM}.

Полученная маска V’, https://github.com/JanHarmoshka/intellection/blob/master/7.Handler.pas]дополняет поступающую информацию[/url] следующим образом. Находим значение A’ = q’1+ q’2+…+ q’k, после чего выход маски перемножаем на полученное значение, что даёт корректирующий список {a’1, a’2…} = {v’1*A’, v’2*A’… v’m*A’}. В свою очередь корректирующим списком дополняем информацию, поступающую на вход масок Q1, Q2…Qk входящих в ассоциированный кластер {x1+ a’1, x 2+ a’2… x m+ a’m}.

Теперь при поступлении информации на вход кластера, она дополняется через обратную маску. И если объёма поступившей информации недостаточно, значение A’, начинает снижаться. В противном случае, если информации достаточно, её недостающие фрагменты дополняются через обратную маску, при этом значение A’ начинает расти. Такое поведение A’ приводит к тому, что воздействие на кластер запоминается, на то время пока A’ не снизится до исходного значения. Получается, что в ходе обработки поступающей информации ассоциированный кластер выступает в роле постоянной памяти, а обратная маска реализует возможность кратковременной памяти.

При этом, так как существует разница между временем записи масок dt и обратной маски dt’, обратная маска обучается на более поздней информации, в которой могут содержаться незначительные изменения ситуации, что даёт возможность прогнозирования в пределах разницы между временем записи масок.

Получается, что обратная маска, передаёт на вход ассоциированного кластера внутреннюю информацию, в виде, не отличающемся для кластера от внешней информации. То есть происходит формирование на сенсорном уровне воплощения внутренних процессов – формирование мысли.

Такой подход применённый к набору изображений рукописных цифр MNIST, после обучения на 2000 образцов, без дополнительного обучения в ходе работы, даёт ошибку 23,72%. В случае дополнительного обучения по вышеописанной, методике с некоторым упрощением, можно заметить незначительное снижение ошибки, до 23,63%.

В данном примере, не ставилась задача добиться рекордных результатов. Главная задача данной демонстрации, наглядно показать, что обучение возможно, даже в том случае, когда нет подкрепления, а только за счёт информации хранимой в памяти.

С другой стороны, из примера видно, что информация, хранящаяся в памяти и используемая для обучения, должна обладать высокой точностью, которая из-за наличия ошибки постепенно снижается. Что делает необходимым, использование подкрепления или обучающей информации от другого кластера работающего с другим сенсорным пространством. Например, слуховым или тактильным. В этом случае недостаток информации от «органов» зрения будет компенсироваться, например, «органами» слуха.

Но не смотря на это в модели продемонстрирована возможность влияние памяти на себя саму. Что соответствует вышеприведённому определению памяти. Остаётся неясным, только вопрос с извлечением информации из памяти. Описывая модель не имеет явных выходов, а обратная маска V’ может считаться таковыми только условно, так как отображает внутреннее представление модели о происходящих событиях, и имеет значение только в контексте внутреннего представления.

Для вывода хранимой в памяти информации, необходимо ещё одно сенсорное пространство, которое позволяло бы, как получать информацию согласующуюся с другими сенсорными пространствами о происходящим событии, так и выводить информацию в формате исходного сенсорного пространства. Выводимая таким образом информация, должна иметь возможность корректироваться самой моделью, то есть вывод информации должен отслеживается в поле подходящего сенсорного пространства. Например, можно рассматривать в качестве сенсорного пространства с обратной связью – двигательную активность, а в качестве контрольного – сенсорное пространство обрабатывающее зрительную информацию.

Но реализация такой модели сопряжена с множеством трудностей, главная из которых заключается в том, что информация, считываемая с сенсоров должна быть взаимосвязана как между различными сенсорными пространствами, так и во времени, в рамках непрерывного развития одного события.

В качестве заключения.

Не имея полноценной модели, опираясь только на полученные результаты, можно предполагать с определённой долей уверенности, некоторые её особенности. В рассмотренном примере видно, что для обучения не требуется мотивация, сама активность создаёт ситуацию при которой обучение начинается. Это есть безусловное действие, совершаемое моделью, не имеющее отражения в реальности. Но если речь будет идти о двигательной активности, такое безусловное действие будет выглядеть как движение, которое модель будет стремиться совершить.

Это значит, что у модели естественным образом, существует потребность, которую она будет стремится удовлетворить. Потребности будут формироваться в процессе обучения и определяться им. Чем сложнее будет становится модель, тем сложнее будут становится потребности. Но удовлетворение потребностей по мере их возникновения, не является признаком интеллектуальной осознанной деятельности. Осознанность действий появится только тогда, когда модель научится подавлять эти потребности.

В током случае, сознание можно рассматривать как состояние при котором подавляются возникающие потребности.

Но и осознанные действия не могут считается интеллектуальными. Модель будет оставаться программой, инструментом, до тех пор. пока будет продуктом труда программиста. Чтобы выйти за рамки орудия труда, модель должна быть способна к труду - целесообразной деятельности, в процессе которой при помощи орудий труда оказывается воздействие на природу с целью создания потребительных стоимостей, необходимых для удовлетворения потребностей.
[Ответ][Цитата]
bravo7
Сообщений: 528
На: Искусственный интеллект для обывателя.
Добавлено: 12 май 19 2:09
Цитата:
Автор: Обыватель. допущение, позволяющее существовать двум видам памяти
Я бы иначе определил виды памяти: 1) последовательную в гиппокампе и 2) структурированную в неокортексе. И чтобы как-то различать, вторую назвал бы знанием.
[Ответ][Цитата]
Андрей
Сообщений: 3791
На: Искусственный интеллект для обывателя.
Добавлено: 12 май 19 3:20
Цитата:
Автор: Обыватель
Структурированная память утрачивает свою пластичность, что не позволяет адаптироваться к постоянным изменениям и приводит к устареванию давно наработанных навыков. В свою очередь, не структурированная память, ещё не обладает интеллектом.
С этим спору нет. Это очевидно.

Цитата:
Автор: Обыватель
сознание можно рассматривать как состояние при котором подавляются возникающие потребности
Но это лишь одна из функций сознания. У сознания есть другие более ярко выраженные свойства: интеграция реальности (коммутатор разрозненных мест памяти), объективация "внешних" ощущений, унификация "я", подавление автоматизмов, выбор варианта модели развития ситуации и пр.

Цитата:
Автор: Обыватель
требуется некое допущение, позволяющее существовать двум видам памяти
зрительная память или память на цифры
мышечная память позволяет обучатся игре на музыкальных инструментах
Если вдуматься, то никакого существенного отличия между этими видами памяти нет. И по сути у нас одна монолитная память. Память того, "как правильно". Как правильно что-то выглядит, как правильно что-то слышится, как правильно шевелить мускулами. При этом "как правильно" сводится к "в каком месте". И это касается и правильного восприятия, и правильных движений. Очевидно, что без позиционирования и координации невозможно ни правильное опознание, ни правильное шевеление конечностями.

Цитата:
Автор: Обыватель
память — это структура, состоящая из неизменных элементов, качественные изменения в которой определяются взаимосвязью между этими элементами
Цитата:
Автор: Обыватель
в современном подходе к искусственным нейронным сетям, решение подгоняется под требуемый результат
Мне показалось, что Вы занимаетесь ровно тем же, в чём обвиняете нейросетевиков. Вы где-то увидели какие-то "правильные" представления о том, как якобы работает мозг, и вперёд - моделировать это. При этом, цитирую Вас: "объяснения, рисующего интуитивно понятную модель мышления, мне встретить так и не удалось".

Давайте попробуем от начала, от корней. Почему у растений и грибов нет никакого интеллекта, даже в зародыше, а у всех животных в разной степени он есть? Потому что растения и грибы жёстко привязаны к одному месту своего существования. Где родился там и укоренился. А все животные, в том числе и люди, в качестве своей характернейшей особенности, обладают способностью к перемещениям - они меняют место своего расположения и места расположения окружающих их предметов. Если животные в этом деле демонстрируют только ограниченные фиксированные врождённые автоматизмы, то человек преуспел в разведке новых мест и новых способов их совмещений. Именно из этого общего места и нужно исходить, когда речь идёт о выяснении структуры памяти. Функция памяти, в первую очередь, это память мест (расположений) и с этой точки зрения привязываться к нейронной сети нет никакой необходимости. Биологическая нейронная сеть - это просто клеточный субстрат интеллекта. Нам же нужно выяснить, как удобнее всего (правильнее всего) смоделировать в машине память мест. Если окажется, что это удобно сделать через сеть нейроно-подобных структур, значит надо так и делать. А если это удобнее сделать через диаграммы Эйлера - Венна - значит нужно делать именно так. Но прежде чем переходить к детальному кодингу, нужно договориться о том, для чего эта память нужна и как именно она будет структурироваться в процессе обучения.

В целом, благодарю Вас за проделанную работу, на этом форуме явный дефицит практической направленности, и желаю успехов.
[Ответ][Цитата]
Обыватель
Сообщений: 238
На: Искусственный интеллект для обывателя.
Добавлено: 12 май 19 3:48
Спасибо.
Но Вы поспешили с выводами. Что на самом деле естественно - как бы я не старался доходчиво изложить свой взгляд на проблему, всё равно будут оставаться умолчания и недосказанность которые требуют осмысления. Поэтому, в Ваших замечаниях в большинстве своём повторяются ровно те идеи которые присутствуют в представленном тексте.

Вернитесь сюда спустя какое-то время. Посмотрим насколько сильно изменится ваша оценка.
[Ответ][Цитата]
Обыватель
Сообщений: 238
На: Искусственный интеллект для обывателя.
Добавлено: 19 май 19 22:32
Сделал небольшие изменения в реализации. Теперь хорошо, но немного на "костылях"...
[Ответ][Цитата]
mss
Сообщений: 1907
На: Искусственный интеллект для обывателя.
Добавлено: 23 май 19 9:52
Цитата:
Автор: Обыватель

Спасибо.
Но Вы поспешили с выводами. Что на самом деле естественно - как бы я не старался доходчиво изложить свой взгляд на проблему, всё равно будут оставаться умолчания и недосказанность которые требуют осмысления. Поэтому, в Ваших замечаниях в большинстве своём повторяются ровно те идеи которые присутствуют в представленном тексте.

Вернитесь сюда спустя какое-то время. Посмотрим насколько сильно изменится ваша оценка.


По моему вам удалось решить задачу на 50%. Итого вы сами почти справились с вами же декларируемым принципом ясности.

Ээх добавлю ещё 50. С вашей гипотезой, по кр мере с её половиной, я полностью согласен - интеллект структуирует информацию. Если таковая структуируется то возникает понимание и смысл. Но не семантическая близость как бы вы там её не считали.

Другими словами принцип структуирования информации типа семантической близости для модели смысла не годится.
[Ответ][Цитата]
Обыватель
Сообщений: 238
На: Искусственный интеллект для обывателя.
Добавлено: 24 май 19 3:27
Другой термин не смог подобрать. Этот хоть и не точный, зато самый близкий по смыслу.
[Ответ][Цитата]
mss
Сообщений: 1907
На: Искусственный интеллект для обывателя.
Добавлено: 24 май 19 8:27
Опять заинтриговали. Посмотрел ещё раз. Никакой семантической близости нет и в помине. Ваш метод масок есть не что иное как ещё одна имплементация апроксимации многомерной функции суммами одномерных что по Колмогорову. Короче аля ИНС но много проще и с большей ошибкой.
[Ответ][Цитата]
Обыватель
Сообщений: 238
На: Искусственный интеллект для обывателя.
Добавлено: 24 май 19 11:10
Изменено: 24 май 19 11:16
Иначе говоря - это простое описание линейного классификатора.
Из классического определения, трудно сделать те выводы, которые позволяет сделать выше представленное описание. И опять же, не стоит переоценивать ошибку.
[Ответ][Цитата]
Egg
Сообщений: 12016
На: Искусственный интеллект для обывателя.
Добавлено: 24 май 19 11:15
Цитата:
Автор: Обыватель
Иначе говоря - это простое описание линейного классификатора.

Хотел бы уточнить, Вы говорите о линейной регрессии или логистическом классификаторе?
Поскольку линейных классификаторов не существует в природе (насколько я знаю).
[Ответ][Цитата]
Обыватель
Сообщений: 238
На: Искусственный интеллект для обывателя.
Добавлено: 24 май 19 11:20
[Ответ][Цитата]
Обыватель
Сообщений: 238
На: Искусственный интеллект для обывателя.
Добавлено: 17 июн 19 2:19
Изменено: 13 июл 19 11:27
Так как нейрогенез не получился, переписал часть описания модели. Тем, кому интересно, саму модель на гитхабе изменю чуть позже.


Небольшое предисловие.

Человек увлекавшийся авиацией и понимающий принципы полёта, в состоянии представить пегаса. Но представить пегаса, машущего крыльями в полёте, уже нет. Так и с искусственными нейронными сетями. За всё время моего интереса к теме, мне встречалось множество объяснений того как работает машинное обучение и многие из них рисовали ясную картину возможного применения нейронных сетей. Вот только объяснения, рисующего интуитивно понятную модель мышления, мне встретить так и не удалось.

Создаётся впечатление, что в современном подходе к искусственным нейронным сетям, решение подгоняется под требуемый результат, сводя понимание работы нейронной сети до логики чёрного ящика… И вот, вопреки здравому смыслу, без возможности управлять полётом и шанса на удачную посадку, пегас обученный нейронной сетью полетел.

С другой стороны, какой бы подход не использовался для понимания процесса мышления, всегда оказывалось, что «живая» память возможна только на нейронах. Но вокруг них наплодили такое количество домыслов, что любое обращение к этой теме, превращается в борьбу с лишними сущностями и ветряными мельницами. Поэтому в дальнейшем, насколько это возможно, подобная терминология употребляться не будет. Хотя речь, безусловно о концепции мышления, основанной на принципах нейронных сетей.

Собственно, к делу.

Сразу стоит уточнить, что в данном примере требуется некое допущение, позволяющее существовать двум видам памяти:
- Один вид памяти является профессиональным, позволяющем запоминать данные, связанные с профессиональной деятельностью. Примером такой памяти может служить зрительная память или память на цифры.
- Второй вид памяти используется только для обучения профессиональным навыкам. Например, мышечная память позволяет обучатся игре на музыкальных инструментах или заниматься такими видами спорта, в которых важную роль играет правильность движений.
В первую очередь речь будет идти о втором виде памяти.

Теперь гипотеза описывающая механизм памяти.

Хранящаяся в памяти информация должна быть взаимосвязана, что подразумевает существование памяти как некой обособленной структуры. Следовательно, должен существовать механизм структурирования такой памяти, который можно приравнять к процессу обучения – воздействию на память, вносящему изменения в её структуру.

В этом случае, о наличие памяти будет свидетельствовать действия, согласующиеся с моделью заложенной обучением. То есть память, подвергнутая структурированию в процессе обучения, будет проявлять те реакции, которые закладывались в ходе обучения. В рамках рассматриваемой гипотезы, такие проявления будут примером интеллектуальных способностей.

Но, чем устойчивей структура, тем сильней и продолжительней должно быть воздействие для её изменения. Это является результатом процесса структурирования, сущность которого заключается в создании устойчивых структур за счёт повышения прочности внутренних связей. Со временем это приведёт к тому, что будут проявляться реакции не согласующиеся с моделью закладываемой обучением, из-за появления устойчивых к воздействию связей. А значит, и оценка интеллектуальных способностей будет снижаться.

Иначе говоря, полностью структурированная память не в полной мере обладает интеллектом. Структурированная память утрачивает свою пластичность, что не позволяет адаптироваться к постоянным изменениям и приводит к устареванию давно наработанных навыков. В свою очередь, не структурированная память, ещё не обладает интеллектом. Так как обработка неструктурированного материала, требует внешнего воздействия для создания начальной формы способной к дальнейшему самостоятельному развитию. Отсюда следует, что интеллект – это этап процесса структурирования памяти, от момента, когда мышление уже возможно, до того момента, кода ресурс памяти исчерпан.

Так бывает - явление которому свойственно развитие, содержит собственное отрицание в своём развитии. Исходя из чего, уровень интеллекта определяемый тестами на IQ, мог бы являться показателем деградации памяти через обучение, если бы был известен начальный объём памяти. Рассматривая пример врача, начинающего свою карьеру с изучения анатомии человека и заканчивающего специалистом по одному единственному виду опухоли, можно сказать что к концу карьеры был в значительной мере исчерпан ресурс памяти, которой хватило только на узкую специализацию. Но, для того чтобы иметь возможность практического применения такого представления о памяти, необходимо понимать, что такое память.

Есть два подхода к пониманию памяти:
- Один подход рассматривает память как свойство объекта, что позволяет только предполагать протекающие в объекте процессы, отвечающие за память. Например, наблюдение за объектами обладающими памятью позволило выделить четыре основные функции памяти: запоминание, хранение, воспроизведение, забывание. При этом процессы, стоящие за этими функциями остаются скрыты.
- Другой подход рассматривает, саму память, как структуру которая выполняет исключительно вышеуказанные функции: запоминание, хранение, воспроизведение и забывание. При таком рассмотрении, память – это объект способный влиять на всего самого себя с целью внесения в себя изменений. Самостоятельно и осознано изменяться под влиянием обстоятельств.

Так человек ведущей какие-то осмысленные записи на листе бумаги, является системой обладающей памятью. Он способен записать поступающую информацию, сохранить её, воспроизвести прочитав с листа и удалить, зачеркнув то, что по его мнению стало не актуальным. Но такая система не может рассматривается как память, так как для занятия подобной деятельностью человек уже должен обладать интеллектом, а значит и собственной памятью. Каждый отдельно взятый элемент такой структуры, не должен выполнять все функции свойственные памяти, иначе именно этот элемент и будет являться памятью.

Из всего вышесказанного можно сделать вывод, что память — это структура, состоящая из неизменных элементов, качественные изменения в которой определяются взаимосвязью между этими элементами. Взаимосвязь между элементами структуры формируется под внешним или внутреннем воздействием. Но если такое воздействие будет одинаково влиять на все связи в рассматриваемой структуре, то можно будет определить только сам факт воздействия.

Для дифференциации информации в памяти, должна существовать такая возможность её структурирования, при которой воздействие на отдельные связи будет происходить исходя из их семантической близости. Для чего в формировании внутренней структуры памяти должны участвовать базовые элементы. Их задача, исходя из активности собственных связей, определять семантическую близость происходящего события и того события с которым они ассоциированы. Если семантическая близость очевидна, то активные связи необходимо укрепить.

Пример модели по вышеописанной гипотезе.

Такую структуру памяти можно рассмотреть на примере системы имеющей сенсоры, объединённые в единое сенсорное пространство. Сенсоры в данном случае могут принимать значение 0 или 1, и для каждого сенсора имеется запись его активности, представленная в виде списка: {x1, x2…xn}.
Предположим, что на сенсорное пространство оказывается воздействие двух типов. Первое – хаотично. Второе воздействие соответствует одному и тому же событию, на которое нужно научиться реагировать.

Определить такое событие можно выполнив следующие вычисления.

Для каждого сенсора складываем значения активности за определённый интервал времени dt: dMm = x1+x2+…+xn. В следствии чего, формируется список содержащий активность сенсорного пространства в выбранном временном интервале: {dM1, dM2…dMm}.

При этом, главное требование, предъявляемое к поступающей информации – это отсутствие искажений. Но ситуация может осложняется наличием шумов. Для борьбы с ними, в полученном списке, находим сенсор с самой высокой активностью dMmax, с помощь которого задаётся пороговое значение фильтра шума P = dMmax/2. После чего из активности каждого сенсора вычитаем найденное пороговое значение {q1, q2…} = {dM1-Р, dM2-Р…dMm-Р}, таким образом формируется маска, где отрицательные значения соответствуют сенсорам, чья активность была вызвана шумом и(или) являлась недостаточно высока. Собственно, благодаря этому происходит формирование отрицательных связей.

С целью упрощения последующих вычислений, приводим маску к унифицированному виду, при котором сумма значений всех элементов маски не будет превышать единицы: q1+q2+…+qm ≤ 1. Для чего находим сумму всех положительных значений SM = q1>0+q2>0+…+qm>0, на которое делим каждый элемент маски Q = {q1/SM, q2/SM…qm/SM}.

Для дальнейшего определения события по воздействию на сенсорное пространство необходимо записать текущую активность сенсоров: {x1, x2…xm}. После чего найти сумму произведений текущей активности сенсоров на маску A = q1* x1+ q2* x2+…+qm* xm. И тогда, переменная «A» покажет исходя из активности сенсорного пространства, насколько уместно присутствие искомого события в контексте текущей ситуации.

Таким образом, информация может записываться за счёт изменения самой модели, храниться и воспроизводится, что соответствует признакам памяти.

Для моделирования процесса забывания, предположим, что воздействие на сенсорное пространство для одного и того же события со временем изменяется. Маска так же должна адаптироваться вслед за изменяющимся представлением события, с целью сохранения своей актуальности. Такая актуализация возможна в следствии того, что значение «A» близкое к 1 свидетельствует о схожести текущего воздействия на сенсорное пространство и обучающей выборки. Следовательно, обучающая выборка должна быть дополнена вновь поступившими данными. Для чего актуализируем выборку активности сенсорного пространства в интервале времени dt, которая была взята как эталонное представление события: {dM1+x1, dM2+x2… dMm+x m}.

После чего повторяем обучения для выбранной маски:
P = dMmax/2,
{q1, q2…} = {dM1-Р, dM2-Р…dMm-Р},
SM = q1>0+q2>0+…+qm>0,
Q = {q1/SM, q2/SM…qm/SM}.

Это позволяет, с определённой инерцией свойственной системе, плавно изменять ранее сохранённую информацию, адаптируясь условиям среды. При этом инерция системы будет зависеть от среднего значения dM. Чем выше будет значение, тем устойчивей маска к изменениям. В следствии чего, на масках с низким значением dM, обучение будет идти быстрее, до достижения порога, после которого начинается стагнация.

Но, из-за фильтрации шумов, будет снижена точность оценки ситуации, создающая искажения при уточнении хранящейся в памяти информации. Что бы минимизировать такое влияние, для каждого события необходимо использовать ассоциированный, с этим событием, кластер масок Q1, Q2…Qk, записанных в разные интервалы времени dt1, dt2…dtk. Точность работы кластере будет зависит от количества входящих в него масок. Чем масок больше, тем выше точность оценки ситуации, а система обладает большей стабильностью, при этом снижается скорость вычислений.

Для согласования работы такого кластера в методах рассматриваемой модели, требуется ещё одна маска, стоящая над ассоциированным кластером. Для новой маски V’ входящими значениями будет активность A1, A2…Ak масок Q1, Q2…Qk кластера, и работа всего кластера будет определяться именно по этой маске, стоящей над кластером.

При этом новая маска может относится одновременно к нескольким кластерам. В таком случае, при устойчивом искажении, затронувшем только часть масок, появляется возможность перераспределения масок в кластерах.

Со временем, бесконтрольное перераспределение масок в ассоциированных кластерах, может привести к тому, что представление о событии чрезмерно усложнится или исказится. Что приведёт к снижению эффективность модели, за счёт увеличения затрат на обработку события.

Чтобы этого избежать, необходимо дополнить поступающую информацию, данными из источника c высокой достоверностью, то есть из самой памяти. Для чего требуется использовать активность маски V’ сделав её обратной ассоциированному кластеру. Тогда, при частичной активации кластера, обратная маска поможет возбудиться всему кластеру, или же полностью затормозит его, таким образом, не дав искажению укорениться в кластере.

Исходной информацией для обратной маски V’, как уже говорилось выше, будут значения A1, A2… активности масок Q1, Q2…Qk входящих в ассоциированный кластер, записанные за время dt’: dQk= a1+a2+…+al. Благодаря чему, появляется список содержащий активность масок ассоциированного кластера в выбранном временном интервале: {dQ1, dQ2…dQk}.

Для дальнейшего использования списка с целью дополнения поступающей информации, приводим список к унифицированному виду, при котором сумма значений всех элементов списка не будет превышать единицы: dQ1+ dQ2+…+ dQk ≤ 1. Для чего в полученном списке, находим элемент с максимальным значением dQmax, на который делим каждый элемент списка {q’1, q’2…} = {dQ1/dQmax, dQ2/dQmax …dQk/dQmax}. Таким образом формируется обратная маска V’.

При этом в качестве выхода маски V’, будет использован список сформированный таким же образом как прямая маска, но за время dt’:
dM’m = x1+x2+…+xn,
{dM’1, dM’2…dM’m},
P = dM’max/2,
{v1, v2…} = {dM’1-Р, dM’2-Р…dM’m-Р},
SM = v1>0+v2>0+…+vm>0,
{v’1, v’2…} = {v1/SM, v2/SM… vm/SM}.

Полученная маска V’, дополняет поступающую информацию следующим образом. Находим значение A’ = q’1+ q’2+…+ q’k, после чего выход маски перемножаем на полученное значение, что даёт корректирующий список {a’1, a’2…} = {v’1*A’, v’2*A’… v’m*A’}. В свою очередь корректирующим списком дополняем информацию, поступающую на вход масок Q1, Q2…Qk входящих в ассоциированный кластер {x1+ a’1, x 2+ a’2… x m+ a’m}.

Теперь при поступлении информации на вход кластера, она дополняется через обратную маску. И если объёма поступившей информации недостаточно, значение A’, начинает снижаться. В противном случае, если информации достаточно, её недостающие фрагменты дополняются через обратную маску, при этом значение A’ начинает расти. Такое поведение A’ приводит к тому, что воздействие на кластер запоминается, на то время пока A’ не снизится до исходного значения.

Обратная маска V’, также проходит до обучение в том случае если значение её активности близко к единице. Но до обучение проходят и остальные обратные маски, пропорционально значениям их текущей активности.
[Ответ][Цитата]
 Стр.6 (7)1  2  3  4  5  [6]  7<< < Пред. | След. > >>