GotAI.NET

Форум: Проблемы искусственного интеллекта

 

Регистрация | Вход

 Все темы | Новая тема Стр.11 (15)<< < Пред. | След. > >>   Поиск:  
 Автор Тема: На: Создадим профессиональный форум ?
victorst
Сообщений: 770
На: Создадим профессиональный форум ?
Добавлено: 10 янв 12 20:32
Цитата:
Автор: dr2chek
Но однако-ж, надо фильтровать входной мусор, а не обучаться чему не попадя.
Фильтрование незапоминанием - это не очень хороший способ. Каковы ваши критерии мусора? Из жизни известно, что часто нам пригождаются случайно запомненные события. Иногда мы даже пытаемся запретить себе запоминать что- нибудь. но это чаще всего не помогает. Зато что-то нужное вдалбливаем, а оно не запоминается.
Кажется кошки с 50 раза обучаются? Вряд ли от ИИ даже самого примитивного такое требуется. Вместо этого нужно применить другие более эффективные методы очистки памяти от мусора. Например: 1.Пузырьковая очистка: в случае нехватки памяти то, что дольше всего не вспоминалось, удаляется. Для этого ничего особо лишнего не требуется. Я думаю, что факты о том, что что-то было вспомнено, также необходимо запоминать. Мы же помним свои мысли о других (предыдущих) мыслях. Это вовсе не лишний повтор. Тут добавляются свежие связи со старыми знаниями. И, возможно, с установлением новых связей. Т.о. такое запоминание будет полезно двояко - не позволит преждевременно удалить важные но старые знания и добавит к знаниям нове, скрытые знания об уже имевшихся ранее знаниях.
2. Удалять то, что меньше всего задерживалось в оперативной памяти.
3. Удалять то, что связано с наименьшей эмоциональной окраской.
Наверняка есть и другие способы удаления лишней информации из памяти.
Некоторые из этих механизмов очистки памяти способны будут работать при наличии дополнительных структур ИИ. В примере tac вначале вообще можно пренебречь фильтрованием.
[Ответ][Цитата]
dr2chek
Сообщений: 867
На: Создадим профессиональный форум ?
Добавлено: 10 янв 12 21:19
Цитата:
Автор: victorst

Фильтрование незапоминанием - это не очень хороший способ. Каковы ваши критерии мусора? Из жизни известно, что...

Простите, но все критерии мусора/не мусора уже заданы - в задаче tac-a. Вас что-то бросило в другую крайность, и я не готов обсуждать философские проблемы сортировки данных исходя из их эмоциональной содержательности в квадрате 3х3.
[Ответ][Цитата]
victorst
Сообщений: 770
На: Создадим профессиональный форум ?
Добавлено: 10 янв 12 21:26
Хорошо. Чтобы на мусорить в данной ветке философией перейду на свою про мегатронную сеть. Хотя она будет чисто инженерной.
[Ответ][Цитата]
tac
Сообщений: 2601
На: Создадим профессиональный форум ?
Добавлено: 11 янв 12 13:56
Важное уточнение к задаче.

контрольными стимулами будут последовательности v1,v3 и h1,h3
[Ответ][Цитата]
dr2chek
Сообщений: 867
На: Создадим профессиональный форум ?
Добавлено: 11 янв 12 17:29
Пояснения будут?
[Ответ][Цитата]
tac2
Сообщений: 332
На: Создадим профессиональный форум ?
Добавлено: 11 янв 12 17:38
Цитата:
Автор: dr2chek

Пояснения будут?


если вам удобнее решать, в предыдущей последовательности - можно и так. Но мне сдается, что так решить нельзя. Важно первым стимулом инициализировать сеть в том месте, где возникает переход v1-v2, тогда переход v1-v3 определится системой по аналогии ..
[Ответ][Цитата]
dr2chek
Сообщений: 867
На: Создадим профессиональный форум ?
Добавлено: 11 янв 12 17:55
Вы меня совсем запутали. Мне казалось, вы отрабатываете детектирование движения, теперь же почему-то появляется разрыв. Вообще непонятно, чего вы хотите добиться тогда.
[Ответ][Цитата]
tac2
Сообщений: 332
На: Создадим профессиональный форум ?
Добавлено: 07 фев 12 6:02
Цитата:
Автор: dr2chek

Вы меня совсем запутали. Мне казалось, вы отрабатываете детектирование движения, теперь же почему-то появляется разрыв. Вообще непонятно, чего вы хотите добиться тогда.


Да, действительно, о детектировании движения я тоже думал - но это лишь частная интерпретация. На самом деле, мне нужно решение задачи инвариантности. Т.е. когда перцептрон учится на ограниченном числе отображений образа (v1, v2), и после этого понимает что такое v3. Но так как о v3 он ничего не знает, мы ему помогаем. Как правило, в природе отображения появляются последовательно (т.е. двигаются). Но обучаясь последовательности v1-v2, можно уловить связь между этим переходом, поэтому если мы начнем с последовательности v2-.., эта связь не будет активирована, и соответственно узнаем только v2, а что дальше не узнаем. А значит и решение не получим. Если же начнем опять с v1 - мы узнаем v1 (то что учили), и активируем связь v1-v2, т.е. система будет ожидать следующим стимулом v2, и поэтому внутренее активирует соответствующие состояния. Но если на самом деле активируется v3, оно отреагирует на это аналогично v2, перекрыв стимулы от среды как шум. А если бы оно еще обучалось бы, то обучение состояло бы в приведение в соответствие внешнего стимула с внутреним состоянием.
[Ответ][Цитата]
tac2
Сообщений: 332
На: Создадим профессиональный форум ?
Добавлено: 07 фев 12 6:04
Но последнее уточнение не важно. С ним или без - у меня отрицательный результат. Предложение Розенблатта проверил, оно не рабочие. Увы, ... если кому будет интересно - объясню, обсудим.
[Ответ][Цитата]
СГТР http://egtd.ru
Сообщений: 7934
На: Создадим профессиональный форум ?
Добавлено: 08 фев 12 9:43
По поводу запоминания. В организме это происходит следующим образом:
После распознавания образа и его эмоциональной привязки (хорошо-плохо, значимо-не значимо) по отношению к уже существующей в сознании схеме, формируется устойчивая циклическая нейронная ЭМ связь - аттрактор имеющий определённую поверхность и форму. Ансамбли НС организма отвечающие за сознание некоторое время динамически поддерживают распознанную форму, которая постепенно затухает, вырабатывают и фиксирует её эмоциональную конструкцию так же своими динамическими процессами ансамблей. После повторения образа и соответствующей ему эмоции, интенсивность поля ростёт, а время затухания динамики аттракторов возрастает, что соответствует значимости. Это поясняет то что вы имели под понятием "безусловный". Непосредственное обучение, это процесс прорастания нейронных связей КГМ вдоль ЭМ поля, организованного сознанием в пространстве организма (образ-эмоция), это микро аттрактор той же информационной векторной конструкции (имеющей аналогичную (подобную) форму оброза и эмоции) (аттрактор)ЭМ-у полю сознания но уже в КГМ. Он в последствии возвращает свою ЭМ форму в сознание при возбуждении связанным с эмоциональным синтезом, и мы вспоминаем образ. Чем больше повторений мать учений, тем лучше прорастает КГМ, и мы лучше помним и лучше вспоминаем. Моделировать нужно именно эту схему. Аттрактор эмоции должен иметь множество входов, импульс в который запускает весь ансамбль и формирует всю эмоцию и отправляет её на эмоциональный синтез формируя интенцию к мышлению, а та управляет образами. В результате одно импульса может быть достаточно чтобы в сознании всплыл образ, что и подтверждают эксперименты. Ваша последовательность должна запомниться (обучить) целиком с соответствующей эмоцией. Последовательность вид - образ, принцип чередования - эмоция. Эта пара представляет собой - ЗНАНИЕ.
[Ответ][Цитата]
covax
Сообщений: 1609
На: Создадим профессиональный форум ?
Добавлено: 08 фев 12 11:47
Цитата:
Автор: tac2
Но последнее уточнение не важно. С ним или без - у меня отрицательный результат. Предложение Розенблатта проверил, оно не рабочие. Увы, ... если кому будет интересно - объясню, обсудим.


Мне интересно.
Кстати, задачку вашу для статики я оформил в код. Думаю куда выложить. Хотелось бы сразу на свой сайт, но его пока нету.

Если хотите что-то объяснить, то объясните следующее. Откуда сеть узнает, что v1 и v2 равны v3, а не h2, к примеру? Почему разные классы вдруг стали равными? И откуда сеть должна знать об этом равенстве если класс v3 ей принципиально неизвестен (обучения по нему не было)? Проблемы с формулировкой задачи?
[Ответ][Цитата]
tac2
Сообщений: 332
На: Создадим профессиональный форум ?
Добавлено: 08 фев 12 15:36
Цитата:
Автор: covax


Кстати, задачку вашу для статики я оформил в код. Думаю куда выложить. Хотелось бы сразу на свой сайт, но его пока нету.



Могу предложить сюда http://code.google.com/p/vlabdownload/downloads/list

мне нужна ваша почта, чтобы вас прописать в гугл-проект

Остальное поже
[Ответ][Цитата]
tac2
Сообщений: 332
На: Создадим профессиональный форум ?
Добавлено: 08 фев 12 20:41
Цитата:
Автор: covax

Если хотите что-то объяснить, то объясните следующее. Откуда сеть узнает, что v1 и v2 равны v3, а не h2, к примеру? Почему разные классы вдруг стали равными? И откуда сеть должна знать об этом равенстве если класс v3 ей принципиально неизвестен (обучения по нему не было)? Проблемы с формулировкой задачи?


Нет. Это как раз самая четкая формулировка задачи чистого обобщения. В том то и дело, что сейчас любая ИНС не может узнать, что v3 относится к тому же классу что и v1 или v2. Но человеку не нужно видеть все возможные вертикальные полосы, чтобы понять что это вертикальная полоса. Он это узнает. Поэтому то и нужно создать такую сеть, которая была бы способна.

У Розенблатта были наметки к этому. Он теоретически обосновал, и вроде как что-то экспериментально делал. Но у меня не удалось повторить его результаты. Возникли ряд принципиальных трудностей.

Тут выше также говорили о выделении признаков. Это т.н . логический подход - и я не сразу это понял. Они хотят чтобы было четко сформулирована операция "обобщения", а затем можно в образах найти признаки по которым решить, что v3 относится к тому же классу что и v1 или v2.

Но такой подход менее интересен. Розенблатт же описывал коннективистский подход. Скажем так статистическое обобщение, основанное на наблюдении образов во времени.

Если поможете мне проверить (проследите внимательно за моей логикой) - что он действительно не работает - объясню.

Но есть еще один подход, который похоже решает эту задачу. И интересен сам по себе Иерархическая темпоральная память (HTM). По сути очень близко к Розенблатту (хотя там много лирики, а все почему то не видят связи с перцептроном), но есть отличия.

http://www.numenta.com/htm-overview/education/HTM_CorticalLearningAlgorithms_ru.pdf

Но там проблема, что код не предоставляется, но запрограммировать можно. Вот я начал на C# - был бы рад помощи в любом виде.
[Ответ][Цитата]
covax
Сообщений: 1609
На: Создадим профессиональный форум ?
Добавлено: 08 фев 12 23:03
Цитата:
Автор: tac2
Нет. Это как раз самая четкая формулировка задачи чистого обобщения. В том то и дело, что сейчас любая ИНС не может узнать, что v3 относится к тому же классу что и v1 или v2.


Это формулировка только для первичной классификации статических образов.
Для вашего случая - это разделение пространства входных образов на классы v1,v2,v3, h1,h2,h3. Вторичный уровень - уровень обобщения опирается на пространство решений (v1,v2,v3, h1,h2,h3) полученное на первичном уровне. Задача обобщить/сгруппировать решения следующим образом v = v1|v2|v3 и h = h1|h2|h3. А теперь самое ужасное.
Почему решение v именно такое, а не такое: v = v1|h1|v2? Вот и попробуйте объяснить сети, какие решения первичного уровня нужно обобщать на вторичном, хотя бы в статическом случае.

Цитата:
Автор: tac2
Но человеку не нужно видеть все возможные вертикальные полосы, чтобы понять что это вертикальная полоса. Он это узнает.


А грудной ребёнок это узнаёт? Откуда у человека представлении о вертикальной и тем более, линии?

Цитата:
Автор: tac2
Тут выше также говорили о выделении признаков. Это т.н . логический подход - и я не сразу это понял. Они хотят чтобы было четко сформулирована операция "обобщения", а затем можно в образах найти признаки по которым решить, что v3 относится к тому же классу что и v1 или v2.


В такой постановке подобную задачу даже мозг не решает.
Решение v1 не равно v2 и не равно v3. Это абсолютно разные конфигурации признаков в абсолютно разных участках входного пространства. На каких основаниях вы решаете, что эти образы одного класса? Даже человек, чтобы убедиться, что линия прямая, начинает её рассматривать, перемещая образ относительно центра визуального восприятия. Даже у человеческого восприятия есть опорная точка отсчёта пространственных отношений признаков. А у вас её вообще нет. Все образы, которые помнит человек, "нанизаны" на эту "ось" восприятия, а не раскиданы как попало. Нетрудно догадаться сколько памяти экономит подобный механизм ИНВАРИАНТНОГО визуального восприятия.

Цитата:
Автор: tac2
Розенблатт же описывал коннективистский подход. Скажем так статистическое обобщение, основанное на наблюдении образов во времени.


Розенблат похоже не был тогда знаком с проблемой переобучения (в случае статической структуры), комбинаторного взрыва (в случае динамической структуры).
А на самом деле, так оно и есть - мозг работает на статистических принципах и успешно решает все вышеобозначенные проблемы. Но постановка задачи у мозга динамическая, а Розенблат с динамикой, похоже, вообще не работал.

Цитата:
Автор: tac2
Но есть еще один подход, который похоже решает эту задачу. И интересен сам по себе Иерархическая темпоральная память (HTM). По сути очень близко к Розенблатту (хотя там много лирики, а все почему то не видят связи с перцептроном), но есть отличия.

http://www.numenta.com/htm-overview/education/HTM_CorticalLearningAlgorithms_ru.pdf

Но там проблема, что код не предоставляется, но запрограммировать можно. Вот я начал на C# - был бы рад помощи в любом виде.


Вы хотите алгоритм HTM запрограммировать? Не стоит - там куча недостатков.
Один из них в том, что HTM конвергентно иерархична, а кортекс дивергентно иерархичен.
Смысл в том, что в динамической постановке задачи из 10 (к примеру) входов можно выжать тысячи разделимых решений. А у Хокинза на 10 входах не более 10 решений. Комбинаторный взрыв ему не грозит, но и потенциал в обучении сети у него почти нулевой. А всё потому, что ячейки расположены на жёсткой квадратной решётке и нет адаптивного роста структуры. Одно из самых примитивных решений, я такое даже не рассматривал как вариант.

В общем, стоит вам над постановкой задачи еще подумать. Для "голой" статической сети вы ставите слишком сложные задачи.
[Ответ][Цитата]
tac2
Сообщений: 332
На: Создадим профессиональный форум ?
Добавлено: 09 фев 12 0:28
Цитата:
Автор: covax

А теперь самое ужасное.
Почему решение v именно такое, а не такое: v = v1|h1|v2? Вот и попробуйте объяснить сети, какие решения первичного уровня нужно обобщать на вторичном, хотя бы в статическом случае.



Ну, не смешите меня. Если задаете такие вопросы - отвечайте сами. Это как раз и входит в решение , а не в постановку задачи.

Вот смотрите сюда

http://ru.wikipedia.org/w/index.php?title=%D0%A4%D0%B0%D0%B9%D0%BB:%D0%9A%D0%BE%D1%82.jpg&filetimestamp=20100225110111

http://ru.wikipedia.org/wiki/File:Golden_Retriever_Dukedestiny01_drvd.jpg

http://ru.wikipedia.org/w/index.php?title=%D0%A4%D0%B0%D0%B9%D0%BB:Sonny_Bunny.jpg&filetimestamp=20090404021849

сможете решить детскую задачку "кто лишний" ? Почему так или иначе ?

А грудной ребенок не решает потому что не обладает интеллектом, а 3 летний уже вполне решает. Как только появляется интеллект - это одна из первых задач.

(и подумайте на досуге, почему такие вопросы не серьезны)
[Ответ][Цитата]
 Стр.11 (15)1  ...  7  8  9  10  [11]  12  13  14  15<< < Пред. | След. > >>