GotAI.NET

Форум: Проблемы искусственного интеллекта

 

Регистрация | Вход

 Все темы | Новая тема Стр.11 (12)<< < Пред. | След. > >>   Поиск:  
 Автор Тема: На: Обучение сети
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 27 янв 09 16:07
Цитата:
Автор: 3d6
А разве проигрывает? На задаче, которую вы мне прислали, до 10 ошибок можно дойти за 2 минуты. В прикладных задачах такой уровень ошибок на обучающей выборке обычно достаточен - все решают ошибки на тестовой выборке. А за сколько перцептрон спустится до 10 ошибок на этой задаче?
Хотя в принципе я не спорю, в некоторых прикладных случаях перцептрон может оказаться эффективнее. В любом случае, меня это слабо интересует - статикой я не занимаюсь.


Алгоритм, который НЕ МОЖЕТ запомнить (принять во внимание) все, что ему дано - меня в принципе не устраивает, поэтому лично для меня сходимость на обучении есть минимально необходимое требование, хотя я и в курсе, что работают люди и без этого ... Для меня решение практической задачи не самоцель ...
[Ответ][Цитата]
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 27 янв 09 16:21
Цитата:
Автор: 3d6
Одна картинка -> одно слово? Тогда это будет гетероассоциативная память размером 256х256 нейронов в одном слое, и, скажем, 33х20 - во втором (или меньше, если взять более оптимальное кодирование).


Да, и почему одна - всех картинок 10 или 1000 не важно ... показываем по одной, будет ли такая сеть хранить все 10 и не ошибаться, например, сеть Хопфилда ошибается, а за счет чего здесь не будет того же ?
Будет ли здесь сложение полученных матриц (вот это принципиальный вопрос) ???
[Ответ][Цитата]
3d6
Сообщений: 325
На: Обучение сети
Добавлено: 27 янв 09 17:54
Цитата:
Автор: tac

Ну, это похоже любая рекуррентная сеть может, моя уж точно

Назовите, пожалуйста, все типы сетей, которые, на ваш взгляд, это делают, и расскажите, как именно это делает ваша сеть? (статью читал - НЕ очевидно)
[Ответ][Цитата]
3d6
Сообщений: 325
На: Обучение сети
Добавлено: 27 янв 09 18:01
Цитата:
Автор: tac

Алгоритм, который НЕ МОЖЕТ запомнить (принять во внимание) все, что ему дано - меня в принципе не устраивает

Почему? Сходимость - ваша самоцель?
[Ответ][Цитата]
3d6
Сообщений: 325
На: Обучение сети
Добавлено: 27 янв 09 18:04
Цитата:
Автор: tac

Да, и почему одна - всех картинок 10 или 1000 не важно ... показываем по одной, будет ли такая сеть хранить все 10 и не ошибаться, например, сеть Хопфилда ошибается, а за счет чего здесь не будет того же ?
Будет ли здесь сложение полученных матриц (вот это принципиальный вопрос) ???

Будет хранить до тех пор, пока картинок будет меньше чем ~0.1 от числа нейронов (точная формула зависит от конкретного алгоритма).
Более того, ассоциативная память может запомнить новый образ, не трогая старые, забыть образ, не повредив другие. Перцептрон этого всего не может.
Как себя ведут матрицы - вопрос отдельный, интересный, и зависит от алгоритма.
[Ответ][Цитата]
3d6
Сообщений: 325
На: Обучение сети
Добавлено: 27 янв 09 18:10
Цитата:
Автор: tac

Меня интересует алгорим Ну, буду рад любому, что вы сможете мне рассказать ... Но я оооочень сомневаюсь, что это будет хоть на сколько то быстрее

Ссылки найду. На пальцах псевдообращение даже если и рассказать, алгоритм по этому рассказу вы все равно не напишете
И зря сомневаетесь. На запоминание образа 256х256 - не больше секунды уйдет, я только что проверил... Ну, может я ошибся, полторы секунды - время не замерял
[Ответ][Цитата]
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 27 янв 09 18:30
Цитата:
Автор: 3d6
Почему? Сходимость - ваша самоцель?


Сходимость - это всего лишь минимально требование, т.е. ИНС не должна уступать простому алгоритму ни в чем ... Т.е. если я в алгоритме могу сделать действие int a=1, то это же я должен уметь и с помощью ИНС, но с известными преймуществами, а не наоборот ...
[Ответ][Цитата]
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 27 янв 09 18:32
Цитата:
Автор: 3d6
Будет хранить до тех пор, пока картинок будет меньше чем ~0.1 от числа нейронов (точная формула зависит от конкретного алгоритма).
Более того, ассоциативная память может запомнить новый образ, не трогая старые, забыть образ, не повредив другие. Перцептрон этого всего не может.
Как себя ведут матрицы - вопрос отдельный, интересный, и зависит от алгоритма.


Этого крайне мало. Оригинальный перцептрон не может, но есть алгоритм СС4 - он может и лучше и прогнозируемее ... но проходили, знаем, пришлось отказаться ...
[Ответ][Цитата]
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 27 янв 09 18:40
Цитата:
Автор: 3d6
Назовите, пожалуйста, все типы сетей, которые, на ваш взгляд, это делают, и расскажите, как именно это делает ваша сеть? (статью читал - НЕ очевидно)


Ну, скажем сеть Джордана или Элмана - разве нет ? Почему же их тогда рекуррентными назвали

Моя делает очень просто ... только не падайте со стула от такой простоты

Есть вход скажем 010001 и есть выходы из 4 последовательностей, например 01-01-11-10.
Удерживаем такой вход 4 такта, а сеть обучаем 4 образам 010001-01, 010001-01, 010001-11, 010001-10 ... это было бы не возможно если бы не дополнительные внутрение входы поэтому образ на входе отличается за каждый такт ... вот и все в принципе, что тут не очевидного

[Ответ][Цитата]
3d6
Сообщений: 325
На: Обучение сети
Добавлено: 27 янв 09 20:41
Цитата:
Автор: tac

Сходимость - это всего лишь минимально требование, т.е. ИНС не должна уступать простому алгоритму ни в чем ... Т.е. если я в алгоритме могу сделать действие int a=1, то это же я должен уметь и с помощью ИНС, но с известными преймуществами, а не наоборот ...

Бред какой-то... Я в своем мозгу такого не могу сделать, и не считаю что это плохо - для запоминания есть другие инструменты. Зачем Универсальный Инструмент Для Всего изобретать-то?
[Ответ][Цитата]
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 27 янв 09 23:19
Цитата:
Автор: 3d6
Я в своем мозгу такого не могу сделать, и не считаю что это плохо - для запоминания есть другие инструменты.


Можете .. Другой вопрос какой у вас объем памяти ...
[Ответ][Цитата]
3d6
Сообщений: 325
На: Обучение сети
Добавлено: 27 янв 09 23:24
Цитата:
Автор: tac

Моя делает очень просто ... только не падайте со стула от такой простоты

Я хочу решить несколько другую задачу:
Пусть на два входа сети у нас поступают две разных последовательности: 01-10-01-11 и 11-01-11-01. Тогда на выходах сети при поступлении первого 01 должен возникнуть сигнал 01, и если последующие входные сигналы все 00 (вход не определен) - то ответы должны быть 10-01-11. Если первый 11 - то ответы 11-01-11-01. Если входные сигналы 01-01-11-00 - то отклик должен быть 01-10-11-01 или 01-01-11-01 (т.к. первый сигнал из первой последовательности, второй - из второй, третий - тоже из второй, после него последовательность должна быть однозначно идентифицирована как вторая).
Также я бы хотел, чтобы, если вход состоял только из этих двух последовательностей, сменяющих друг друга случайным образом, то сеть научилась вышеуказанным реакциям БЕЗ какой-либо дополнительной информации - т.е. чтобы мы никак не говорили сети "вот это учи, вот это не учи", "последовательность содержит ровно 4 числа", и т.п.
[Ответ][Цитата]
3d6
Сообщений: 325
На: Обучение сети
Добавлено: 27 янв 09 23:29
Цитата:
Автор: tac

Можете .. Другой вопрос какой у вас объем памяти ...

Объем памяти со 100% восстановлением любого элемента по отдельности, без восстановления цельного образа - ничтожно мал по сравнению с числом нейронов, которые я использую. Даже слова таким образом человек не помнит - вы не можете сгенерировать список слов, у которых третья буква "р" - вы можете только сгенерировать список слов по какому-то ассоциативному признаку, и путем отдельного анализа каждого (т.е. после восстановления образа в ассоциативной памяти) посмотреть, какая там буква третья, и если "р" - выдать его.
[Ответ][Цитата]
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 28 янв 09 0:21
Цитата:
Автор: 3d6
Я хочу решить несколько другую задачу:


Уф ... пришлось написать на бумаге, чтобы понять Ну первые две последовательности мы заучим я так понимаю - это легко ... но касательно третьей, я так понимаю, вы хотите, чтобы сеть выдавала сама уже без обучения ... или как ? Что значит учи-не учи, чему можно научится изначально ? Или ничему - типа сеть сама должна решить чему учится - так вроде не бывает ...
[Ответ][Цитата]
3d6
Сообщений: 325
На: Обучение сети
Добавлено: 28 янв 09 0:38
Цитата:
Автор: tac

Уф ... пришлось написать на бумаге, чтобы понять Ну первые две последовательности мы заучим я так понимаю - это легко ... но касательно третьей, я так понимаю, вы хотите, чтобы сеть выдавала сама уже без обучения ... или как ? Что значит учи-не учи, чему можно научится изначально ? Или ничему - типа сеть сама должна решить чему учится - так вроде не бывает ...

Да, я тоже не сразу правильно придумал
Третья должна начинаться как первая - т.к. первый вход соответствует первой, а заканчиваться как вторая - т.к. дальнейшие входы соответствуют второй.
Важно, чтобы генерация была именно последовательной, по мере поступления входов, а не цельным образом - иначе такого эффекта не достичь.
И да - сеть должна сама решить. Так пока что толком не бывает, кроме сети Кохонена и ее родственников - но нужно сделать, иначе ИИ не будет
[Ответ][Цитата]
 Стр.11 (12)1  ...  7  8  9  10  [11]  12<< < Пред. | След. > >>