Форум: Проблемы искусственного интеллекта

Регистрация | Вход

Все темы | Новая тема  Стр.9 (12) << < Пред. | След. > >>    Поиск:
Автор	Тема: На: Обучение сети
3d6 Сообщений: 325	На: Обучение сети Добавлено: 26 янв 09 16:57 tac, очень большая сеть, для нее скорость обучения 0.1 (которая стоит по умолчанию) слишком велика. Если уменьшить ее до 0.01, вроде получше, но терпения у меня не хватило проверить. Возможно, нужно вообще 0.001 поставить. А вот если уменьшить число нейронов с 2000 до 50, и поставить такие параметры скорости и момента: CMLP::CMLP() { speedCoeff = 0.05; momentCoeff = 0.1; то за 10000 эпох (которые пройдут за пару минут) останется 6 ошибок. Для дальнейшего уменьшения числа ошибок, надо уменьшать скорость в процессе обучения - иначе до 0 не дойдет, скорее всего. [Ответ][Цитата]
tac Сообщений: 2601	На: Обучение сети Добавлено: 26 янв 09 17:52 Т.е. получается дело не в багах ... Надо несколько поколдовать над коэффициентами, ну и как Вы их отгадываете ? Например для сети в 100 нейронов, ну никак не могу подобрать коэффициенты ... есть ли вообще какая нибудь логика между соотношением числа нейронов - speedCoeff - momentCoeff ? [Ответ][Цитата]
3d6 Сообщений: 325	На: Обучение сети Добавлено: 26 янв 09 20:06 Цитата: Автор: tac Т.е. получается дело не в багах ... Надо несколько поколдовать над коэффициентами, ну и как Вы их отгадываете ? Например для сети в 100 нейронов, ну никак не могу подобрать коэффициенты ... есть ли вообще какая нибудь логика между соотношением числа нейронов - speedCoeff - momentCoeff ? Отгадываю примерно так: если посмотреть на график ошибки (не ошибочных ответов, а самой ошибки) - то он должен монотонно убывать (т.к. BP - это градиентный спуск). Если убывает очень хорошо и монотонно - скорость можно попробовать прибавить, если монотонность сильно нарушена - скорость нужно убавить. Момент в принципе можно поставить на 0, а потом посмотреть, как увеличение влияет на качество обучения, и выбрать более-менее оптимальный. [Ответ][Цитата]
tac Сообщений: 2601	На: Обучение сети Добавлено: 26 янв 09 20:30 Гадание на кофейной гуще, добился только 4 ошибок, к нулю похоже они ни когда не сойдутся. А в вашем нейрокомпьютере вы тоже гадаете, что установить ? А что там за теория с адаптивным шагом, как это можно реализовать, так чтобы в ручную не управлять скоростью ... Похоже это как раз и есть ситуация когда ВР сваливается в локальный минимум, чем сложнее задача тем больше опасность попасть в такой минимум и никогда не выбраться, т.е. зациклится на 8, 6, 4 ошибках ... тяжелый случай ... Короче перцептрону вообще не конкурент по любому ... Фиксируем наш результат ? [Ответ][Цитата]
3d6 Сообщений: 325	На: Обучение сети Добавлено: 26 янв 09 20:42 Цитата: Автор: tac Гадание на кофейной гуще, добился только 4 ошибок, к нулю похоже они ни когда не сойдутся. А в вашем нейрокомпьютере вы тоже гадаете, что установить ? А что там за теория с адаптивным шагом, как это можно реализовать, так чтобы в ручную не управлять скоростью ... В моем - да, поскольку я MLP сделал исключительно за компанию, работаю я с другими сетями. Адаптивный шаг - например, если ошибка за последнюю 1000 итераций изменилась незначительно - сделать скорость вдвое меньшей. Если снова - еще вдвое, и так пока не надоест. Или какой-нибудь другой метод, например EDBD. На эту тему много придумано, но практического смысла в таком мало. Цитата: т.е. зациклится на 8, 6, 4 ошибках ... тяжелый случай ... Во всех прикладных задачах, где действительно нужны нейросети, важна ошибка не на обучающей выборке, а на тестовой. Т.е. вы даете сети некоторый набор обучающих пар не для того, чтобы сеть их все запомнила, а для того, чтобы сеть вывела обобщающее правило - и смогла правильно классифицировать и те данные, которых не видела при обучении. В подавляющем большинстве таких задач 1% ошибок на обучающей выборке - не проблема. Не хотите сравнить перцептрон с bp-mlp на одной из таких задач? [Ответ][Цитата]
tac Сообщений: 2601	На: Обучение сети Добавлено: 26 янв 09 20:55 Цитата: Автор: 3d6 Во всех прикладных задачах, где действительно нужны нейросети, важна ошибка не на обучающей выборке, а на тестовой. Т.е. вы даете сети некоторый набор обучающих пар не для того, чтобы сеть их все запомнила, а для того, чтобы сеть вывела обобщающее правило - и смогла правильно классифицировать и те данные, которых не видела при обучении. В подавляющем большинстве таких задач 1% ошибок на обучающей выборке - не проблема. Не хотите сравнить перцептрон с bp-mlp на одной из таких задач? Эту сказку я знаю ... 1. Мы признаем, что bp-mlp не способен запомнить ВСЕ обучающие примеры 2. Лично я не хочу, но есть работа показывающая, что перцептрон как минимум пригоден для "таких" задач см. http://code.google.com/p/vlabdownload/downloads/list E. Kussul, T. Baidyk, L. Kasatkina, V. Lukovich Rosenblatt Perceptrons for Handwritten Digit Recognition // IEEE 0-7803-7044-9. — 2001. — С. 1516 – 1520. при том, что работает на порядок быстрее ! [Ответ][Цитата]
tac Сообщений: 2601	На: Обучение сети Добавлено: 26 янв 09 20:56 Цитата: Автор: 3d6 я с другими сетями. Что-то от моделей Хопфилда ? Я так и не понял как вы устраняете их недостаток однослойной сети ? [Ответ][Цитата]
3d6 Сообщений: 325	На: Обучение сети Добавлено: 26 янв 09 21:01 Цитата: Автор: tac 1. Мы признаем, что bp-mlp не способен запомнить ВСЕ обучающие примеры 2. Лично я не хочу, но есть работа показывающая, что перцептрон как минимум пригоден для "таких" задач см. http://code.google.com/p/vlabdownload/downloads/list E. Kussul, T. Baidyk, L. Kasatkina, V. Lukovich Rosenblatt Perceptrons for Handwritten Digit Recognition // IEEE 0-7803-7044-9. — 2001. — С. 1516 – 1520. при том, что работает на порядок быстрее ! 1. Я признаю, что bp-mlp менее эффективен для запоминания данных, чем перцептрон, а перцептрон, в свою очередь, менее эффективен, чем прямая запись в базу данных. 2. "пригоден" и "лучше" - очень разные вещи. Кстати, E. Kussul, на которую вы ссылаетесь, работает в соседнем с нами корпусе [Ответ][Цитата]
3d6 Сообщений: 325	На: Обучение сети Добавлено: 26 янв 09 21:04 Цитата: Автор: tac Что-то от моделей Хопфилда ? Я так и не понял как вы устраняете их недостаток однослойной сети ? Из известных - рекуррентный перцептрон и сеть Эльмана. А какие недостатки однослойной сети нужно устранять? У меня есть задачи, которые требуют решения, но к числу слоев они отношения явно не имеют. [Ответ][Цитата]
tac Сообщений: 2601	На: Обучение сети Добавлено: 26 янв 09 21:45 Цитата: Автор: 3d6 2. "пригоден" и "лучше" - очень разные вещи. Кстати, E. Kussul, на которую вы ссылаетесь, работает в соседнем с нами корпусе Не ужели ? Это где в Киеве ? Мне расказывали, что они вместе с T. Baidyk в Мексику подались [Ответ][Цитата]
tac Сообщений: 2601	На: Обучение сети Добавлено: 26 янв 09 21:47 Цитата: Автор: 3d6 1. Я признаю, что bp-mlp менее эффективен для запоминания данных, чем перцептрон, а перцептрон, в свою очередь, менее эффективен, чем прямая запись в базу данных. Не просто запоминания, а ассоциативного запоминания на распределенной базе данных [Ответ][Цитата]
tac Сообщений: 2601	На: Обучение сети Добавлено: 26 янв 09 21:50 Цитата: Автор: 3d6 Из известных - рекуррентный перцептрон и сеть Эльмана. О! Это уже интереснее ... а чем они обучаются, снова ВР ? Других вариантов я не встречал ? [Ответ][Цитата]
3d6 Сообщений: 325	На: Обучение сети Добавлено: 26 янв 09 23:54 Цитата: Автор: tac Не ужели ? Это где в Киеве ? Мне расказывали, что они вместе с T. Baidyk в Мексику подались Ага, в Киеве. Не знаю, до меня новости всегда доходят с очень большим опозданием, могу завтра уточнить [Ответ][Цитата]
3d6 Сообщений: 325	На: Обучение сети Добавлено: 26 янв 09 23:58 Цитата: Автор: tac Не просто запоминания, а ассоциативного запоминания на распределенной базе данных Ну тут перцептрон вчистую проигрывает ассоциативной памяти - там на запоминание образа нужна одна итерация Цитата: Автор: tac О! Это уже интереснее ... а чем они обучаются, снова ВР ? Других вариантов я не встречал ? Около того. Для рекуррентного случая при обратном распространении ошибки коррекцию веса тоже нужно считать по рекуррентному соотношению, на обычное BP это не очень похоже - как минимум потому, что ошибка не падает монотонно при сколько-нибудь ощутимых скоростях. Эльман тоже имеет некоторую специфику... [Ответ][Цитата]
tac Сообщений: 2601	На: Обучение сети Добавлено: 27 янв 09 9:41 Цитата: Автор: 3d6 Ну тут перцептрон вчистую проигрывает ассоциативной памяти - там на запоминание образа нужна одна итерация Это не совсем так. Это сново длиный разговор. Но попробую развеять неправильное преподнесение этой информации ... Итак о чем разговор - для простоты возьмем черно-белые образы размером 4х4 и количеством 65536. Попробуем снова их все ассоциативно запомнить. Если пресмотреться то окажется, что это ровна та же самая задача, которую мы без успешно пытались решить с помощью ВР. Теперь развеем вашу любовь к Хопфилду, Коско и т.п. ассоциативным памятям ... Говоря, что там одна иттерация Вы имеете введу математический расчет весовых коээффициентов за один раз. Но как же там идет расчет ? Там находится транспонированная матрица для каждого из наших 65536 примеров умнажается на собственно образ и затем все результаты тупо складываются ? Так или я чего то серьезно перепутал ? Если так я вам попробую показать, что здесь просиходит несколько искаженное перцептронное обучение, причем схождение не гарантируется, и даже в большей мере чем у ВР. [Ответ][Цитата]
Стр.9 (12): 1  ...  5  6  7  8  [9]  10  11  12 << < Пред. | След. > >>