Форум: Проблемы искусственного интеллекта

Регистрация | Вход

Все темы | Новая тема  Стр.3 (12) << < Пред. | След. > >>    Поиск:
Автор	Тема: На: Обучение сети
гость 83.218.236.*	На: Обучение сети Добавлено: 12 янв 09 17:29 Цитата: Автор: tac Получаю результат только где-то за 20000 итераций ... Взгяните в чем может быть ошибка ... Это правильно, у меня тоже куча итераций уходит (для сети 4-2-1 вообще 65 тысяч, хоть они и за секунду проходят), но решение-то есть! Причем достаточно 2х нейронов в скрытом слое, 1 на выходе. Цитата: Дальше хуже если не найдете ошибки, то есть задача где дождаться решения я не могу - задача XOR в квадрате - губка с водой: Ну, эта задача конечно очень объемная по вычислениям - но если можно сделать препроцессинг (подбор связей S-A - это типичный препроцессинг) - я готов спорить на скорость Цитата: Но вначале покажите может ошибочен мой алгоритм ВР на первоначальной задаче . На вид совпадает с моим, если я ничего не пропустил. Только производная активационной функции (FF) не соответствует функции. *пишу с работы, пароль сюда послать забыл [Ответ][Цитата]
tac Сообщений: 2601	На: Обучение сети Добавлено: 12 янв 09 17:41 Цитата: Автор: гость На вид совпадает с моим, если я ничего не пропустил. Только производная активационной функции (FF) не соответствует функции. А как правильно ??? [Ответ][Цитата]
tac Сообщений: 2601	На: Обучение сети Добавлено: 12 янв 09 17:45 Цитата: Автор: гость для сети 4-2-1 вообще 65 тысяч, хоть они и за секунду проходят Не-а, за секунду у меня не проходят ... правда я делаю вывод на экран каждую иттерацию, но занимает так с минуту - две как минимум ... да, и комп у меня вроде резвый ... в чем-то алгоритм не оптимальный, что ли ? Или секунду - это вы от балды сказали ? [Ответ][Цитата]
tac Сообщений: 2601	На: Обучение сети Добавлено: 12 янв 09 18:13 Цитата: Автор: гость Ну, эта задача конечно очень объемная по вычислениям - но если можно сделать препроцессинг (подбор связей S-A - это типичный препроцессинг) - я готов спорить на скорость "подбор связей S-A" - и что потом их не менять в процессе обучения ? Или как ? Как вы будите делать препроцессинг ? Если уложитесь меньше чем в 15 минут - давайте спорить полюбому [Ответ][Цитата]
гость 83.218.236.*	На: Обучение сети Добавлено: 12 янв 09 18:24 Цитата: Автор: tac А как правильно ??? F''(x) = x / (1 + exp(-x))^2 [Ответ][Цитата]
гость 83.218.236.*	На: Обучение сети Добавлено: 12 янв 09 18:30 Цитата: Автор: tac Не-а, за секунду у меня не проходят ... правда я делаю вывод на экран каждую иттерацию, но занимает так с минуту - две как минимум ... да, и комп у меня вроде резвый ... в чем-то алгоритм не оптимальный, что ли ? Или секунду - это вы от балды сказали ? Около секунды - это я эксперимент сделал (точно не мерял, может там и 2 секунды прошло, но уж никак не 5 или более ). А если все выводить на экран - то и больше десяти минут может быть Цитата: Автор: tac "подбор связей S-A" - и что потом их не менять в процессе обучения ? Или как ? Как вы будите делать препроцессинг ? Если уложитесь меньше чем в 15 минут - давайте спорить полюбому У перцептрона S-A связи не меняются в процессе обучения. Для препроцессинга мне нужно для каждой координаты выполнить одну простую математическую операцию (ее в школе по-моему классе в 5 проходят), и ее результат подавать на входы сети. В таком случае обещаю обучить сеть отвечать правильно менее чем за секунду [Ответ][Цитата]
tac Сообщений: 2601	На: Обучение сети Добавлено: 12 янв 09 20:38 Цитата: Автор: гость 1. У перцептрона S-A связи не меняются в процессе обучения. 2. Для препроцессинга мне нужно для каждой координаты выполнить одну простую математическую операцию (ее в школе по-моему классе в 5 проходят), и ее результат подавать на входы сети. В таком случае обещаю обучить сеть отвечать правильно менее чем за секунду 1. У перцептрона да, но вы же будете делать для MLP&BP 2. Давайте !!! (а операция какая секрет ?) и только не отвечать, а обучить до полной сходимости ! [Ответ][Цитата]
tac Сообщений: 2601	На: Обучение сети Добавлено: 12 янв 09 23:17 Цитата: Автор: гость Около секунды - это я эксперимент сделал (точно не мерял, может там и 2 секунды прошло, но уж никак не 5 или более ). А если все выводить на экран - то и больше десяти минут может быть Похоже на правду - при 10 внутрених нейронах, без вывода на экран 20000 итераций за секунду ... А вот с вашей производной или меньшим количеством нейронов (8) не сходится по крайней мере за 500 000 итераций ... Незнаю может другие константы нужны double EachRate = 0.1; double Momentum = 0.9; [Ответ][Цитата]
3d6 Сообщений: 325	На: Обучение сети Добавлено: 13 янв 09 0:32 Цитата: Автор: tac (а операция какая секрет ?) и только не отвечать, а обучить до полной сходимости! Давайте я скажу операцию, и вы признаете, что задачу я действительно смогу решить Операция - остаток по модулю 2. Соответственно все черные (или белые, смотря как закрашивать) клетки будут при Xmod2 = 1 и Ymod2 = 0, а также Xmod2 = 0 и Ymod2 = 1. Соответственно, сети нужно будет обучиться на 4х примерах (1,0->0; 0,1->0; 1,1->1; 0,0->0), и после этого для любой координаты ответ будет правильным Цитата: Автор: tac Похоже на правду - при 10 внутрених нейронах, без вывода на экран 20000 итераций за секунду ... А вот с вашей производной или меньшим количеством нейронов (8) не сходится по крайней мере за 500 000 итераций ... Незнаю может другие константы нужны double EachRate = 0.1; double Momentum = 0.9; Важный момент - вы при обучении порог не используете, как я понимаю из кода? А зря. Вместо порога в коде, можно добавить во все входные образы еще один элемент, всегда равный 1 - задачу это не испортит А нейросети работу здорово облегчит. [Ответ][Цитата]
tac Сообщений: 2601	На: Обучение сети Добавлено: 13 янв 09 2:50 Цитата: Автор: 3d6 Давайте я скажу операцию, и вы признаете, что задачу я действительно смогу решить Операция - остаток по модулю 2. Соответственно все черные (или белые, смотря как закрашивать) клетки будут при Xmod2 = 1 и Ymod2 = 0, а также Xmod2 = 0 и Ymod2 = 1. Соответственно, сети нужно будет обучиться на 4х примерах (1,0->0; 0,1->0; 1,1->1; 0,0->0), и после этого для любой координаты ответ будет правильным Ну, так не честно хотя оригинально Чтобы вы не хитрили - давайте тогда возьмем произвольный чернобелый рисунок !? [Ответ][Цитата]
гость 83.218.236.*	На: Обучение сети Добавлено: 13 янв 09 15:57 Цитата: Автор: tac Ну, так не честно хотя оригинально Чтобы вы не хитрили - давайте тогда возьмем произвольный чернобелый рисунок !? Не, тут я ничего не возьмусь утверждать про скорость, сеть здоровенная должна быть, и учить ее придется до посинения... Но зачем картинку запоминать с помощью MLP? Для этого есть ассоциативная память - например, сеть Хопфилда - у нее уйдет меньше секунды, чтобы запомнить картинку 256х256 [Ответ][Цитата]
tac Сообщений: 2601	На: Обучение сети Добавлено: 13 янв 09 19:26 Цитата: Автор: гость 1. Не, тут я ничего не возьмусь утверждать про скорость, сеть здоровенная должна быть, и учить ее придется до посинения... Но зачем картинку запоминать с помощью MLP? 2. Для этого есть ассоциативная память - например, сеть Хопфилда - у нее уйдет меньше секунды, чтобы запомнить картинку 256х256 1. Итак, MLP - тест не проходит - скидываем ... перцептрону думаю часа хватит (или 3-4 не суть зависит от изображения и честно говоря на черно-белом не тестировал, а для цветного с 256 цветами - несколько суток занимает : ) ) ... а на задачу с губкой воды минут 15-30 - это если не хитрить а обучать всем 65536 образам ... 2. Теперь Хопфилд - но это совсем не конкурент ... Во-первых - ойли посчитать 65536 обратных матриц занимает меньше секунды ? Во-вторых - а не скажилте ли вы мне какой размер она будет иметь, чтобы все запомнить без ошибки ??? ("Попытка записи большего числа образов приводит к тому, что нейронная сеть перестает их распознавать." - по моему опыту достаточно даже двух образов, чтобы они пересеклись, а тут у нас будет 65536 образов - которые будут но очень сильно пересечены) и в третьих - мы уже обсуждали - "она не решает задач распознования" Кстати, про здоровенную сеть - 50000 А-элементов - каждый с 5-10 входными связями и одной выходной - разве здоровенная ??? Хотя для черно-белого может и 20000 А-элементов хватит, а для задачи губки с водой хватает 2000 - т.е. совсем малюсенькая как по мне - это для перцептрона конечно .. А вот BP походу вообще должно быть без разницы сколько нейронов - там просто проблема с алгоритмом обучения - о чем я и говорю ! Он не гарантирует схождения (и это доказано) ! [Ответ][Цитата]
гость 83.218.236.*	На: Обучение сети Добавлено: 14 янв 09 12:28 Цитата: Автор: tac 1. Итак, MLP - тест не проходит - скидываем ... перцептрону думаю часа хватит (или 3-4 не суть зависит от изображения и честно говоря на черно-белом не тестировал, а для цветного с 256 цветами - несколько суток занимает : ) ) ... а на задачу с губкой воды минут 15-30 - это если не хитрить а обучать всем 65536 образам ... Так вы эксперимент поставили, или нет? Если да - уточните структуру перцептрона, число эпох обучения, принцип построения обучающей выборки - и я повторю эксперимент с MLP. Цитата: 2. Теперь Хопфилд - но это совсем не конкурент ... Во-первых - ойли посчитать 65536 обратных матриц занимает меньше секунды ? Во-вторых - а не скажилте ли вы мне какой размер она будет иметь, чтобы все запомнить без ошибки ??? Обратную матрицу нужно будет посчитать ровно одну. Размер сети будет 256х256. Цитата: и в третьих - мы уже обсуждали - "она не решает задач распознования" Я надеюсь, вы не будете возражать, если к сети в довесок будет идти алгоритм (примерно в 1 строчку), который по заданным координатам вычисляет адрес памяти, в который нужно смотреть, чтобы получить ответ? Цитата: Кстати, про здоровенную сеть - 50000 А-элементов - каждый с 5-10 входными связями и одной выходной - разве здоровенная ??? 500000 связей - это на порядок больше, чем 65536 связей, которые нужны сети Хопфилда для решения этой задачи Цитата: А вот BP походу вообще должно быть без разницы сколько нейронов - там просто проблема с алгоритмом обучения - о чем я и говорю ! Он не гарантирует схождения (и это доказано) ! А чем таким принципиальным алгоритм обучения перцептрона отличается от BP? Вроде та же коррекция ошибки, то же движение по градиенту, просто схема чуть другая? И, повторю главный вопрос - в чем смысл задачи запоминания изображения? [Ответ][Цитата]
tac Сообщений: 2601	На: Обучение сети Добавлено: 14 янв 09 14:44 Цитата: Автор: гость 1. Так вы эксперимент поставили, или нет? Если да - уточните структуру перцептрона, число эпох обучения, принцип построения обучающей выборки - и я повторю эксперимент с MLP. 2. Обратную матрицу нужно будет посчитать ровно одну. Размер сети будет 256х256. 1. На задаче с шахматной доской - да ! Попробуйте только без ваших хитростей ... Структура перцептрона - обычный элементарный перцептрон: 16 бинарных входов 2000 А-элементов 8 бинарных выходов (из которых используется только один) ... обучающая выборка x и y на вход цвет на выходе -все 65536 примеров. Обучаем пока не будет распозновать правильно все. Для MLP наверняка будут только 2 входа и один выход, т.к. на каждом заборе написано, что оно якобы умеет работать с десятичными числами. 2. Почему одну ? Примеров то 65536, а не одно изображение целиком !!! [Ответ][Цитата]
tac Сообщений: 2601	На: Обучение сети Добавлено: 14 янв 09 14:45 Цитата: Автор: гость И, повторю главный вопрос - в чем смысл задачи запоминания изображения? Ни в чем Просто очень хорошо нагружает сеть, практически это может иметь разные приложения - не суть важно какие ... мы не затачиваем под задачу - нам нужна универсальная сеть . Ведь так ? [Ответ][Цитата]
Стр.3 (12): 1  2  [3]  4  5  6  7  ...  12 << < Пред. | След. > >>