GotAI.NET

Форум: Проблемы искусственного интеллекта

 

Регистрация | Вход

 Все темы | Новая тема Стр.1 (1)   Поиск:  
 Автор Тема: Вес НС
abc_kirov
Сообщений: 7
Вес НС
Добавлено: 03 мар 10 23:03
Всем привет,Есть нейрон у него 3 входа,значит есть 3 веса когда мы подбираем случайным образом вес нейрона(на 1 этапе обучения), то он у входа должен быть одинаковым то есть W1=W2=W3=0.3, или может быть разным на пример W1=-0,4 W2=0,1 W3=0,6.Диапазон при задание случайным образом(на 1 этапе обучения) каким должен быть,например у сигмаидальной функции?
[Ответ][Цитата]
daner
Сообщений: 4593
На: Вес НС
Добавлено: 04 мар 10 11:17
Цитата:
Автор: abc_kirov

Всем привет,Есть нейрон у него 3 входа,значит есть 3 веса когда мы подбираем случайным образом вес нейрона(на 1 этапе обучения), то он у входа должен быть одинаковым то есть W1=W2=W3=0.3, или может быть разным на пример W1=-0,4 W2=0,1 W3=0,6.Диапазон при задание случайным образом(на 1 этапе обучения) каким должен быть,например у сигмаидальной функции?

1. лучше разные
2. диапазон, чем больше, тем лучше (ну конечно без фанатизма) дайте [-1,1] (думаю достаточно).
Основная цель, получить разнообразие. из этого и исходите.
[Ответ][Цитата]
abc_kirov
Сообщений: 7
На: Вес НС
Добавлено: 04 мар 10 11:56
ок спасибо,А ещё вопросик что значит нейрон влетел в насыщение?
[Ответ][Цитата]
daner
Сообщений: 4593
На: Вес НС
Добавлено: 04 мар 10 18:20
Цитата:
Автор: abc_kirov

ок спасибо,А ещё вопросик что значит нейрон влетел в насыщение?

Про отдельный нейрон не знаю, а если относительно всей сети, то скорее всего подразумевается "сверх-обучение" (в данном случае это имеет плохо значение), т.е. overfeeding.
По простому, сеть теряет способность к обобщению, и с одной стороны показывает лучшие результаты для обучаемой выборки, но с другой стороны начинает вести себя хуже с тестовой выборкой (и как следствие -- хуже при реальном использовании). Т.е. сеть становится слишком "узконаправленным" экспертом.
[Ответ][Цитата]
abc_kirov
Сообщений: 7
На: Вес НС
Добавлено: 04 мар 10 20:04
Ок спасиб, есть еще вопросик есть форумула dW=b*I, где b-это знак корреляции между выходом узла кандидата(У) и остаточной ошибкина выходе выходного нейрона(Е), как это понимать:
1)b может равно b=1 или b=-1 (то есть знак между разностью Y и E).
2)b=Y-Е(то есть значение).

[Ответ][Цитата]
daner
Сообщений: 4593
На: Вес НС
Добавлено: 05 мар 10 2:15
вы как-то из контекста вырвали... может кто-то точнее понял о чем речь.
Но если чисто знак, то скорее 1 вариант (наверное).
Кстати, в BP лично я, такой формулы не помню...
[Ответ][Цитата]
tac
Сообщений: 2601
На: Вес НС
Добавлено: 07 мар 10 7:38
Оставь надежды всяк сюда входящий ...

читать http://ru.wikipedia.org/wiki/Перцептрон

и не заниматься ерундой ..
[Ответ][Цитата]
tac
Сообщений: 2601
На: Вес НС
Добавлено: 07 мар 10 7:41
Цитата:
Автор: abc_kirov

Ок спасиб, есть еще вопросик есть форумула dW=b*I, где b-это знак корреляции между выходом узла кандидата(У) и остаточной ошибкина выходе выходного нейрона(Е), как это понимать:
1)b может равно b=1 или b=-1 (то есть знак между разностью Y и E).
2)b=Y-Е(то есть значение).



в бэкпропе значение, в перцептроне знак.
[Ответ][Цитата]
daner
Сообщений: 4593
На: Вес НС
Добавлено: 07 мар 10 10:11
Цитата:
Автор: tac
в бэкпропе значение, в перцептроне знак.

a в каком месте в ВР вы это видели? Там есть коррекция ошибки, но даже на последнем слои формула несколько другая (на сколько я понимаю).
Если правильно помню, что там дельта веса (на последнем слои) расчитывается как произведение разницы выхода нейрона и реального значения (а не остаточной ошибки) с входом этого нейрона, сдвиг веса на который и рассчитывается.
А остальные слои вообще с градиентами считаются.
[Ответ][Цитата]
гость
89.208.11.*
На: Вес НС
Добавлено: 07 мар 10 10:14
Цитата:
Автор: daner


a в каком месте в ВР вы это видели? Там есть коррекция ошибки, но даже на последнем слои формула несколько другая (на сколько я понимаю).


вспомни дурака, он и появиться...
[Ответ][Цитата]
гость
217.199.228.*
На: Вес НС
Добавлено: 07 мар 10 16:18
Цитата:
Автор: гость
вспомни дурака, он и появиться...

Чтоб тому, кто это вспомнил Тарасова так, что он появился, память отшибло!!
[Ответ][Цитата]
tac
Сообщений: 2601
На: Вес НС
Добавлено: 08 мар 10 2:55
Цитата:
Автор: daner

разницы выхода нейрона и реального значения (а не остаточной ошибки)


это конечно так .. что такое остаточная ошибка это вообще не ясно ... но вопрос стоял именно разница или знак ... в БП - разница + все те навороты (совершенно не нужные ) о которых вы говорите ..

Хотя может остаточная ошибка это уже посчитанное

delta_m2 = (y2 - (d[i] / Delimiter)) * FF(y2);

y2 - выход, (d[i] / Delimiter) - маштабированный реальный (требуемый) выход, FF(y2) - производная от выхода ... и все это delta_m2 - остаточная ошибка ?

тогда есть некая логика взять от этого просто знак (а не значение) и сделать окончательно w2[j] += delta_m2 * y1[j]

(но это уже будет некая смесь БП и перцептрона, и возможно даже не плохая)
[Ответ][Цитата]
tac
Сообщений: 2601
На: Вес НС
Добавлено: 08 мар 10 3:42
проверил - не это хуже, лучше уж классически - там хоть иногда сходится если повезет
[Ответ][Цитата]
 Стр.1 (1)