GotAI.NET

Форум: Проблемы искусственного интеллекта

 

Регистрация | Вход

 Все темы | Новая тема Стр.3 (3)<< < Пред.   Поиск:  
 Автор Тема: На: Rumelhart
tac
Сообщений: 2601
На: Rumelhart
Добавлено: 08 дек 08 0:31
Цитата:
Автор: daner
замечательная теорема. только "множество слоев" я там не замечаю (может, я что-то упустил).


Множество слоев там совершенно не нужно рассматривать - есть только А и R элементы ... а главное G-матрица, т.е. какие бы не были сигналы на предыдущих слоях, главное рассматривать G-матрицу и все ...
[Ответ][Цитата]
tac
Сообщений: 2601
На: Rumelhart
Добавлено: 08 дек 08 0:36
Цитата:
Автор: daner

И кстати, разницу я не чувствую. для градиентного спуска нужна диф.функция. В BP такая функция и используется (например сигмоида, есть и другие варианты). Ну и все.


разницу между теоремой 1 и 4 в теоремах сходимости перцептронов - чувствуете ? Так вот разница в ВР примерно такая же ... градиентный спуск - сделать можно, но алгоритм обратного распространения не гарантирует, что он будет сделан ! Чисто практически это означает, что корректировка весов будет постоянно приводить к несхождению ... т.е. решение может существовать, но с помощью обратного распространения его можно не достичь ...
[Ответ][Цитата]
tac
Сообщений: 2601
На: Rumelhart
Добавлено: 08 дек 08 1:33
Цитата:
Автор: daner
Кстати, отличные статьи (поменьше бы эмоционального отношения и вообще было бы супер).
Большую работу проделываете. Браво.


Спасибо. Присоединяйтесь ...
[Ответ][Цитата]
tac
Сообщений: 2601
На: Rumelhart
Добавлено: 10 дек 08 6:17
А вот еще - что называется, что и требовалось доказать ... Оказывается, что Розенблатт доказал что алгоритма с обратным распространением ошибки - НЕ сходится. Т.е. именно то, что я и получаю ... Будите смеяться, но это так ... вот, что значит хреново читать классику и изобретать велосипед ... Розенблатт уже был все предумывши и предсказавши ...

Значит, то что сейчас называется MLP Розенблатт называл - трехслойные системы с переменными S-A связями ... да, да точь в точь MLP ... стр. 230 его принципов нейродинамики ... первое, что он делает рассуждает о обратной передачи сигнала ошибки (что полностью соответствует BP в смысле порядка коррекции весов) ... затем ДОКАЗЫВАЕТ, что в таком случае ЛЮБОЙ алгоритм обучения не должен быть детерминирован ... и очевидно показывает, что нельзя достич решения с помощью такого алгоритма даже если оно есть ...

Вслед за этим предлагает свой метод "коррекции ошибки с обратной передачей сигнала ошибки" (не путать с BP) ... существенной частью там является применение вероятностой процедуры назначения ошибки (что как мы знаем в BP никогда не было) ... и затем СНОВА ДОКАЗЫВАЕТСЯ, что это метод ОБЯЗАТЕЛЬНО сойдется ...

вообщем идеальный образец для подражания ...

Конечно, там нету глупостей с вычислением статистической ошибки как в BP, нету там и сигмоиды - которая никому не нужна и НИКАК невлияет на результат обучения .... поэтому важна здесь не вид функции, а способ обучения, а он как и доказано для BP сходится небудет ...

Теперь мне осталось все это хорошо описать ... желающие присойдиняйтесь - можем протестировать и написать ... статьи скорее будут энциклопедическими, т.к. новизны в работе нету, но учитывая что людей, которые читали Розенблатта в оригинале можно сощитать по пальцам ... думаю для многих это будет окровением ...
[Ответ][Цитата]
3d6
Сообщений: 325
На: Rumelhart
Добавлено: 12 янв 09 1:57
Однако перцептрон Розенблатта, и то, что часто подразумевают под перцептроном Розенблатта - очень разные штуки... Почитаю, пожалуй, что сам Розенблатт про него пишет подробнее
[Ответ][Цитата]
tac
Сообщений: 2601
На: Rumelhart
Добавлено: 12 янв 09 2:29
Цитата:
Автор: 3d6

Однако перцептрон Розенблатта, и то, что часто подразумевают под перцептроном Розенблатта - очень разные штуки... Почитаю, пожалуй, что сам Розенблатт про него пишет подробнее


Ой, вы очень оперативно заменили сообщение, только что видел другое и уже готов был "ринутся в бой", а тут вы выхватили прямо из рук ... а жаль

Там у вас было очень не плохое предположение (до таких изысков доходили не многие ученные мужи), что для случая XOR можно связи состряпать только руками ... имелось введу связи первого слоя ... да - это так ! Из-за случайности образования первого слоя связей. Я как раз работаю над статьей показывающей, что только при размерности 40 А элементов уходит эта проблема ...

У вот насчет +/- вы чисто зря, на втором рисунке не только +, там и минусы могут быть ... если вам получится найти статью Розенблатта за 1957 год (поистине первая версия) - то прошу мне сообщить ... но это так для истории, в книге Розенблатт сам признается, что там были допущенны некоторые ошибки ... но думаю, что они были на порядок тоньше - скорее всего в доказательстве сходимости ... но надо читать, а найти не могу ...

А вообще ваш выбор правильный - читайте, это очень верно (тут вы встетите не просто странные детали, как мы с вами видели в том, что подразумевают в сетях Хопфилда и как есть на самом деле - а просто откровенные ничем не прикрытые странности)! Рекоммендую всем это сделать прежде чем "часто подразумевать под перцептроном Розенблатта" всякие там штуки


P.S. Кстати, куда пропали - статья о Хопфилдской сети дожидается наших коррекций
[Ответ][Цитата]
3d6
Сообщений: 325
На: Rumelhart
Добавлено: 12 янв 09 11:00
Цитата:
Автор: tac


Ой, вы очень оперативно заменили сообщение, только что видел другое и уже готов был "ринутся в бой", а тут вы выхватили прямо из рук ... а жаль

Дело в том, что до вчера я исходил из предположения, что критика Минского была на чем-то основана - соответственно, предполагал, что огромное количество упоминаний о перцептроне Розенблатта как о системе с одним нейроном и неспособным к решению XOR - верно. Однако, когда я написал первую версию сообщения, я также подумал, что слишком уж маловероятно, что вы настолько не понимаете, что там происходит. Посмотрел мельком что пишет Розенблатт - и понял, что все сложно. А только что я обнаружил, что все вообще не так - перцептрон Розенблатта и многослойный перцептрон с одним скрытым слоем - суть одно и то же о__О


Цитата:
Там у вас было очень не плохое предположение (до таких изысков доходили не многие ученные мужи), что для случая XOR можно связи состряпать только руками ... имелось введу связи первого слоя ... да - это так !

Я немного подумал, прикинул насколько часто при случайном выборе связей XOR будет решаться, и понял, что это - не аргумент, в конце концов попробовать 2-3 раза мы себе всегда можем позволить.

Цитата:
... если вам получится найти статью Розенблатта за 1957 год (поистине первая версия) - то прошу мне сообщить ... но это так для истории, в книге Розенблатт сам признается, что там были допущенны некоторые ошибки ... но думаю, что они были на порядок тоньше - скорее всего в доказательстве сходимости ... но надо читать, а найти не могу ...

Надеюсь, что хотя бы там ошибки серьезны - иначе Минский будет выглядеть вообще нехорошо

Цитата:

P.S. Кстати, куда пропали - статья о Хопфилдской сети дожидается наших коррекций

Я устал от этого -___-
Хотя когда на прошлой неделе перечитал - возникло острое желание поправить, может в обозримом будущем доберусь (но не слишком скоро - сейчас начинаем новый проект, работы выше крыши, сил ни на что не остается).
[Ответ][Цитата]
tac
Сообщений: 2601
На: Rumelhart
Добавлено: 12 янв 09 16:42
Цитата:
Автор: 3d6
Надеюсь, что хотя бы там ошибки серьезны - иначе Минский будет выглядеть вообще нехорошо



см. http://gotai.net/forum/Default.aspx?postid=15394
[Ответ][Цитата]
 Стр.3 (3)1  2  [3]<< < Пред.