GotAI.NET

Форум: Проблемы искусственного интеллекта

 

Регистрация | Вход

 Все темы | Новая тема Стр.2 (3)<< < Пред. | След. > >>   Поиск:  
 Автор Тема: На: Rumelhart
daner
Сообщений: 4593
На: Rumelhart
Добавлено: 07 дек 08 15:08
Цитата:
Автор: tac
Тогда причем здесь Минский и Розенблатт ??? ПРИЧЕМ ?


А какая разница? речь идет о конкретном виде нейронной сети и это кстати четко уточняется. Т.е. о сети с одним уровнем. Кто первый заговорил о ее ограничениях, имхо, второстепенно. Но они есть и если один ученый приписывает это другому, ну так это как комплимент надо расценивать, так как знание это важное само по себе.

Почему именно однослойный перцептрон называется (на сегодня) Розенблаттовским, так это IMHO только потому, что алгоритм обучения у него подходит только для однослойных сетей, а без алгоритма обучения эти сети просто не интересны (ну или мало интересны).


Теперь относительно рисунка. Я уж не знаю, чего там точно Минский подразумевал, но я думаю вы забываете, что умножение, это тоже функция.
Так что один нейрон (Перцептрон) это уже несколько функций (умножение на константы, сложение и функция активации, хотя две последний наверное можно объединить).

Так что... если эти квадратики, это фотоэлементы, то нет ничего странного, что рисунок воспринимается как однослойный перцептрон. Если же это нечто большее, т.е. уже нейроны, то конечно это не так, но тогда рисунок несколько "не красивый".
[Ответ][Цитата]
tac
Сообщений: 2601
На: Rumelhart
Добавлено: 07 дек 08 15:38
Цитата:
Автор: daner

1. А какая разница? речь идет о конкретном виде нейронной сети и это кстати четко уточняется. Т.е. о сети с одним уровнем. Кто первый заговорил о ее ограничениях, имхо, второстепенно. Но они есть и если один ученый приписывает это другому, ну так это как комплимент надо расценивать, так как знание это важное само по себе.

2. Почему именно однослойный перцептрон называется (на сегодня) Розенблаттовским, так это IMHO только потому, что алгоритм обучения у него подходит только для однослойных сетей, а без алгоритма обучения эти сети просто не интересны (ну или мало интересны).


3. Теперь относительно рисунка. Я уж не знаю, чего там точно Минский подразумевал, но я думаю вы забываете, что умножение, это тоже функция.
Так что один нейрон (Перцептрон) это уже несколько функций (умножение на константы, сложение и функция активации, хотя две последний наверное можно объединить).

Так что... если эти квадратики, это фотоэлементы, то нет ничего странного, что рисунок воспринимается как однослойный перцептрон. Если же это нечто большее, т.е. уже нейроны, то конечно это не так, но тогда рисунок несколько "не красивый".


1. Разница большая ! И ее нужно понимать, прежде чем о чем то рассуждать ... Нет, совершенно не четко - почитаете Румельхарда, все время идет речь о элементарном перцептроне Розенблатта, а потом ВДРУГ на рисунке слова - однослойный перцептрон без никаких пояснений. Теперь об ограничениях - они есть только в изложении Минского - это да, иногда с перебором, но по сути все очень корректно. Но вот дальше, у Румельхарда, не говоря уже о дальше ... возникает какие-то странности ... вначале они переврали что такое перцептрон Розенблатта, затем не поняли о каких ограничениях говорит Минский, и апофеоз этого - ВОЗНИКНОВЕНИЕ у Румельхарда - однослдойного перцептрона - это он автор этого термина и понятия, и потом уже это ограничение именно для однослойного перцептрона. Поэтому Румельхард мило поговорил сам с собой (со своей неверной интерпретацией перцептрона Розенблатта), а Минский и Розенблатт совершенно напрасно упомянуты ... Поэтому ваш "комплимент" превращается в НЕОБОСНОВАННУЮ критику Розенблатта !

2. Это ваше ИМХО, почти верное, но НИГДЕ не задокументированное ... так сказать свободный термин, где каждый может подразумевать что угодно ... В общем случае вы не правы - у Розенблатта есть способы обучения нескольких слоев, но для элементарного перцептрона забывают о роли случайного первого слоя, которое в полное мере заменяте обучение - и учитывая обучение второго методом коррекции ошибки - получаем снова обучение двух слоев ...

3. А вот уж нужно знать ! А не фантазировать ... я даже могу согласится, что именно рисунок мог ввести в заблуждение, что я и написал в статье ... Но если уж ты пишешь о новой версии перцептрона, копируешь рисунок Минского ... как это сделал Румельхард - как Вы думаете можно было бы хотя бы внимательно прочитать монографии Минского и самого Розенблатта ... а то становится очевидным, что Румельхард, так же как и Вы мельком глянули на рисунок - и сказали - "а, понятно!" ... в итоге бред на лет 20 ...


И наокнец, замедти - это все не мои фантазии - это очевидно видно прямо из книг и статей ... и почему Вы (в том числе) отказываетесь признать очевидное - для меня совершенно удивительно ???
[Ответ][Цитата]
tac
Сообщений: 2601
На: Rumelhart
Добавлено: 07 дек 08 15:52
Цитата:
Автор: daner
умножение, это тоже функция.


умножение - это оператор, а не функция ... не ужели пойдем смотреть, что такое функция ?
[Ответ][Цитата]
daner
Сообщений: 4593
На: Rumelhart
Добавлено: 07 дек 08 16:43
Цитата:
Автор: tac
умножение - это оператор, а не функция ... не ужели пойдем смотреть, что такое функция ?


сходите и посмотрите, что такое функция и оператор. Увидите, что оператор -- это частный случай функции. . По памяти, если не ошибаюсь, Оператор -- это функция у которой равны области значения и определения (или даже достаточно, что у них мерность равна). В любом случае, умножение это в первую очередь функция.
[Ответ][Цитата]
daner
Сообщений: 4593
На: Rumelhart
Добавлено: 07 дек 08 16:51
Цитата:
И наокнец, замедти - это все не мои фантазии - это очевидно видно прямо из книг и статей ... и почему Вы (в том числе) отказываетесь признать очевидное - для меня совершенно удивительно ???

А что именно очевидное? Что кто-то не совсем правильно использовал термин?
Да как хотите. Мне это на столько все-равно, что я даже готов с вами согласиться.
Я хочу вам сказать, что это НЕ ВАЖНО. Есть конкретная формальная запись.
Называйте это Розенблатовским или не Розенблатовским перцептроном (можете обозвать его "Альфа-Центавра Номер 1"), суть не меняется.
И вот у этой конкретно формализованной нейронной сети существуют определенные ограничения. О них и речь. От того что кто-то гору называет Эверестом, а кто-то Джамалунгмой, она от этого выше или ниже не становится.
Так что, я не совсем улавливаю смысл вашего "крестового похода".
Ну может относительно Розенблатта это не совсем честно, но для науки разницы нет. Так как нет ошибки, которая привела бы к неточности или заблуждению.
[Ответ][Цитата]
tac
Сообщений: 2601
На: Rumelhart
Добавлено: 07 дек 08 17:22
Цитата:
Автор: daner
Ну может относительно Розенблатта это не совсем честно, но для науки разницы нет. Так как нет ошибки, которая привела бы к неточности или заблуждению.


Да, конечно, не честно - и этого достаточно, чтобы опровергать Румельхарда. Ошибки нету (если однослойный перцептрон не связывать с Розенблаттом и Минским) ... но нету и достижения Румельхарда ... точнее изобретен метод обратного распространения, но зачем и что он дает - по сравнению с перцептроном Розенблатта - совершенно не ясно и не нужно ...

А вот от этой исторической ошибки, получается, что Румельхард сделал нечто такое, что улучшило перцептрон ... нет такого нету ... в этом и заключается "крестовый поход"

т.е. по сравнению с однослойным перцептроном, перцептрон Румельхарда (с обратным распространением) наверное лучше ... но сравнения с перцептроном Розенблатта сравнения не было ... и это важный момент ... т.к. дальше хуже ... многие современики заявляют ровно обратное ...

Кроме того, вопрос в термине - под Перцептроном не может пониматься однослойный перцептрон, как вы заявляли ранее, а может лишь элементарный перцептрон Розенблатта ... и ни как по другому. Что же касается многослойного перцептрона - это тоже изобретение Розенблатта, а не Румельхарда ... и честно говоря под многослойным перцептроном Розенблатта подразумевается нечто другое чем известный вам MLP ... Розенблатт называет многослойным такой вид перцептрона, где существует более чем один слой А-элементов, т.е. минимальный многослойный перцептрон - это четырехслойный перцептрон ... И впрос в правильном употреблении терминов, т.к. именно Розенблатт ввел эти термины, то нужно пользоваться ими .. несмотря на то, что сейчас очень часто пользуются исковеркаными терминами Румельхарда, который не утрудил себя согласовать свою интерпретацию с терминологией Розенблатта ... поступил мягко говоря не проффесионально и вздорно ...
[Ответ][Цитата]
tac
Сообщений: 2601
На: Rumelhart
Добавлено: 07 дек 08 17:32
Цитата:
Автор: daner
сходите и посмотрите, что такое функция и оператор. Увидите, что оператор -- это частный случай функции. . По памяти, если не ошибаюсь, Оператор -- это функция у которой равны области значения и определения (или даже достаточно, что у них мерность равна). В любом случае, умножение это в первую очередь функция.


Тот математический бред я даже разберать не хочу ... но функция - это переменная величина, меняющаяся в зависимости от изменения другой величины, а оператор - тип математической функции. Таким образом, оператор - всего лишь задает вид математической функции, а сам не является функцией !

т.е. функцией будет являться зависимость между умножением "а" на "в", а не само умножение.
[Ответ][Цитата]
daner
Сообщений: 4593
На: Rumelhart
Добавлено: 07 дек 08 18:00
Цитата:
Автор: tac
Тот математический бред я даже разберать не хочу ... но функция - это переменная величина, меняющаяся в зависимости от изменения другой величины, а оператор - тип математической функции. Таким образом, оператор - всего лишь задает вид математической функции, а сам не является функцией !

т.е. функцией будет являться зависимость между умножением "а" на "в", а не само умножение.


сами то поняли чего пишите?!
только что говорили тут про правильные термины, и сами же начинаете придумывать какие-то свои определения.
функцией умножения является зависимость пары чисел и результата их умножения.

Пары чисел находятся в области определения этой функции, а результаты в области значения.
Совершенно классическая функция.
[Ответ][Цитата]
daner
Сообщений: 4593
На: Rumelhart
Добавлено: 07 дек 08 18:11
ну BP нужно было хотя бы для того, что бы наконец появился способ обучения многослойной сети. Как я уже сказал, без обучения.. это мягко говоря никому ненужно.
Т.е. есть обучение для одного слоя -- один слой нужен, нет обучения для произвольного числа слоев -- значит многослойность не нужна.
Плюс, я лично не слышал о теореме которая бы полностью доказывала, что многуров. перцептрон (т.е. нейрон с активацией ввиде ступени) способен представить любую непрерываную функцию, а для сигмоидной активации такое есть. Хотя может я просто не знаю.
[Ответ][Цитата]
tac
Сообщений: 2601
На: Rumelhart
Добавлено: 07 дек 08 19:04
Цитата:
Автор: daner
ну BP нужно было хотя бы для того, что бы наконец появился способ обучения многослойной сети. Как я уже сказал, без обучения.. это мягко говоря никому ненужно.
Т.е. есть обучение для одного слоя -- один слой нужен, нет обучения для произвольного числа слоев -- значит многослойность не нужна.
Плюс, я лично не слышал о теореме которая бы полностью доказывала, что многуров. перцептрон (т.е. нейрон с активацией ввиде ступени) способен представить любую непрерываную функцию, а для сигмоидной активации такое есть. Хотя может я просто не знаю.


Так в том то и дело, что многослойная сеть, особенно стаким обучением - никому не нужна Обоснования нужности нету ...

Что касается, теоремы - не можете ли мне дать ее источник ?? И тут есть разница - зачем мне представлять (апроксимировать) непрерывную функцию с помощью нейронной сети ? (и тут, те кто занимается машинным обучением, помните я давал ссылку на сайт по типу Вики, совершенно обоснованно ставят этот способ обучения на уровень с классическими по апроксимации, заявляя что они и раньше это решали методами которые больше для этого подходят .. но как всегда, в том числе из-за данной исторической неточности, заблуждаются называя это снова перцептроном приплетая сюда Розенблатта ) Если уж очень хочется, то да - можно использовать обратное распространение, но как известно ни каких гарантий (т.е. этот алгоритм не обеспечивает нахождение решения по по этой теореме, т.е. теоремы сходимости для обратного распространения нету) ...
С другой стороны, для распознования образов, идентификации, прогнозирования и прочих применений нейронной сети необходимо и достаточно решить систему неравенств, т.е. как там ее называют "прерывную" ? функцию ... так вот для нее минимально необходим ИМЕННО пороговая функция активации и кроме того, есть теорема о сходиоми, которая гарантирует, что перцептрон с методом коррекции ошибки найдет это решение (решит систему неравеств) ... и кроме того, решит быстре чем классические методы Гаусса и т.п.

Классическую же многослойность (по Розенблатту) обосновывается и без метода обучения обратным распространением ... т.к. я повторяю были способы обучения ... в частности, первый слой обучали методом обучения без учителя, т.к. альфа или гамма подкрепление (на выбор), а последний слой с коррекцией ошибки ... задача следующих слоев была получить определенный уровень обощения (инвариантности), чтобы скажем два разных треугольника воспринимались как треугольник вообще ... это не очень строго получалось ... но Румельхард здесь и шага вперед не сделал ... а китиша было дай боже ...
[Ответ][Цитата]
daner
Сообщений: 4593
На: Rumelhart
Добавлено: 07 дек 08 20:43
статью не дам. нету ее у меня. Где-то давно попадалась. Какой-то Японец (примерно в 85-89) годах это доказывал (я думаю Царегородцев вам точнее скажет).
Само доказательство меня не очень интересовало, важен был сам факт (как например, факт доказательства эквивалентности рекуретной ИНС МТ).

Касательно апроксимации: Разные методы апроксимации хороши в разных местах.
Многие из них требуют разного рода заранее известные данные (как скажем производные), многие не работают с произвольным кол-вом аргументов и т.д.

Но апроксимация показывает теоретическую возможность решения сетью какой-то класс функций.

По поводу уравнений, я не совсем понял, что вы имели ввиду. В конце концов все нейронные сети строят какой-то непрерывный разделитель (собственно это и есть апроксимируемая функция). Поэтому, не совсем понимаю о каких уравнениях речь.

П.С.
Даже если есть метод, который не плохо зарекомендовал себя в опытах, он должен быть мат. формально доказа. Причем, чем лучше зарекомендовал, тем интереснее формальное доказательство. Это как теорема Ферма. Да, работает, но доказательство от этого не становиться менее важным. Так что, даже если и была сеть, которая "не формально" имела способ обучаться для некоторых задачь, то конечно при появлении способа с формальным доказательством это вызвало большой интерес. Плюс дало идеи для дальнейшего развития метода (для других доказательств).
[Ответ][Цитата]
tac
Сообщений: 2601
На: Rumelhart
Добавлено: 07 дек 08 21:10
Цитата:
Автор: daner
П.С.
Даже если есть метод, который не плохо зарекомендовал себя в опытах, он должен быть мат. формально доказа. Причем, чем лучше зарекомендовал, тем интереснее формальное доказательство. Это как теорема Ферма. Да, работает, но доказательство от этого не становиться менее важным. Так что, даже если и была сеть, которая "не формально" имела способ обучаться для некоторых задачь, то конечно при появлении способа с формальным доказательством это вызвало большой интерес. Плюс дало идеи для дальнейшего развития метода (для других доказательств).


Вот, именно ... только все это справедливо для перцептрона Розенблатта, с доказательством его сходимости ... и совершенно не касается обратного распространения
[Ответ][Цитата]
daner
Сообщений: 4593
На: Rumelhart
Добавлено: 07 дек 08 22:20
Цитата:
Автор: tac
Вот, именно ... только все это справедливо для перцептрона Розенблатта, с доказательством его сходимости ... и совершенно не касается обратного распространения


Уф.... ну как же не касается, когда касается. Не знаю, как там на счет доказательства сходимости у нейронов в НЕСКОЛЬКО СЛОЕВ с лесничной функцией, но доказательство сходимости в BP использует тот факт, что функция активации деференцируема. Собственно сигмоид не единственная такая функция.
[Ответ][Цитата]
tac
Сообщений: 2601
На: Rumelhart
Добавлено: 07 дек 08 23:08
Цитата:
Автор: daner

Уф.... ну как же не касается, когда касается. Не знаю, как там на счет доказательства сходимости у нейронов в НЕСКОЛЬКО СЛОЕВ с лесничной функцией, но доказательство сходимости в BP использует тот факт, что функция активации деференцируема. Собственно сигмоид не единственная такая функция.


Для "доказательства сходимости у нейронов в НЕСКОЛЬКО СЛОЕВ с лесничной функцией" вы для начала почитайте http://ru.wikipedia.org/wiki/Теорема_сходимости_Перцептрона ,а то какой-то не серьезный разговор у нас получается ...

Да, в том то и дело - нету доказательства сходимости для обратного распространения ! И пока вы мне не скажите, где оно - я вам не поверю Я просто убежден, что вы путаете предмет доказательства, там наверняка доказывается, именно то, что вы произнесли вначале "MLP c сигмоидой способен представить любую непрерываную функцию", а не достичь ее при обучении ... а это существенно разные вещи ...
Т.е. по сути опирается на доказательство того, что может быть осуществленн градиентный спуск, а для этого функция должна быть дифференцируема, поэтому сигмоиду взяли именно для этого ... а не наоборот - "сигмоида используется, т.к. только диффиренцируемая функция приводит к схождению" - чувствуете разницу ...
[Ответ][Цитата]
daner
Сообщений: 4593
На: Rumelhart
Добавлено: 07 дек 08 23:27
замечательная теорема. только "множество слоев" я там не замечаю (может, я что-то упустил). А градиентный спуск как раз и обеспечивает схождение BP в локальном минимуме.

И кстати, разницу я не чувствую. для градиентного спуска нужна диф.функция. В BP такая функция и используется (например сигмоида, есть и другие варианты). Ну и все.

Кстати, отличные статьи (поменьше бы эмоционального отношения и вообще было бы супер).
Большую работу проделываете. Браво.
[Ответ][Цитата]
 Стр.2 (3)1  [2]  3<< < Пред. | След. > >>