GotAI.NET

Форум: Проблемы искусственного интеллекта

 

Регистрация | Вход

 Все темы | Новая тема Стр.13 (15)<< < Пред. | След. > >>   Поиск:  
 Автор Тема: На: Создадим профессиональный форум ?
tac2
Сообщений: 332
На: Создадим профессиональный форум ?
Добавлено: 09 фев 12 16:33
Цитата:
Автор: covax



Я нейросеть, мне подсунули три фотографии, вижу шерсть, возможно это мягкие игрушки или коврики, в общем это пушистики. Признаков для более детальной классификации у меня нет. Ответ: на снимках пушистики, лишних среди них нет.

Как вам такой расклад?



Зачит вы бесполезная нейросеть, мне такие не интересны.
[Ответ][Цитата]
tac2
Сообщений: 332
На: Создадим профессиональный форум ?
Добавлено: 09 фев 12 16:41
Цитата:
Автор: covax

Что значит - "появляется интеллект"? В вашем перцептроне интеллект заложен изначально? Где он там прячется?

Пусть ваша сеть решит, какие вопросы для неё серьёзны, а какие нет, раз вы, как конструктор сети, не хотите об этом задумываться.


Ну как интеллект, некая минимальная способность к интеллекту, конечно закладывается конструктором. Вам надо понять, что этой способности должно быть достаточно, чтобы решить только поставленную задачу. Если бы я знал что это конкретно - я бы тут не обсуждал с вами.

Пока есть два приближения - это http://ru.wikipedia.org/wiki/Перцептрон_с_перекрёстными_связями

и HTM.
[Ответ][Цитата]
tac2
Сообщений: 332
На: Создадим профессиональный форум ?
Добавлено: 09 фев 12 16:48
Цитата:
Автор: covax

Переобучение - это проблема статической (жёсткой структуры).


Жесткая структура НИКАКИХ ограничений не налагает. Вот представьте себе полносвязную сеть - каждый элемент связан со всеми элементами. И при этом связь может быть 0 или 1. При обучении связи настроятся как нужно или 0 или 1. И скажите, зачем тогда изменять как-то еще структуру ? Что это даст.

И сформулируете формальнее, что это такая за проблема переобучения. Я могу лишь повторить, что такой проблемы не существует для перцептронов (любых).
[Ответ][Цитата]
tac2
Сообщений: 332
На: Создадим профессиональный форум ?
Добавлено: 09 фев 12 16:55
Цитата:
Автор: covax

Решение, которое вам интересно, оно из другого (более общего) класса и постановка у него другая (статика - это лишь частный случай).
Y = f(t,T,X)

X - вектор входа
Y - вектор выхода
t - время
T - пространство внутренних состояний (контекст), которое тоже зависит от времени.

Вот в этом случае, можно по настоящему обучаться и обучаться статистически. Это даёт возможность не знать отношения входа к выходу, а получать пространство решений адаптивно, точно так, как это делает мозг.
Хокинз, кстати, уже пошёл по этому пути, но его решение ограничено жёсткой структурой. Об этом я уже говорил.


Я это прекрасно понимаю. Выше я написал про перцептроны с перекрестными связями Розенблатта, с которых я и начинал. И вот теперь можно посмотреть HTM. Они оба ПОЛНОСТЬЮ соответствуют описанному вами. И моя постановка прямо содержит необходимость во времени (там описана последовательность подачи стимулов, а не их одиночность в любых комбинациях). Вы просто не внимательно читаете задачу, а затем какие то претензии. Вы зря считаете, что я решаю это элементарным перцептроном - если только для демонстрации его ограничений.

Ну и про жесткую структуру Хокинза, а также перцептронов с перекрестными связями, - вы конечно сильно заблуждаетесь. Может открыть тему и провести ликбез ?
[Ответ][Цитата]
tac2
Сообщений: 332
На: Создадим профессиональный форум ?
Добавлено: 09 фев 12 17:08
Цитата:
Автор: covax

У Розенблата связи никак не перестраиваются. У него параметрическая (не структурная) адаптация. Тоже вариант, но со всеми вытекающими...



Это относится только к элементарному перцептрону. И далее боюсь спутан смысл структурной адаптации. Изменение архитектуры сети - лучше называть архитектурной адаптацией. До структурной (в классическом смысле) она не дотягивает. Т.к. структурная адаптация - это не только изменение архитектуры сети.

Архитекрутная адаптация - это просто разновидность параметрической, просто когда некий коэффициент становится нулем и убирает элемент. Но решение имеет ту же структуру.

Структура зависит от того по какому принципу работает сеть в целом, как комбинируются элементы. Т.е. струтурную адаптацию невозможно создать из однородных элементов (нейронов, работающих по одному алгоритму). Если сеть однородна, ее можно представить как k1x1 + k2x2 + k3x3 ... где + условный оператор. Как не меняй архитектуру - это все равно будет параметрическая адаптация. Для структурной адаптации нужно менять разнообразие операторов и их места приложения.

Например, если взять сеть Кохонена, Розенблатта, и еще какую нибудь ... то только алгоритм превращения из одной в другую под действием внешней среды - будет структурной адаптацией.
[Ответ][Цитата]
Victor G. Tsaregorodtsev
Сообщений: 3187
На: Создадим профессиональный форум ?
Добавлено: 09 фев 12 17:45
Цитата:
Автор: tac2
1. Проблема переобучения - это проблема алгоритма обратного распространения ошибки. А фактически ее нет

+1
Например, там, где работа идёт с отдельными "элементарными тестовыми классификаторами" как диагностическими признаками (алгебраическая теория распознавания Ю.И.Журавлева, алгоритм Виолы-Джонса) - там переобучения нет.

Цитата:
Автор: tac2
Ну кому то нравится из перцептронов делать например сверточные сети

Народ прошёл и по обратному пути - из свёрточной сети снова сделал многослойный персептрон с локальными рецептивными полями (т.е. как у Розенблатта). Правда, это уже оказался бэкпроповский МСП, т.е. со всеми обучаемыми слоями. Но - в нём всё же локальные рецептивные поля.
Была статья фрицев в НИПС-09.

[Ответ][Цитата]
covax
Сообщений: 1609
На: Создадим профессиональный форум ?
Добавлено: 09 фев 12 19:26
Цитата:
Автор: vchc
Недостатки по отношению к чему?

...недостатки по отношению к эталону (реальному мозгу, ИНВАРИАНТНОМУ мозгу).
Мы же вроде стремимся к сильному ИИ, который хоть как-то сравним с ЕИ по мощности.

Цитата:
Автор: vchc
Мы можем попытаться расширить теорию ИНС, чтобы она охватила сильный ИИ. А для этого нам надо сначала обобщить несколько похожих теорий.


Не понял, а разве теория ИНС чем-то ограничена? Она ограничена лишь известными формальными моделями сетей и не более.

В отношении конечного описания вы рассуждаете верно. Конечное описание конечно в пределах ограниченного формального базиса.
Вот множество {0,1} представляет ограниченное пространство состояний, следовательно описание в базисе этого множества тоже будет ограниченным, тут хоть тресни.
Только вот в чём проблема? Можно работать в неограниченном формальном базисе. Но ЕИ почему-то так не делает. К примеру, потенциал действия у нейронов не блещет разнообразием, да и прочий функционал, тоже. Одинаковые нейроны, одинаково функционируют .... откуда разнообразие?

Цитата:
Автор: vchc
Что касается графов, то вашу пресловутую структурную адаптацию можно свести к той же пресловутой параметрической взяв полносвязный граф.


Полносвязный граф какого размера? А как сеть будет накапливать опыт? Куда складывать новую инфу? Будем забывать старую?

Цитата:
Автор: vchc
Одно это уже показывает, что только рассуждения о структурах в смысле связей между узлами мало что дадут. Нужна более широкая теория.


Структура - это неделимая основа для любой теории, от неё никуда не деться.
[Ответ][Цитата]
covax
Сообщений: 1609
На: Создадим профессиональный форум ?
Добавлено: 09 фев 12 21:23
Цитата:
Автор: tac2
Ну что вы такое придумали. Вы не в курсе, что существуют перцептроны, которые прекрасно знают, что такое время ? Ну, так вначале поинтересуйтесь, а потом категорично утверждайте.


Давайте сделаем проще, вы запрограммируете такой перцептрон, а потом посмотрим, будет ли он вообще решать хоть что-то. Наличие каких-либо аспирантских поделок еще не говорит о том, что они работоспособны в широком смысле (как инвариантный нейровычислитель), поэтому не будем делать поспешных выводов о наличие времени в перцептронах.

Цитата:
Автор: tac2
Жесткая структура НИКАКИХ ограничений не налагает. Вот представьте себе полносвязную сеть - каждый элемент связан со всеми элементами. И при этом связь может быть 0 или 1. При обучении связи настроятся как нужно или 0 или 1. И скажите, зачем тогда изменять как-то еще структуру ? Что это даст.


Как ваша сеть будет накапливать опыт? Откуда вам известен достаточный размер полносвязной сети для конкретного потока входных данных? Чтобы освоить новую информацию сеть должна будет забыть старую (переобучение)?

Цитата:
Автор: tac2
И сформулируете формальнее, что это такая за проблема переобучения. Я могу лишь повторить, что такой проблемы не существует для перцептронов (любых).


Это когда на ограниченном объёме сети, параметрической адаптации не хватает, чтобы обеспечить решениями всё входное разнообразие. Тогда мы пытаемся дообучить сеть, но она лишь затирает уже имеющиеся данные (структура ведь не растёт!). Алгоритм BP тут не причём, это фундаментальное ограничение детерминированной (не адаптивной, жёсткой) структуры.

Цитата:
Автор: tac2
И моя постановка прямо содержит необходимость во времени (там описана последовательность подачи стимулов, а не их одиночность в любых комбинациях). Вы просто не внимательно читаете задачу, а затем какие то претензии. Вы зря считаете, что я решаю это элементарным перцептроном - если только для демонстрации его ограничений.


Я еще раз говорю, что вы не найдёте такой последовательности основанной на v1 и v2, чтобы при появлении v3, сеть распознала бы v3, как символ принадлежащий классу {v1,v2}. v3 - для сети совсем другой символ и его вы никак в этот класс не впихнёте без обучения.

Цитата:
Автор: tac2
Архитекрутная адаптация - это просто разновидность параметрической, просто когда некий коэффициент становится нулем и убирает элемент. Но решение имеет ту же структуру.

Я говорю именно об адаптивных структурных изменениях (структурной адаптации).

Цитата:
Автор: tac2
Т.е. струтурную адаптацию невозможно создать из однородных элементов.


Вы - человек, состоите из однородных элементов - атомов. Не забывайте об этом!
Разнообразие исходит из пространственной конфигурации (структуры) однородных элементов. Нейроны в мозгу тоже не блещут разнообразием. Неоднородность структуры - это статистический отпечаток внешних воздействий.

Цитата:
Автор: tac2
Если сеть однородна, ее можно представить как k1x1 + k2x2 + k3x3 ... где + условный оператор. Как не меняй архитектуру - это все равно будет параметрическая адаптация. Для структурной адаптации нужно менять разнообразие операторов и их места приложения.


Вы как всегда забыли параметр времени. Если бы перцептроны учитывали время, они были бы структурно адаптивными. В доказательство я вам привожу формулу зависимости времени от структуры.
S = U * t;

U - скорость распространения сигнала (метрика по которой меряется динамика потока). А у ваших перцептронов где метрика времени?
Если хотите запомнить последовательность - умейте варащивать под неё участок структуры, иначе будете затирать старую инфу. Мозг умеет выращивать структуру, а НТМ и Розенблат не умеют. Поэтому я и говорю, что ваши сети - это статика. Без структурной адаптации учитывать динамику потока невозможно. Ваш мозг идёт в доказательство моим словам.
[Ответ][Цитата]
covax
Сообщений: 1609
На: Создадим профессиональный форум ?
Добавлено: 09 фев 12 21:41
Цитата:
Автор: Victor G. Tsaregorodtsev
алгоритм Виолы-Джонса) - там переобучения нет.


Так потому что это алгоритм, а не сеть. Если он и использует какие-то начальные условия (признаки для классификации) в недостаточном количестве, то у него скорее будет недообучение. Да и хранятся эти признаки несколько иначе, чем в сети. Тут походу вообще об обучении речи нет. Есть признаки и перебирашь их сколько влезет, алгоритмически.
[Ответ][Цитата]
tac2
Сообщений: 332
На: Создадим профессиональный форум ?
Добавлено: 10 фев 12 1:18
Цитата:
Автор: covax
Я еще раз говорю, что вы не найдёте такой последовательности основанной на v1 и v2, чтобы при появлении v3, сеть распознала бы v3, как символ принадлежащий классу {v1,v2}. v3 - для сети совсем другой символ и его вы никак в этот класс не впихнёте без обучения.



Ну, хорошо. Я расскажу вам один из примеров как это решить. Как подсказку к решению поставленной задачи.

v3 - это никакой не другой символ. Сети необходимо всего лишь исключить пространство, чтобы понять, что v1, v2, v3 - принадлежат одному классу.

Как это сделать ? Легко по сути. Возьмем и посмотрим, что меняется при смене v1 на v2 (что происходит у нас при обучении). Вычислим так сказать делту v. Она будет равна 3-м единицам в вертикальном направлении.

Теперь давайте распознавать. Появляется v1 и v3, или v2 и v3. Дельта v от них также равна 3-м единицам. Неужели будет сложно сделать вывод, что это один и тот же класс ?
[Ответ][Цитата]
tac2
Сообщений: 332
На: Создадим профессиональный форум ?
Добавлено: 10 фев 12 1:21
Цитата:
Автор: covax


Вы - человек, состоите из однородных элементов - атомов. Не забывайте об этом!
Разнообразие исходит из пространственной конфигурации (структуры) однородных элементов. Нейроны в мозгу тоже не блещут разнообразием. Неоднородность структуры - это статистический отпечаток внешних воздействий.



Все атомы разные - помните об этом. Только неоднородность материи - позволяет ей двигаться постоянно, иначе бы она давно бы уравновесилась бы и весь мир остановился бы и превратился бы в небытиё.
[Ответ][Цитата]
tac2
Сообщений: 332
На: Создадим профессиональный форум ?
Добавлено: 10 фев 12 1:25
Цитата:
Автор: covax

Если хотите запомнить последовательность - умейте варащивать под неё участок структуры, иначе будете затирать старую инфу. Мозг умеет выращивать структуру, а НТМ и Розенблат не умеют. Поэтому я и говорю, что ваши сети - это статика. Без структурной адаптации учитывать динамику потока невозможно.


Давайте сделаем проще, вы запрограммируете такую сеть, которая не затирает старые данные, выращивает под неё участок структуры. Опишите и дадите почитать код. А потом я покажу, почему такая вариация сети еще хуже идей Хокинза и Розенблатта. А к структурной адаптации это ни каким боком в любом случае.
[Ответ][Цитата]
tac2
Сообщений: 332
На: Создадим профессиональный форум ?
Добавлено: 10 фев 12 1:29
Цитата:
Автор: covax

Если бы перцептроны учитывали время, они были бы структурно адаптивными. В доказательство я вам привожу формулу зависимости времени от структуры.
S = U * t;

U - скорость распространения сигнала (метрика по которой меряется динамика потока). А у ваших перцептронов где метрика времени?



Ну что это за поголовная неграмотность такая ?

Специально для вас:

Для перцептрона время определено так:
Определение 12 . Передающие функции связей в перцептроне зависят от двух параметров: времени передачи импульса по каналам связи τij и коэффициента, или веса, связи υij. Передающая функция связи cij от элемента ui к элементу uj имеет вид: cij = f[υij(t),ui(t − τij)]
[Ответ][Цитата]
tac2
Сообщений: 332
На: Создадим профессиональный форум ?
Добавлено: 10 фев 12 1:33
Цитата:
Автор: covax

Это когда на ограниченном объёме сети, параметрической адаптации не хватает, чтобы обеспечить решениями всё входное разнообразие. Тогда мы пытаемся дообучить сеть, но она лишь затирает уже имеющиеся данные (структура ведь не растёт!). Алгоритм BP тут не причём, это фундаментальное ограничение детерминированной (не адаптивной, жёсткой) структуры.



"обеспечить решениями всё входное разнообразие" - очень мутная фраза. Что это значит ?
[Ответ][Цитата]
tac2
Сообщений: 332
На: Создадим профессиональный форум ?
Добавлено: 10 фев 12 1:38
Цитата:
Автор: covax

1. Как ваша сеть будет накапливать опыт? 2. Откуда вам известен достаточный размер полносвязной сети для конкретного потока входных данных? 3. Чтобы освоить новую информацию сеть должна будет забыть старую (переобучение)?



1. Существует много алгоритмов
2. Я сети предоставлю объем всех мои жестких дисков, будет мало просто будет не столь умна, разбогатею куплю еще
3. А вы знаете что обучение - это постоянное ДОобучение, т.е. забывание ранее запомненного не очень правильно и запоминание правильнее, учитывая больший контекст, большое число примеров. Поэтому сеть, которая не забывает информацию - только растет - это сеть по определению БЕЗобучения.
[Ответ][Цитата]
 Стр.13 (15)1  ...  9  10  11  12  [13]  14  15<< < Пред. | След. > >>