Форум: Проблемы искусственного интеллекта

Регистрация | Вход

Все темы | Новая тема  Стр.12 (15) << < Пред. | След. > >>    Поиск:
Автор	Тема: На: Создадим профессиональный форум ?
tac2 Сообщений: 332	На: Создадим профессиональный форум ? Добавлено: 09 фев 12 1:39 Цитата: Автор: covax Розенблат похоже не был тогда знаком с проблемой переобучения (в случае статической структуры), комбинаторного взрыва (в случае динамической структуры). А на самом деле, так оно и есть - мозг работает на статистических принципах и успешно решает все вышеобозначенные проблемы. Но постановка задачи у мозга динамическая, а Розенблат с динамикой, похоже, вообще не работал. 1. Проблема переобучения - это проблема алгоритма обратного распространения ошибки. А фактически ее нет 2. О каком комбинаторном взрыве не очень ясно. 3. Вы заблуждаетесь - работал, и как раз об этом его направлении я и говорю. [Ответ][Цитата]
tac2 Сообщений: 332	На: Создадим профессиональный форум ? Добавлено: 09 фев 12 1:50 Цитата: Автор: covax Вы хотите алгоритм HTM запрограммировать? Не стоит - там куча недостатков. Один из них в том, что HTM конвергентно иерархична, а кортекс дивергентно иерархичен. Смысл в том, что в динамической постановке задачи из 10 (к примеру) входов можно выжать тысячи разделимых решений. А у Хокинза на 10 входах не более 10 решений. Комбинаторный взрыв ему не грозит, но и потенциал в обучении сети у него почти нулевой. А всё потому, что ячейки расположены на жёсткой квадратной решётке и нет адаптивного роста структуры. Одно из самых примитивных решений, я такое даже не рассматривал как вариант. У вас устаревшая информация или вы просто не все у него поняли. В последние время он серьезно продвинулся. И раньше я примерно за этого же его не воспринимал серьезно (http://ru.vlab.wikia.com/wiki/Обсуждение:Алгоритм_работы_НТМ), теперь Хокинзу видимо люди в сером объяснили как надо делать. И потенциал там есть. Почитайте предложенный документ полностью, тогда можно обсудить подробнее. По сути от иерархичности там уже не осталось и следа. Этот документ описывает т.н. Регион (уровень) и никак его алгоритмически не связывает с другими. Этот Регион - соответствуем трем слоем любой ИНС (не функционально, а как структурно соответствующий). А его иерархичность - это не более чем лирика, такая же если выходы с одного перцептрона послать на входы другого. Ну кому то нравится из перцептронов делать например сверточные сети, которые тут рекламировал Царегородцев, но это совсем не обязательно. Главное, что у Хокинза появилась реальная модель сети, тонее даже элементов сети, из которых можно строить и развивать другие подвиды. Но что там принципиально - то что это, хоть и не рекуррентная сеть (хотя он обещает докрутить до этого уровня), но она принципиально воспринимает образы именно во времени, а не как отдельно взятые. Чтобы было проще читать. Когда он описывает регион, который состоит из колонок, а сама колонка из клеток (скажем 5). Так вот сетчатка (входные данные) отражаются у него на колонки, причем аналогично Розенблатовскому первому слою. Т.е. сетчатка 10х10 будет отображаться на Регион колонок большей размерности. Скажем на 100х100. Чем Розенблатт и Хокинз добиваются разреженного состояния. Но вот дальше (это есть только у Хокинза, а Розенблатта аналога нет). Клетки в колонках реагируют едино если только не имели опыта. Если же имели работают в зависимости не только от текущего состояния, а учитывая прошлые. Тем самым HTM комбинирует варианты как в пространстве, так и во времени. И их число оценивается как 5^10000, что вполне достаточно для анализа действий разворачивающихся на сетчатке 10х10. А уже потом можно и укрупнить маштаб - от этого уже ничего не потеряется. И перейти на следующий уровень. [Ответ][Цитата]
tac2 Сообщений: 332	На: Создадим профессиональный форум ? Добавлено: 09 фев 12 1:54 Цитата: Автор: covax Что там с кодом ? + Можно подробнее что он делает. [Ответ][Цитата]
tac2 Сообщений: 332	На: Создадим профессиональный форум ? Добавлено: 09 фев 12 3:01 Цитата: Автор: covax В общем, стоит вам над постановкой задачи еще подумать. Для "голой" статической сети вы ставите слишком сложные задачи. За то, что оценили сложность задачи - спасибо. Но ставлю я ее не для статической сети, а для ИНС вообще - как раз и надо создать такой тип сети, который бы смог решить задачу. Или даже вообще не сети, но как я уже говорил логический подход менее интересен, т.к. предполагает делать все самому, а мне хотелось бы не сидеть с метровиком перед лужей, не вычислять силу отталкивания/притяжения - а взять и перепрыгнуть через лужу (кто незнаком с классикой - это перефразированный Эшби). Такие и только такие решения мне интересны. [Ответ][Цитата]
covax Сообщений: 1609	На: Создадим профессиональный форум ? Добавлено: 09 фев 12 8:32 Цитата: Автор: tac2 Ну, не смешите меня. Если задаете такие вопросы - отвечайте сами. Я могу ответить на все ваши вопросы, даже те которые вы еще не задавали. Но это не интересно. Интересна правильная эволюция вашей мысли, а не принудительное навязывание догм со стороны. Цитата: Автор: tac2 Это как раз и входит в решение , а не в постановку задачи. У вас постановка для адаптивного нейровычислителя, который работает с динамическим потоком, а решать эту задачу вы пытаетесь статическими сетями (перцептронами), которые вообще не знают, что такое отношения ВО ВРЕМЕНИ. Цитата: Автор: tac2 Вот смотрите сюда сможете решить детскую задачку "кто лишний" ? Почему так или иначе ? Я нейросеть, мне подсунули три фотографии, вижу шерсть, возможно это мягкие игрушки или коврики, в общем это пушистики. Признаков для более детальной классификации у меня нет. Ответ: на снимках пушистики, лишних среди них нет. Как вам такой расклад? Цитата: Автор: tac2 А грудной ребенок не решает потому что не обладает интеллектом, а 3 летний уже вполне решает. Как только появляется интеллект - это одна из первых задач. Что значит - "появляется интеллект"? В вашем перцептроне интеллект заложен изначально? Где он там прячется? Цитата: Автор: tac2 (и подумайте на досуге, почему такие вопросы не серьезны) Пусть ваша сеть решит, какие вопросы для неё серьёзны, а какие нет, раз вы, как конструктор сети, не хотите об этом задумываться. На остальное позже отвечу. [Ответ][Цитата]
covax Сообщений: 1609	На: Создадим профессиональный форум ? Добавлено: 09 фев 12 8:45 Цитата: Автор: tac2 1. Проблема переобучения - это проблема алгоритма обратного распространения ошибки. А фактически ее нет Переобучение - это проблема статической (жёсткой структуры). Эта проблема не решена даже у Хокинза, но он похоже об этом не догадывается. У BP есть еще проблема локальных минимумов - это вообще жуть. Цитата: Автор: tac2 2. О каком комбинаторном взрыве не очень ясно. При ассоциировании устанавливаются отношения между структурами, ответственными за разные категории. Например, пушистой может быть не только кошка, но и собака, коврик, шуба и иногда даже мячик. Вот такая комбинация понятий и определяет РОСТ нейроструктуры. Нет ассоциаций - нет роста(развития). Ассоциации - это обобщение со знаком минус, т.е дивергенция, а не конвергенция связей. Цитата: Автор: tac2 3. Вы заблуждаетесь - работал, и как раз об этом его направлении я и говорю. Он пытался работать, но за пределы статической постановки так и не вышел, примерно также, как и вы сейчас. Проблематика вроде как очевидна, а переложить её на сетевой мат базис не получается. [Ответ][Цитата]
covax Сообщений: 1609	На: Создадим профессиональный форум ? Добавлено: 09 фев 12 9:16 Пока пропущу HTM Цитата: Автор: tac2 Но ставлю я ее не для статической сети, а для ИНС вообще - как раз и надо создать такой тип сети, который бы смог решить задачу. Или даже вообще не сети, но как я уже говорил логический подход менее интересен, т.к. предполагает делать все самому, а мне хотелось бы не сидеть с метровиком перед лужей, не вычислять силу отталкивания/притяжения - а взять и перепрыгнуть через лужу (кто незнаком с классикой - это перефразированный Эшби). Такие и только такие решения мне интересны. Есть одна фундаментальная проблема. Мы учим сеть и навязываем ей заранее предопределённый функционал y = f(X). Т.е хотим получить конкретный выход для конкретной комбинации входов (статика). Вообще, все нейросети перцептронного типа в т.ч. и рекуррентные можно свести к простейшему виду решений, то есть, к прямому отображению входного вектора в скаляр (коэффициент уверенности) в пространстве решений. Это всего лишь один уровень обобщения. Прикол в том, что для ЛЮБОЙ "обучающей" выборки, сеть можно создавать автоматически без обучения, BP, отжига и тп. Решение, которое вам интересно, оно из другого (более общего) класса и постановка у него другая (статика - это лишь частный случай). Y = f(t,T,X) X - вектор входа Y - вектор выхода t - время T - пространство внутренних состояний (контекст), которое тоже зависит от времени. Вот в этом случае, можно по настоящему обучаться и обучаться статистически. Это даёт возможность не знать отношения входа к выходу, а получать пространство решений адаптивно, точно так, как это делает мозг. Хокинз, кстати, уже пошёл по этому пути, но его решение ограничено жёсткой структурой. Об этом я уже говорил. [Ответ][Цитата]
covax Сообщений: 1609	На: Создадим профессиональный форум ? Добавлено: 09 фев 12 9:35 Цитата: Автор: tac2 Тем самым HTM комбинирует варианты как в пространстве, так и во времени. И их число оценивается как 5^10000, что вполне достаточно для анализа действий разворачивающихся на сетчатке 10х10. 5^10000 - это мощность пространства состояний (контекста). Очень трудно отыскать конкретное финальное решение в пространстве состояний. Реальный мозг автоматически разделяет финальные решения и оформляет их на верхнем слое неокортекса. У Хокинса на верхнем слое максимум 10х10 (для сетчатки 10х10) неразделимых решений, плюс страшнейшая проблема переобучения. Это вообще не вариант. Я еще студентом разбирал подобное решение (в прошлом веке, еще до Хокинза) и откинул его. [Ответ][Цитата]
covax Сообщений: 1609	На: Создадим профессиональный форум ? Добавлено: 09 фев 12 10:04 Цитата: Автор: tac2 Что там с кодом ? + Можно подробнее что он делает. Пользователь на растре 6х6 отмечает кликами пиксели/признаки. Конфигурация признаков может соответствовать, а может и не соответствовать классам v1,v2,v3,h1,h2,h3 (допускается зашумление в 1пиксель). На выходе для каждого класса представлен скаляр - "коэффициент уверенности" в том, что конфигурация признаков соответствует классу (с учётом шума). Весовые маски я составлял (для простоты) вручную, хотя не сложно вывести алгоритм Написано на java в виде апплета. Сейчас хочу немного переделать интерфейс и опубликовать у себя в блоге. [Ответ][Цитата]
vchc Сообщений: 194	На: Создадим профессиональный форум ? Добавлено: 09 фев 12 10:56 Цитата: Автор: covax Переобучение - это проблема статической (жёсткой структуры). Эта проблема не решена даже у Хокинза, но он похоже об этом не догадывается. У BP есть еще проблема локальных минимумов - это вообще жуть. Александр, вы постоянно упоминаете структуры. Я знаю, что это ваш любимый конёк. ) Дайте пожалуйста определение, что же это такое - структура? И какие у неё есть характеристики. А то не совсем понятно, о чём вы говорите. [Ответ][Цитата]
covax Сообщений: 1609	На: Создадим профессиональный форум ? Добавлено: 09 фев 12 11:32 Цитата: Автор: vchc Александр, вы постоянно упоминаете структуры. Я знаю, что это ваш любимый конёк. ) Дайте пожалуйста определение, что же это такое - структура? И какие у неё есть характеристики. А то не совсем понятно, о чём вы говорите. Наш мир есть структура структур, мы говорим структурно структурами, взаимодействуем структурно со структурами, питаемся структурами, ими же в туалет ходим и при этом вы меня спрашиваете, что такое структура!? )) В данном топике под структурой следует понимать структуру нейросети (сложно предположить что-то другое). Нейросеть - это граф. В графе структура - это отношение (связь) узлов. В нейросети - это, так же, отношение узлов. Фундаментальнее структуры вы ничего не придумаете. Все возможные характеристики и свойства связей можете почерпнуть из теории графов. Я ничего нового не вношу в это понятие. [Ответ][Цитата]
vchc Сообщений: 194	На: Создадим профессиональный форум ? Добавлено: 09 фев 12 12:32 Цитата: Автор: covax Наш мир есть структура структур, мы говорим структурно структурами, взаимодействуем структурно со структурами, питаемся структурами, ими же в туалет ходим и при этом вы меня спрашиваете, что такое структура!? )) В данном топике под структурой следует понимать структуру нейросети (сложно предположить что-то другое). Нейросеть - это граф. В графе структура - это отношение (связь) узлов. В нейросети - это, так же, отношение узлов. Фундаментальнее структуры вы ничего не придумаете. Все возможные характеристики и свойства связей можете почерпнуть из теории графов. Я ничего нового не вношу в это понятие. Тогда давайте прояснять дальше. Если весь мир это структуры (почему бы их не называть общепринято системами?), то какие из них жёсткие, а какие нет? В науке не принято опираться на общие понятия, если вы от них строите теорию. В этом случае надо давать чёткое формализованное определение. Я к тому, что если вы поработаете над формализацией, то все характеристики вроде жёсткости обретут более понятный и доступный для собеседников вид. Например мы можем описать мир как некое пространство признаков(степеней свободы, связей, и т.д. Термин не важен так как это аксиома.) W=(x(1), ... , x(n), ...). Количество признаков бесконечно. Для каждого признака имеется своё множество значений Xi. Каждый признак принимает в момент времени t одно из значений из своего множества Xi. Все рассматриваемые нами системы (структуры по вашему), это какие-то подпространства W. Пусть у нас есть конечное по размерности подпространство (система) S=(x(1),....,x(n)) пространства W. Можете дать определение жёсткой структуры в данной аксиоматике? Или свою введите. Главное чтобы определение было формально. [Ответ][Цитата]
covax Сообщений: 1609	На: Создадим профессиональный форум ? Добавлено: 09 фев 12 13:32 Цитата: Автор: vchc В науке не принято опираться на общие понятия, если вы от них строите теорию. В этом случае надо давать чёткое формализованное определение. Я к тому, что если вы поработаете над формализацией, то все характеристики вроде жёсткости обретут более понятный и доступный для собеседников вид. "Система" - это, как раз, более общий взгляд на зависимости в т.ч и пространственные. Для собеседников "в теме", жёсткая структура НС не вызывает никаких разночтений. Правда, мало еще кто из них осознаёт недостатки жёсткой структуры, поэтому и ажиотаж невелик. Жёсткая структура не поддаётся адаптивным изменениям. Она неизменна во времени - перманентна. Речь не идёт о воздействиях на структуру каких-то внешних сил и её упругих свойствах. Речь вообще о невозможности адаптивных структурных изменений в известных ИНС. Хокинз, вроде как, попытался решить эту проблему. Цитата: Автор: vchc Можете дать определение жёсткой структуры в данной аксиоматике? Или свою введите. Главное чтобы определение было формально. В данной аксиоматике не могу. Для графа могу: Будем считать, что структура графа остаётся постоянной/неизменной/перманентной/"жёсткой" на промежутке времени [t1, t2], если не нарушается инцидентность (или смежность) вершин и рёбер. Естественно, чтобы структура изменилась или развалилась, нужно применить усилие (оказать формальное воздействие) чтобы нарушить (перестроить) связность. У Хокинза связи перестраиваются на основе статистики потока. Иначе и нельзя. У Розенблата связи никак не перестраиваются. У него параметрическая (не структурная) адаптация. Тоже вариант, но со всеми вытекающими... [Ответ][Цитата]
vchc Сообщений: 194	На: Создадим профессиональный форум ? Добавлено: 09 фев 12 14:50 Цитата: Автор: covax "Система" - это, как раз, более общий взгляд на зависимости в т.ч и пространственные. Для собеседников "в теме", жёсткая структура НС не вызывает никаких разночтений. Правда, мало еще кто из них осознаёт недостатки жёсткой структуры, поэтому и ажиотаж невелик. Недостатки по отношению к чему? Любые рассуждения, да и вообще произвольная деятельность человека, берут своё начало в целях. Какие у вас цели? Что вы хотите то показать? Я всех долблю с этим вопросом. )) Есть ИНС. Это некое алгоритмическое и вычислительное решение предназначенное для борьбы с узким кругом задач. Как только вы расширяете задачу, ИНС уже перестаёт справляться с её решением. Внимание вопрос. Зачем вы пытаетесь натянуть ИНС на решение таких проблем как сильный ИИ? Это такой хитрый ход конём? Создать себе сложности, а потом мужественно с ними бороться? А всё откуда берётся. В нашей системе образовании людей не учат общефилософскому базису или теории познания как я её называю, в которой содержатся общие принципы как решать ЛЮБУЮ задачу. Одним из принципов является принцип локальности или ограниченности. Он гласит в частности, что любое конечное описание всегда имеет границы применимости. Не важно какую бы вы конечную теорию не взяли. Будь то ИНС, или теория вероятностей, или квантовая механика, у них у всех буду границы применимости, то есть будут существовать такие условия, при которых они недостоверны. Пользуясь этим принципом и сравнением сложности теории ИНС и сложности ЕИ можно утверждать сразу, что сильный ИИ выходит за границы этой теории и рассуждать об ИИ в рамках ИНС совершенно бессмысленно. Мы можем попытаться расширить теорию ИНС, чтобы она охватила сильный ИИ. А для этого нам надо сначала обобщить несколько похожих теорий. Цитата: Автор: covax В данной аксиоматике не могу. Для графа могу: Будем считать, что структура графа остаётся постоянной/неизменной/перманентной/"жёсткой" на промежутке времени [t1, t2], если не нарушается инцидентность (или смежность) вершин и рёбер. Естественно, чтобы структура изменилась или развалилась, нужно применить усилие (оказать формальное воздействие) чтобы нарушить (перестроить) связность. У Хокинза связи перестраиваются на основе статистики потока. Иначе и нельзя. У Розенблата связи никак не перестраиваются. У него параметрическая (не структурная) адаптация. Тоже вариант, но со всеми вытекающими... Что касается графов, то вашу пресловутую структурную адаптацию можно свести к той же пресловутой параметрической взяв полносвязный граф. Одно это уже показывает, что только рассуждения о структурах в смысле связей между узлами мало что дадут. Нужна более широкая теория. [Ответ][Цитата]
tac2 Сообщений: 332	На: Создадим профессиональный форум ? Добавлено: 09 фев 12 16:32 Цитата: Автор: covax решать эту задачу вы пытаетесь статическими сетями (перцептронами), которые вообще не знают, что такое отношения ВО ВРЕМЕНИ. Ну что вы такое придумали. Вы не в курсе, что существуют перцептроны, которые прекрасно знают, что такое время ? Ну, так вначале поинтересуйтесь, а потом категорично утверждайте. [Ответ][Цитата]
Стр.12 (15): 1  ...  8  9  10  11  [12]  13  14  15 << < Пред. | След. > >>