Форум: Проблемы искусственного интеллекта

Регистрация | Вход

Все темы | Новая тема  Стр.5 (12) << < Пред. | След. > >>    Поиск:
Автор	Тема: На: Обучение сети
3d6 Сообщений: 325	На: Обучение сети Добавлено: 14 янв 09 21:33 Цитата: Автор: tac Формулировка в принципе таже: Мне нужно то самое изображение, на котором вы учите - это может быть очень важно Цитата: Автор: tac А вроде дошло, что вы имеете введу - но дело в том, что перцептрон НЕ МОЖЕТ этого обнаружить ... такое вот у него устройство !!! Перцептрон именно это и обнаруживает, хотя конечно BP для MLP покажет это намного эффективнее Проанализировав полученные весовые матрицы, вы это увидите. [Ответ][Цитата]
tac Сообщений: 2601	На: Обучение сети Добавлено: 14 янв 09 23:23 Цитата: Автор: 3d6 Перцептрон именно это и обнаруживает, хотя конечно BP для MLP покажет это намного эффективнее Проанализировав полученные весовые матрицы, вы это увидите. Как бы я много дал бы, чтобы вы так глубоко не заблуждались бы ... сам бы желал бы, чтобы перцептрон такой умным был бы - но похоже вы все же не доучили его возможности за два дня А за BP&MLP давайте поговорим тогда когда вы эксперимент сделаете и тогда уже на цифрах увидим ... Если найду ваш мейл пришлю вам случайную коллекцию нулей и единиц в тестовом файле подойдет ? Разницы, то право нету - пудумаешь на пару минут больше меньше - не суть. А хотя - поставьте RND - мне поначалу ЛЮБАЯ последовательность сгодится - лишь бы сошлось бы - я даже на время не обижусь если в приделах 10 часов Ок ? Или все же прислать ? Да, а если же MLP делает это эффективнее перцептрона - чтож вы так хотели предпроцессинг сделать - не делайте - MLP же по вашему это сам сделает [Ответ][Цитата]
tac Сообщений: 2601	На: Обучение сети Добавлено: 14 янв 09 23:42 Последовательность здесь http://ru.vlab.wikia.com/wiki/Кабинет:Сергей_Яковлев:rnd Размерность правда несколько другая 11х255 - но это не принципиально. [Ответ][Цитата]
3d6 Сообщений: 325	На: Обучение сети Добавлено: 15 янв 09 1:02 Цитата: Автор: tac Как бы я много дал бы, чтобы вы так глубоко не заблуждались бы ... сам бы желал бы, чтобы перцептрон такой умным был бы - но похоже вы все же не доучили его возможности за два дня А каким же образом тогда, по-вашему, перцептрон с тремя А-элементами мог бы решить задачу классификации 65536 разных образов? Обучите и покажите матрицу весов. Я на ней покажу вам, почему перцептрон понял зависимость. P.S. начал учить MLP по BP на вашей задаче, 700 нейронов в скрытом слое, 2 на выходе. Прошло пока 8 минут, точность 67% [Ответ][Цитата]
tac Сообщений: 2601	На: Обучение сети Добавлено: 15 янв 09 1:16 Цитата: Автор: 3d6 А каким же образом тогда, по-вашему, перцептрон с тремя А-элементами мог бы решить задачу классификации 65536 разных образов? Обучите и покажите матрицу весов. Я на ней покажу вам, почему перцептрон понял зависимость. P.S. начал учить MLP по BP на вашей задаче, 700 нейронов в скрытом слое, 2 на выходе. Прошло пока 8 минут, точность 67% А кто такое говорил, что тремя нейронами ? Вы сделали такой эксперимент ? Я гарантирую, что 3 нейронов МАЛО - нужно минимум 1000!!! Или вы опять где-то схитрили ! С нетерпением жду - 67% - это он наверное все нули запомнил Если достигните 90% в приделах двух часов - уже это меня повергет в шок - сообщите обязательно ... а попросить у вас ваш код (тот который вы запустили с моими данными) - будет сильной наглостью с моей стороны ? Просто боюсь, что у меня все же не то, что надо запрограммированно ... неможет же быть столь большая разница в результатах ... [Ответ][Цитата]
3d6 Сообщений: 325	На: Обучение сети Добавлено: 15 янв 09 2:07 Цитата: Автор: tac А кто такое говорил, что тремя нейронами ? Вы сделали такой эксперимент ? Я гарантирую, что 3 нейронов МАЛО - нужно минимум 1000!!! Или вы опять где-то схитрили ! На задаче с губкой при битовом представлении координат - 3х нейронов хватит, если повезет со связями S-A. Хотите верьте, хотите проверьте. Цитата: Если достигните 90% в приделах двух часов - уже это меня повергет в шок - сообщите обязательно ... Сейчас 94%, ошибка стабильно снижается. Прошло 1350 эпох. На ночь ставить не буду, уж больно шумит, а вот завтра могу на подольше поставить. Цитата: а попросить у вас ваш код (тот который вы запустили с моими данными) - будет сильной наглостью с моей стороны ? Просто боюсь, что у меня все же не то, что надо запрограммированно ... неможет же быть столь большая разница в результатах ... Ну, там целый нейрокомпьютер (NeuroLand), его исходники я дать не могу. Могу дать класс BP собственного написания - на нем я пока не тестировал, но думаю результат будет примерно тот же, завтра могу проверить - заодно, если результат не сойдется, исправлю свои ошибки [Ответ][Цитата]
tac Сообщений: 2601	На: Обучение сети Добавлено: 15 янв 09 2:11 Цитата: Автор: 3d6 Могу дать класс BP собственного написания - на нем я пока не тестировал, но думаю результат будет примерно тот же, завтра могу проверить - заодно, если результат не сойдется, исправлю свои ошибки Буду очень благодарен - мне как раз маленький классик то и надо [Ответ][Цитата]
Victor G. Tsaregorodtsev Сообщений: 3187	На: Обучение сети Добавлено: 15 янв 09 17:39 Цитата: Автор: tac Массовое применение думаю слишком приувеличенно ... Глобальный, это или локальный мне по барабану ... Не надо передергивать. Вопрос был о том, чем отличаются, я позволил себе высказать мнение, противоположное Вашему именно "в принципе", и не надо тут пытаться переводить доказательство своего мнения на единственную конкретную задачу (ладно, некоторый класс задач, тем не менее тенденциозно подобранный). Насчет массовости - тогда скажите, какой метод применяется более часто. Именно при неочевидности или необходимости выбора метода решения той или иной задачи. Все жестко заложенные, например, в "железо" схемы типа автоматического регулирования (слежение за уровнем нуля, например, в области современных электронных коммуникаций и в виде миллионнотиражных микросхем или их подблоков) и не масштабируемые по сложности/нелинейности реализуемой модели (т.е. не имеющие возможности наподобие свободного выбора числа слоев нейронов и самих нейронов в нейросетке) идут лесом - прошу назвать именно метод над достаточно широким классом возможных моделей, в софте и для конечного пользователя-чайника. Учить сетку на "шахматной доске" не буду - могу предложить гораздо более реальные задачи, где народ уже поприменял разные алгоритмы и выводы свои о том, какие сетки круче, сделал. [Ответ][Цитата]
tac Сообщений: 2601	На: Обучение сети Добавлено: 16 янв 09 0:56 Цитата: Автор: 3d6 а вот завтра могу на подольше поставить. завтра могу проверить - заодно, если результат не сойдется, исправлю свои ошибки 3d6 - ну как там ??? [Ответ][Цитата]
tac Сообщений: 2601	На: Обучение сети Добавлено: 16 янв 09 1:09 Цитата: Автор: Victor G. Tsaregorodtsev Не надо передергивать. Хорошо, поясните мне пожалуйсто о чем идет речь когда говорят о локальной или глобальной сходимости на обучении. Правильно ли я понимаю, что и та и другая предполагает на множестве обучающей выборки 100% безошибочности. Речь же идет только о экзаменационом множесте, или точне о всех тех примерах которым сеть не была обучена. Говоря о локальности и глобальности имеется введу некий минимум, по аналогии с экстремумами функции или энергетические минимумы. О чем же идет речь при распозновании, а точнее прогнозировании с помощью сети не известных данных. По сути сеть решает систему неравенств или уравнений. Если с уравнениями то вообще не ясно - система может иметь различное число решений - и все решения равнозначны. Если же неравенства (а это более точно), то у меня есть предположение, что речь идет о том, чтобы было получено не любое произвольное решение, а так чтобы неизвестные точки решения находились бы в центрах по отношению ко всем известным ... как это предполагают в Support vector machines (SVMs) - т.е. они как я понимаю и предполагают нахождение глобального схождения, но похоже это только разговоры (я нигде не видел алгоритма как такое решение получить). Если я не прав - то прошу рассказать мне точнее - откуда вообще может идти речь о локальном и глобальном схождении в контексте ИНС. [Ответ][Цитата]
tac Сообщений: 2601	На: Обучение сети Добавлено: 16 янв 09 1:14 Цитата: Автор: Victor G. Tsaregorodtsev народ уже поприменял разные алгоритмы и выводы свои о том, какие сетки круче, сделал. Народ даже не знает что такое перцептрон , назовите мне хотя бы один промышленный проект, где реализован перцептрон Розенблатта ? Поэтому выводы - эти не от хорошей жизни [Ответ][Цитата]
3d6 Сообщений: 325	На: Обучение сети Добавлено: 16 янв 09 11:13 Цитата: Автор: tac 3d6 - ну как там ??? Буду проверять завтра - на работе завал, мягко говоря... [Ответ][Цитата]
Victor G. Tsaregorodtsev Сообщений: 3187	На: Обучение сети Добавлено: 16 янв 09 17:45 2 tac >о чем идет речь когда говорят о локальной или глобальной >сходимости на обучении. Правильно ли я понимаю, что и та >и другая предполагает на множестве обучающей выборки 100% >безошибочности. Термины понимаются в том смысле, который они несут в теории оптимизации. Ничего о точности не предполагают. В какой экстремум попадет - в такой и попадет. Но при правильных настройках алгоритма в экстремум попадать должны (а не скакать как попало - в этом случае обучение не сходится или даже расходится). Персептрон тоже может не сходиться в случае линейной неразделимости классов. >система может иметь различное число решений - и все решения >равнозначны. Если же неравенства (а это более точно), то у меня >есть предположение, что речь идет о том, чтобы было получено не >любое произвольное решение, а так чтобы неизвестные точки решения >находились бы в центрах по отношению ко всем известным ... Число локальных и глобальных минимумов в сети обратного распространения комбинаторно даже без возможности иметь несколько решений задачи. На свойства решения (если произвольное не катит) и на свойства обобщения проще влиять доп.слагаемыми в штрафной функции, чем алгоритмом обучения. Также и локальные минимумы (пусть не все, но многие) могут превращаться в глобальные изменением штрафной функции (например, при вводе разрешенного допуска на точность решения). Поэтому при адекватной постановке задачи и приемлемом размере сети "ближайшим" минимумом обычно оказывается глобальный и проблем с необходимостью обучения нескольких вариантов сети с разных стартовых весов не имеется. >откуда вообще может идти речь о локальном и глобальном схождении >в контексте ИНС. Только в том контексте, что алгоритм градиентной оптимизации при определенных ограничениях (на выбор шага и т.д.) гарантированно сходится к некоторой особой точке - это доказано в теории градиентной оптимизации. Из нейросетевого тут - только способ расчета этого самого градиента, что на метод оптимизации никак не влияет. Поэтому для "шахматной" задачи неуспешность обучения бэкпроповской сети является неуспешным только с точки зрения пользователя (нужная точность не достигнута - ну так это проблемы пользователя: нужно знать, какие классы задач данный вариант сеток может решать), а с точки зрения алгоритма обучения - всё прошло успешно, какой-то экстремум достигнут. [Ответ][Цитата]
tac Сообщений: 2601	На: Обучение сети Добавлено: 16 янв 09 18:47 Цитата: Автор: Victor G. Tsaregorodtsev Персептрон тоже может не сходиться в случае линейной неразделимости классов. Это не так !!! Я как раз пишу статью об этом (с мат. выкладками) , перцептрон ВСЕГДА строит такое пространство (отображение входов), в котором образы ВСЕГДА линейно разделимы - этим и занимается первый слой перцептрона Кстати, нашел близкую связь с RBF-сетями (точнее с ее мат. основами), к сожалению у меня электронная версия Хайкина "Нейронные сети", и там обрезан список литературы - не могли бы подсказать где он есть (где скачать), или выборочно не могли бы подсказать, что за ссылка [219] про теорему Ковера ? и кто такой Ковер, и когда он доказал эту теорему ? ----- (спустя 6 часов) Я тут начитался умных слов - поэтому объясню точнее в соответствии с принятой терминалогией. Первый слой перцептрона со 100% успехом делает нелинейное отображение входного вектора в пространство признаков более высокой размерности в соответствии с теоремой Ковера (Розенблатт тоже самое называет теоремой Джозефа) - и только потом строит гиперплоскость. Это и гарантирует 100% сходимость при любом раскладе обучающей выборки. [Ответ][Цитата]
tac Сообщений: 2601	На: Обучение сети Добавлено: 16 янв 09 19:30 Цитата: Автор: tac поясните мне пожалуйсто о чем идет речь когда говорят о локальной или глобальной сходимости на обучении. Правильно ли я понимаю, что и та и другая предполагает на множестве обучающей выборки 100% безошибочности. Victor G. Tsaregorodtsev - тогда учитывая ваши пояснения получается, что я понимаю локальность-глобальность так скажем слишком оптимистично. Т.е. это как раз касается обучения и только его. И локальная сходимость означает ЗАЦИКЛИВАНИЕ при котором количество ошибок больше не уменьшеается и скажем выучены, например, только 90% обучающей выборки. Это так ? [Ответ][Цитата]
Стр.5 (12): 1  2  3  4  [5]  6  7  8  9  ...  12 << < Пред. | След. > >>