GotAI.NET

Форум: Проблемы искусственного интеллекта

 

Регистрация | Вход

 Все темы | Новая тема Стр.1 (2)След. > >>   Поиск:  
 Автор Тема: Реализация трехслойного персептрона
Игорь
Сообщений: 8
Реализация трехслойного персептрона
Добавлено: 16 ноя 07 0:15
Господа, всем привет!

У меня сия проблема. Задача: распознование буковок или цифирок в маске 30*30 пикселей, так сказать типовая лаба.

Использую трехслойный персепрон, кол-во нейронов на скрытом слое в два раза больше чем на входном. В качестве функции активации использую сигмойду 1/1+pow(e,-alpha*x), где alpha варьируется от 0,2 до 0,8.

Для корректировки весов использую алгоритм обратного распространения ошибки. Собственно все формулы нашел на интуите http://www.intuit.ru/department/ds/neuronnets/4/neuronnets_4.html .

Сделал обучающую базу с образами. Допустим обучаю первым 10 буковкам или цифиркам, на каждый образ по 10 примеров. Потом случайно из множества образов представляю сети и корректирую веса.

и теперь вопрос:: как заставить это заработать?

Если по одному разу предоставлять образ - то ничего толком не происходит - веса слабо корректирутся. Я гонял по кругу один образ пока ошибка с нужными значения выходного слоя не будет больше маленького значения. При этом наблюдается картина, что НС сначала напрочь забывает предыдущие образы, и помнит только последний, а после обучения на 5-7 образах - НС дает сильный сигнал на обучаемом образе, но не может забыть предыдущий образ.

Посоветуйте, что здесь можно сделать? И подскажите где популярно описана реализация трехслойного персептрона.

Заранее БОЛЬШОЕ спасибо.
[Ответ][Цитата]
daner
Сообщений: 4148
На: Реализация трехслойного персептрона
Добавлено: 16 ноя 07 0:25
нужно последовательно по кругу гонять все цифры. т.е. если обучаете для 1,2,3, то выгладит это так:
1,2,3,1,2,3,1,2,3,1,2,3... и т.д.
Но вообще, обычно ИНС обучается не просто запоминать какой-то набор символов, а запоминать их, что бы потом можно было распознавать с зашумлением. Так что, советую...
1) сделать еще картинки с зашумлением (различным, например случайным образом) и добавить их в общую группу.
2) разделить группу на двое: 2/3 для обучения и 1/3 для тестирования.
Далее, обучать как и говорилось выше, а ошибку тестировать на тестовой группе.
Это нужно, так как после какого-то момента, в сети начинает overfeeting. Т.е. она становиться слишком узким экспертом для группы обучения. Так что, вы будете видеть рост точности, но в какой-то момент начнется падение. Нужно этот момент ловить и останавливаться.
3) повторить обучение несколько раз с самого начала (естественно если начальные значения весов устанавливаются случайно, кстати это правильно так делать). И выбрать тот вариант, при котором обучение оказалось успешнее.
[Ответ][Цитата]
Игорь
Сообщений: 8
На: Реализация трехслойного персептрона
Добавлено: 16 ноя 07 0:50
Спасибо за советы, сейчас постараюсь реализовать.

И еще вопрос. Сколько раз нужно нужно делать алгоритм обратного растространения для текущего образа?

И сколько раз повторять повторное обучение?

Может быть конечно я мало обучал, но мне пока даже не видно,чтобы сеть чему то научилась((
[Ответ][Цитата]
daner
Сообщений: 4148
На: Реализация трехслойного персептрона
Добавлено: 16 ноя 07 0:56
конкретной цифры нет... все зависит от задачи. В принципе у тебя проблема не сложная, должно хватать и 10-20.. ну может 40 раз на каждый образ.
[Ответ][Цитата]
гость
62.183.126.*
На: Реализация трехслойного персептрона
Добавлено: 15 май 17 0:12
-
[Ответ][Цитата]
гость
144.217.167.*
На: Реализация трехслойного персептрона
Добавлено: 16 май 17 8:36
Цитата:
Автор: гость
Реализация трехслойного персептрона

Через веб интерфейс(фронт-энд) http://playground.tensorflow.org или пишите заявку VGT(http://neuropro.ru/contacts.shtml) тут только он один в состоянии собрать MLP с нуля а также любой другой классификатор, другие философы.

[Ответ][Цитата]
гость
163.172.169.*
На: Реализация трехслойного персептрона
Добавлено: 17 май 17 5:18
Цитата:
Автор: гость


Через веб интерфейс(фронт-энд) http://playground.tensorflow.org или пишите заявку VGT(http://neuropro.ru/contacts.shtml) тут только он один в состоянии собрать MLP с нуля а также любой другой классификатор, другие философы.
VGT лучще бы... ну в общем удалиться со сцены, так как он страрый, как члены билдербергского клуба, а нужно совободить место для молодежи(15-25), они что то придумают.
[Ответ][Цитата]
ёж
Сообщений: 26
На: Реализация трехслойного персептрона
Добавлено: 19 май 17 12:43
Цитата:
Автор: гость

Через веб интерфейс(фронт-энд) http://playground.tensorflow.org или пишите заявку VGT(http://neuropro.ru/contacts.shtml) тут только он один в состоянии собрать MLP с нуля а также любой другой классификатор, другие философы.
Ещё Я могу собрать исходники - 100$(0.06BTC)
[Ответ][Цитата]
гость
149.56.204.*
На: Реализация трехслойного персептрона
Добавлено: 23 май 17 10:46
Цитата:
Автор: гость

VGT лучще бы... ну в общем удалиться со сцены, так как он страрый, как члены билдербергского клуба, а нужно совободить место для молодежи(15-25), они что то придумают.
Царегордцев наукообразен, но практических результатов от него никто не видел, ему предлагали доказать единственное его преимущество в виде exe-хи MLP обучающегося в 100 раз быстрее "наивного" он проморозился, так что вероятней всего это блеф и MNIST у него обучается как у всех за пол часа до 3%
[Ответ][Цитата]
Савелий Дежурный
Сообщений: 7
На: Реализация трехслойного персептрона
Добавлено: 23 май 17 12:50
Многослойный персептрон это математика прежде всего, а потом программирование
[Ответ][Цитата]
гость
188.43.31.*
На: Реализация трехслойного персептрона
Добавлено: 07 июн 17 22:57
А зачем многослойный для такой задачи?
[Ответ][Цитата]
Victor G. Tsaregorodtsev
Сообщений: 2933
На: Реализация трехслойного персептрона
Добавлено: 11 июн 17 7:29
Цитата:
Автор: гость
А зачем многослойный для такой задачи?

Дык, он и учится точнее, и обобщает точнее
Например, для рукописных цифр (задача MNIST) однослойный (без скрытого слоя) даёт 12 или 8.4% ошибок на тестовой выборке, а тот, который со скрытым слоем, до 1.6% дотягивает, если обучать чисто на голой выборке (т.е. без добавления дополнительных искажений картинок и т.д.).
Вся (вернее, не вся - а уже достаточно старая) статистика с результатами тут http://yann.lecun.com/exdb/mnist/index.html

Правда, мы так и не услышим побывавшего здесь 10 лет назад начальника транспортного цеха (топикстартера) - что и как у него получилось, ну или насколько его цифири (если он распознавал именно цифры) отличались от рукописных МНИСТовских.
[Ответ][Цитата]
гость
193.233.60.*
На: Реализация трехслойного персептрона
Добавлено: 11 июн 17 11:53
Цитата:
Автор: Victor G. Tsaregorodtsev

Правда, мы так и не услышим побывавшего здесь 10 лет назад начальника транспортного цеха (топикстартера) - что и как у него получилось
к сожалению с того света не отвечают, но я за него могу сказать что ему нравится то о чем здесь говорят, не плохо что спустя6 лет после его смерти Игоря вспоминают, ему приятно, хотя он не может это выразить в детектируемой нашими технологими виде.

Спасибо.
[Ответ][Цитата]
NO.
Сообщений: 9051
На: Реализация трехслойного персептрона
Добавлено: 11 июн 17 20:34
Изменено: 11 июн 17 20:37
На меня однажды снизошло понимание, что больше 3 слоев не нужно. Этого уже достаточно чтобы всё обобщить, декодировать и даже получить числовые оценки поверх семантики. А дальше уже другие задачи. Больше слоев нужно очень редко, только когда данные и создавались чем-то таким же. А МЛП уже сложная и редкая конструкция, скорее всего таких данных нет вообще.
Тут какая-то ловушка, выглядит всё обучением и адаптацией, а на самом деле люди занимаются тем, что раньше называлось "быковать". Это когда тупой качек наезжает на замороченного хлюпика, вообще ничему не учится и не воспринимает. Видимо программистам это в новинку, не рефлексируют и не ведают что творят. С результатами совершенно не так, как они ожидают, зато приятно. Взяли тупой матричный движок и вертят там многогранники. Плохо когда начальство тоже тупое. Смотрят дитятко взяло в одну руку икосаэдр, в другую додекаэдр, и радуются, что тот выглядит уже не футболистом, не гитаристом, и кошек не мучает. Взялося за ум.
[Ответ][Цитата]
гость
77.247.181.*
На: Реализация трехслойного персептрона
Добавлено: 13 июн 17 10:31
Цитата:
Автор: NO.

На меня однажды снизошло понимание, что больше 3 слоев не нужно.
Это смотря для чего, одно дело аппроксимация функций, с более менее ортогональными фичами, а другое всякие иерархические нагромождения, которых в нашем физическом мире пруд пруди и нужно их описать, тогда иерархия слоёв может и 20 быть нужна и 100
[Ответ][Цитата]
 Стр.1 (2): [1]  2След. > >>