Для ускорения может быть стоит изменить алгоритм обучения (сравните Ваши цифры по числу эпох с моими типичными для разных алгоритмов из статьи
www.neuropro.ru/mypapers/krasnneu04_1.pdf) и взять другую целевую функцию взамен метода наименьших квадратов (это для задачи классификации будет очень полезно, мои цифры в указанной статье как раз для специальной целевой функции - для МНК я бы их грубо увеличил в 2-3 раза). Также если учите в онлайн-режиме, т.е. с коррекцией после просмотра каждого примера выборки, то обязательно хорошо перемешайте примеры, чтобы примеры одного и того же класса не шли большими последовательными группами (на каждой эпохе перемешивать примеры заново не обязательно - можно просто с самого начала их достаточно хорошо перемешать).
Далее, если ставите ограничения на значения весов синапсов сети (например, запрещаете им вылезать вне диапазона [-1,1] по каким-то практическим соображениям) - то ограничения снимите. Также сравните время обучения (среднее число эпох) сетки текущего размера с сеткой на 5-10 нейронов больше - может, просто размера сети немножко не хватает для задачки.
Что цифра нераспознанных примеров может увеличиваться - нестрашно, такое случается всегда и везде даже на фоне уменьшения значения суммарного критерия (суммарной по выборке целевой функции).
--------------------------
нейронные сети, анализ данных, прогнозирование