>Максимальная среднеквадратическая погрешность 0.01
Это на самом "трудном" обучающем примере? Т.е. сетка всю обучающую выборку правильно классифицирует? И как это значение считалось - в ходе эпохи обучения или все-таки на отдельной эпохе тестирования сети?
Распознаются те же самые буквы, что были в обучающей выборке, или иные начертания (фонты,размеры, жирность) букв? Здесь в первом случае - баг в программе, во втором случае - скорее всего простая недостаточность объема обучающей выборки.
Учите пакетным (batch) режимом, а не попримерным обучением - т.к. скорее всего обучающая выборка действительно мала,
Тестируйте обучение и работу сети на других задачах из разряда стандартных тестовых (там, где известно, какую в среднем ошибку тестирования дают сетки того или иного размера).
--------------------------
нейронные сети, анализ данных, прогнозирование