Форум: Проблемы искусственного интеллекта

Регистрация | Вход

Все темы | Новая тема  Стр.2 (3) << < Пред. | След. > >>    Поиск:
Автор	Тема: На: многомерная интерполяция и аппроксимация на основе теории случайных функций
mserg Сообщений: 258	На: многомерная интерполяция и аппроксимация на основе теории случайных функций Добавлено: 05 сен 09 15:01 Если я правильно понял, то результирующая функция будет содержать столько же слагаемых, сколько и обучающих примеров? Для моей задачи важна не только точность, но и объем вычислений при использовании. Можно как-то ограничивать объем вычислений (количество слагаемых в результирующей функции?)? А лучше задавать самому компромисс между точностью и объемом вычислений при использовании? «Теория» того, что может хотеть пользователь здесь: http://np-soft.ru/downloads/automodel.zip Там множество опечаток и т.п., но идею «хотелок» пользователей понять можно. Данные можно попробовать следующие: 1.41421356237309, 2, 2, -1.38629436111989 0, 2, 2, -0.693147180559945 1.73205080756888, 3, 2, -2.07944154167984 0.577350269189626, 3, 2, -0.980829253011726 1.34164078649987, 5, 2, -1.85629799036563 0.447213595499958, 5, 2, -1.16315080980568 4.6475800154489, 9, 9, -19.775021196026 2.94448637286709, 5, 9, -7.43077482519168 0, 12, 2, -1.48905409507766 0.577350269189626, 12, 2, -1.64320477490492 1.73205080756888, 12, 2, -2.92413862036698 0.774596669241483, 15, 2, -1.87901501664986 0.447213595499958, 20, 2, -1.83146247640078 3.57770876399966, 20, 2, -8.61591953903842 4.47213595499958, 20, 2, -13.8629436111989 2.34216017507648, 4, 6, -4.86445278391817 2.84604989415154, 4, 11, -7.28899599819944 0, 4, 11, -2.79923666372267 2.74397736228014, 4, 101, -9.03979973591185 0, 8, 11, -3.12934194051656 1.21267812518166, 17, 2, -2.35998767726617 10, 100, 2, -69.3147180559945 9.8, 100, 2, -64.7095478700064 14.0714249456123, 100, 5, -156.338621057422 Первые три столбца – аргументы, последний – значение. [Ответ][Цитата]
holod Сообщений: 18	На: многомерная интерполяция и аппроксимация на основе теории случайных функций Добавлено: 07 сен 09 12:04 2 mserg да, результирующая функция будет содержать столько же слагаемых, сколько обучающих примеров. Сколько времени Вы можете выделить на обучение? Вычисления - это решение системы линейных уравнений. Если выборка небольшая, то все работает очень быстро. Но если взять достаточно большие выборки обучающих примеров, например порядка 10 тысяч... то работать с ней будет тяжело. Но если решать не "в лоб" то есть методики для работы с большими выборками. Сделать интерполяцию по представленной выборке не составляет труда. Но на чем это можно протестировать? Если мне дадите еще выборку для теста...? Для теста я попробовал исключить из представленной выборки 4-тый и 22-ой пример... обучил без них, затем подал их на обработку. В одном случае был ответ -1.026(правильный -0.98), в другом случае был ответ -68.4 (правильный -69.31). [Ответ][Цитата]
Slava Сообщений: 3070	На: многомерная интерполяция и аппроксимация на основе теории случайных функций Добавлено: 07 сен 09 13:55 holod 07 сен 09 12:04 [...Сделать интерполяцию по представленной выборке не составляет труда. Но на чем это можно протестировать?...] Мне кажется, это - главный вопрос, странным образом практически не затронутый в вашей работе. И при интерполяции и при обучении главным являются погрешности представления функции по области ее определеня, а не только в "обучающих" точках. Тестируя, вы по сути демонстрируете понимание этого, но никак это не учитываете в тех критериях, которые определяют качество получаемой вами интерполяции. [Ответ][Цитата]
holod Сообщений: 18	На: многомерная интерполяция и аппроксимация на основе теории случайных функций Добавлено: 07 сен 09 14:35 2 Slava мм.. но ведь тестовая выборка на то и тестовая, что она не должна учавствовать в самом обучении (не должна быть доступна для алгоритма обучения) и требуется для объективной внешней оценки результата... А внутри алгоритма считается что есть только обучающая выборка и выбирается оптимальная модель исходя только из данных этой выборки. [Ответ][Цитата]
Slava Сообщений: 3070	На: многомерная интерполяция и аппроксимация на основе теории случайных функций Добавлено: 07 сен 09 14:48 holod 07 сен 09 14:35 [...мм.. но ведь тестовая выборка на то и тестовая, что она не должна учавствовать в самом обучении (не должна быть доступна для алгоритма обучения) и требуется для объективной внешней оценки результата... А внутри алгоритма считается что есть только обучающая выборка и выбирается оптимальная модель исходя только из данных этой выборки...] Конечно, но вы там используете слова типа отсутствия оверфиттинга, оптимальности и т.п. Все это как-то предполагает имитацию контроля в обучении. Например - скользящий контроль Вайнцвайга и куча другого в этом же смысле. Все при этом направлено именно на получение экстраполируемого на неизвестное результата. В противном случае точное восстановление опорных точек представляет только лишь чисто академический интерес. И в этом смысле эта задача давным-давно и множеством способов уже решена. [Ответ][Цитата]
holod Сообщений: 18	На: многомерная интерполяция и аппроксимация на основе теории случайных функций Добавлено: 07 сен 09 15:48 2 Slava Все честно. В статье постулируется набор теоретических положений. Из которых выводится метод. Если согласиться с положениями, то по известным опорным точкам невозможно найти лучшее решение чем предложенное, в этом смысле метод оптимален. Но возможны варианты: 1. Не повезло с опорными точками, они были выбраны неудачно, например демонстрируя ложную закономерность которой на самом деле нет. (В этом случае, без проведения теста не поможет никакой метод). 2. Теоретические положения, из которых выведен метод при решаемой задаче не выполняются (но исходно как-то оценить это не представляется возможным). Возможно в большинстве реальных задач так оно и есть, но это еще не значит что предлагаемый метод также нельзя с успехом применять для их решения (пусть теоретически и существует более оптимальный алгоритм). Поэтому естественно, что полученный результат всегда нуждается в дополнительной проверке. Вычислить какую-то функцию, проходящую через набор известных точек не сложно. Пример: интерполяционный многочлен Лагранжа. Но результаты применения, например многочлена Лагранжа, и предложенного метода отличаются принципиально. [Ответ][Цитата]
Slava Сообщений: 3070	На: многомерная интерполяция и аппроксимация на основе теории случайных функций Добавлено: 07 сен 09 16:12 holod 07 сен 09 15:48 [...Все честно. В статье постулируется набор теоретических положений. Из которых выводится метод. Если согласиться с положениями, то по известным опорным точкам невозможно найти лучшее решение чем предложенное, в этом смысле метод оптимален...] Я это понимаю, но хорошо бы именно это и сказать в аннотации и введении, забыв про обучение. Кроме того, и в инерполяционных задачах близость в опорных точках - частный случай. Например, приближая кривую ломаной, используют критерии близости не только в опорных точках. Таков общий подтект интерполяционных задач. Т.е. и по отношению к интерполяции вы тоже рассматриваете частный случай. Следовало бы и об этом тоже ясно сказать. На мой взгляд, если ограничиться только этим, то в предложенном вами реальной пользы я не вижу, если иметь в виду задачи типа распознавательских. Но мне кажется, что вы могли бы, если действительно эта область вас интересует, доработать ваш подход, чтобы распространить его и на более интересные случаи. Удачи [Ответ][Цитата]
holod Сообщений: 18	На: многомерная интерполяция и аппроксимация на основе теории случайных функций Добавлено: 07 сен 09 17:12 2 Slava Прочитав последнее сообщение я только запутался. Приближение кривой с помощью ломаной - это ведь совсем другая задача. Вы не против обсудить более конкретно? Когда Вы говорите что не видите реальной пользы или что подобные задачи давно решены наверно это подразумевает что Вы сравниваете предлагаемый метод с каким-то другим? Вы можете назвать другие методы, с какими сравниваете, тогда возможно мы сможем конкретно обсудить в сравнении? Все что я знаю в этой области говорит мне о другом. [Ответ][Цитата]
Slava Сообщений: 3070	На: многомерная интерполяция и аппроксимация на основе теории случайных функций Добавлено: 07 сен 09 17:27 Я говорил всего лишь об интерполяции и интерполяциионных методах, которых в классике - пруд пруди. Если бы вы не выходили за рамки проведения функции через заданные n точек, не оговаривая при этом ничего иного, то я не стал бы и влезать со своим пониманием, но вы по сути решаете иную задачу, и тут возникает нестыковка. Странно, что пример с интерполяцией гладкой кривой вызвал у вас непонимание. [Ответ][Цитата]
holod Сообщений: 18	На: многомерная интерполяция и аппроксимация на основе теории случайных функций Добавлено: 08 сен 09 10:54 2 Slava Просто я думаю что когда у нас уже задана кривая целиком (а не набор узлов) и требуется приблизить ее с помощью кусочной функции это несколько иная задача. Интерполяционные методы в классике. Что Вы имеете в виду? Линейную или нелинейную регрессию? Интерполяционный многочлен Лагранжа или интерполяцию сплайнами? Но некоторые методы хоть и кажутся универсальными но или сугубо одномерные или на практике могут быть применены лишь для самых примитивных случаев интерполяции (как например многочлен Лагранжа, хотя приводится во всех книгах по численным методам). Я понимаю что методов пруд пруди, есть общая формулировка, а в качестве функций для линейной комбинации или в качества нелинейной регрессионной модели можно взять что угодно по выбору исследователя. Но если перейти от общего к частному? Дайте мне надежный, универсальный метод, который мог бы взять любой инженер, не обладающий какими-то особыми математическими знаниями и не задумываясь применять для решения самых различных задач интерполяции или аппроксимации? В одномерном случае можно пользоваться интерполяцией сплайнами. С выходом в многомерное пространство все заметно усложняется. Причем методы аппроксимации идут отдельно. В предложенном же методе - единая система линейных уравнений, никаких кусочных функций и склеиваний, интерполяция и аппроксимация в одном - как частные случаи. Плюс хорошая теоретическая основа, доказательство оптимальности при известных теоретических допущениях. Кроме того, взгляните на Рис.17, Рис.19 (или особенно задачу с рисунками 20-21). Я не знаю ни одного другого метода, способного выполнять подобное. Теперь если уйти от классики. Перейдем к машинному обучению. Наверно ведь все эти алгоритмы искусственных нейронных сетей и прочее возникли не от хорошей классической жизни? Давайте опять же проведем конкретное сравнение. Возьмем один из самых известных алгоритмов, считающегося алгоритмом машинного обучения - многослойная нейронная сеть с обратным распространением ошибки. Предлагаемый метод позволяет сделать все то же что может подобная нейронная сеть, но делает это все на много эффективнее и проще, кроме того имеет гораздо лучшее теоретическое основание. Почему тогда его нельзя назвать методом машинного обучения? [Ответ][Цитата]
Slava Сообщений: 3070	На: многомерная интерполяция и аппроксимация на основе теории случайных функций Добавлено: 08 сен 09 13:37 Ладно, я сказал, что думаю. Вижу, что вы думаете иначе. Бог в помощь [Ответ][Цитата]
holod Сообщений: 18	На: многомерная интерполяция и аппроксимация на основе теории случайных функций Добавлено: 09 сен 09 9:35 2 Slava Цитата: Бог в помощь Благодарю. Цитата: Но мне кажется, что вы могли бы, если действительно эта область вас интересует, доработать ваш подход, чтобы распространить его и на более интересные случаи. Предположим, допустим я не прав, правы Вы. Что Вы имели в виду под интересными случаями? [Ответ][Цитата]
Slava Сообщений: 3070	На: многомерная интерполяция и аппроксимация на основе теории случайных функций Добавлено: 09 сен 09 16:51 holod 09 сен 09 9:35 [...Предположим, допустим я не прав, правы Вы. Что Вы имели в виду под интересными случаями?...] Все, что реально связано с обучением распознаванию, т.е. поиском законов, экстраполируемых на новое. В частности, в рамках рассматриваемых вами задач наиболее интересно, с моей точки зрения, все то, что лежит вне опорных точек. И вот если бы там вам удалось что-то оптимизировать, было бы очень хорошо. В частности, и проблема оверфиттинга при этом обретет для вас новый смысл [Ответ][Цитата]
Max Payne Сообщений: 4	На: многомерная интерполяция и аппроксимация на основе теории случайных функций Добавлено: 25 сен 09 10:50 Хотел бы понять алгоритм на примере. Рассмотрим одномерный случай: есть выборка измерений - (xi, yi), i = 1, 2, ... N, yi = f(xi) + wi, wi - равномерно распределённая на отрезке [-0.5, 0.5] случайная величина. Нужно ли как-то подготовить данные для запуска алгоритма или требуется просто правильно оценить параметры t и n? [Ответ][Цитата]
holod Сообщений: 18	На: многомерная интерполяция и аппроксимация на основе теории случайных функций Добавлено: 28 сен 09 10:04 2 Max Payne Насколько я понял, имеется в виду одномерная аппроксимация, а wi - это случайная величина(шум) в имеющихся данных? Если распределение шума одинаково во всех рассматриваемых узлах, то необходимо вычислить его среднеквадратическое отклонение и приравнять Sm (если шум распределен неравномерно в области аппроксимации, то это также можно учесть через Sm(x)). (сам метод выведен для случая когда шум имеет нормальный закон распределения, но я думаю с практической точки зрения может быть исопльзован и при других случаях) Параметры t и n - их необходимо просто взять большими величинами по сравнению с диапазоном изменения xi. Например нормализовать значения xi - приведя их в диапазон [-1 1] а t взять в диапазоне 10^5 - 10^6, n - в диапазоне 10^3 - 10^6 (тут необходимо главное смотреть чтобы хватило точности вычисления компьютера, при типе double думаю все будет без проблем) Что действительно необходимо правильно оценить для случая аппроксимации - это калибровочный коэффициент Ck. В статье приведен вариант его вычисления через априорно оцененную дисперсию - можно воспользоваться этим вариантом оценки Ck. Можно поэкспериментировать с этим коэффициентом. При его увеличении получится - интерполяция, с уменьшением - функция будет сильнее "сглаживаться" за счет большего учета возможного шума. [Ответ][Цитата]
Стр.2 (3): 1  [2]  3 << < Пред. | След. > >>