GotAI.NET

Форум: Проблемы искусственного интеллекта

 

Регистрация | Вход

 Все темы | Новая тема Стр.1 (1)   Поиск:  
 Автор Тема: Киньте ссылки на живые форумы по нейросетям, есть вопрос про цикличность
iГость
Сообщений: 88
Киньте ссылки на живые форумы по нейросетям, есть вопрос про цикличность
Добавлено: 08 июн 19 15:54
Изменено: 08 июн 19 16:06
Есть такой вопрос: Задача регрессии. какой должна быть структура сети, если она будет полносвязной, что бы научить сеть запоминать цикличность, т.е.
вот такой вход:
x = torch.linspace(2.0, 21.0, N_SAMPLES).view(N_SAMPLES, -1)
y = torch.tensor([[5.0],[20.0],[5.0],[20.0],[5.0],[20.0],[5.0],[20.0],[5.0],[20.0],[5.0],[20.0],[5.0],[20.0],[5.0],[20.0],[5.0],[20.0],[5.0],[20.0]])

вот такая сеть в целом может научиться это запоминать, но если подавать значения больше 21 то сеть уходит в небо или в пол, какую нужно структуру, что бы сеть смогла запомнить цикличность
N_HIDDEN = 200
net_overfitting = torch.nn.Sequential(
torch.nn.Linear(1, N_HIDDEN),
torch.nn.ReLU(),
torch.nn.Linear(N_HIDDEN, N_HIDDEN),
torch.nn.ReLU(),
torch.nn.Linear(N_HIDDEN, N_HIDDEN),
torch.nn.ReLU(),
torch.nn.Linear(N_HIDDEN, N_HIDDEN),
torch.nn.ReLU(),
torch.nn.Linear(N_HIDDEN, N_HIDDEN),
torch.nn.ReLU(),
torch.nn.Linear(N_HIDDEN, 1),
)





хотя могу предположить, что саму задачу нужно как-то по другому поставить...
[Ответ][Цитата]
Михайло
Сообщений: 2251
На: Киньте ссылки на живые форумы по нейросетям, есть вопрос про цикличность
Добавлено: 09 июн 19 0:29
Изменено: 09 июн 19 0:31
Ответь на вопрос: что такое цикличность? Что значит "запомнить цикличность"?

На собачьем языке вроде понятно, что ты хочешь сделать, но на русском языке нифига.

Нейронная сеть - это есть функция, у которой на входе что-то, на выходе что-то (число при регрессионной задаче). Куда твою "цикличность" засунуть? Что у тебя за данные? Что на выходе? Прежде чем научиться объяснять компьютеру задачу, надо научиться её же объяснять на русском языке. С применением математического языка, если это необходимо.

Нельзя ожидать от интеллекта решения некой задачи экстраполяции при отсутствии исходных данных. Это типа закон сохранения информации, он не нарушается даже в случае фантастического СИИ. Если ты обучал нейросеть на значениях x=0...21, то на значениях x=22 и более она будет работать фигово и хуже, чем дальше по оси x. Ну это ж понятно??

Да и вообще какое отношение к цикличности имеет абсолютное значение величины x? В определении периодической функции говорится: "для любого x", что означает "да мне пофигу на величину x":

Альтернативная формулировка задачи (правильная):
Другое дело, если нейросети показывать, допустим, три-четыре значения и затем показывать последующее значение (прогноз). Тогда она в принципе способна обнаружить цикличности/периодичности и не только. Более того, нейросеть способна обнаруживать ЛЮБЫЕ закономерности между соседними значениями.
[Ответ][Цитата]
гость
5.35.30.*
На: Киньте ссылки на живые форумы по нейросетям, есть вопрос про цикличность
Добавлено: 09 июн 19 1:57
А не разложить ли вашу периодичность в ряд Фурье?
[Ответ][Цитата]
iГость
Сообщений: 88
На: Киньте ссылки на живые форумы по нейросетям, есть вопрос про цикличность
Добавлено: 09 июн 19 3:33
Про несколько параметров я то же думал, я надеялся, что с несколькими слоями система сама эти правила сможет усвоить. Но судя по экспериментам не смогла.

Про ряд фурье не понял, как его сети кормить?
[Ответ][Цитата]
ip178
Сообщений: 104
На: Киньте ссылки на живые форумы по нейросетям, есть вопрос про цикличность
Добавлено: 09 июн 19 4:01
iГость, форумов по нейросетям не встречал, есть слабопосещаемые форумы специфичных нейросетей, иногда проскакивают темы на форумах по общему программированию, но как правило, там всё внимание уйдёт на вспомагательный код, миную архитектуру нейросети.

Под цикличностью ты подразумеваешь "неприрывную работу нейросети"? Если да то есть самый простой и наименее эффективный вариант,- часть выходных нейронов, одновременно является и частью входных. Второй вариант, описывать нет смысла ибо там нужно самому писать нейросеть, те не пользоваться заготовками.
[Ответ][Цитата]
iГость
Сообщений: 88
На: Киньте ссылки на живые форумы по нейросетям, есть вопрос про цикличность
Добавлено: 09 июн 19 4:07
Цитата:
Автор: ip178
Под цикличностью ты подразумеваешь "неприрывную работу нейросети"? Если да то есть самый простой и наименее эффективный вариант,- часть выходных нейронов, одновременно является и частью входных. Второй вариант, описывать нет смысла ибо там нужно самому писать нейросеть, те не пользоваться заготовками.


Нет, не работу нейросети, а именно то, что бы сеть "усвоила" принцип данных, другой вариант данных была бы Синусоида. Я думал, что внутри слоев данное правило, как-то определится, но судя по всему, как заметил "Михайло" нужно реально давать несколько входных параметров в виде всего цикла, нужно попробовать.
[Ответ][Цитата]
гость
5.35.30.*
На: Киньте ссылки на живые форумы по нейросетям, есть вопрос про цикличность
Добавлено: 09 июн 19 5:16
Цитата:
Автор: iГость
Про ряд фурье не понял, как его сети кормить?

Никак. Нейросети сама по себе. Ряд Фурье - сам по себе.
Нейросети - это сегодняшняя "прелесть" современных "алхимиков". Они хотят при помощи ее иметь ключик от всех дверей. Но нейросети решает только ограниченный класс задач. Свой класс задач аппроксимации / интерполяции решает Фурье. Именно периодических.
[Ответ][Цитата]
гость
5.35.30.*
На: Киньте ссылки на живые форумы по нейросетям, есть вопрос про цикличность
Добавлено: 09 июн 19 5:20
Хотя... Получите спектр исходного сигнала при помощи преобразования Фурье. А сам спектр обработайте нейросеткой. Что-то путное должно получиться.
[Ответ][Цитата]
гость
5.35.30.*
На: Киньте ссылки на живые форумы по нейросетям, есть вопрос про цикличность
Добавлено: 09 июн 19 5:23
Так же приглядитесь к N-мерному преобразованию Фурье.
[Ответ][Цитата]
ip178
Сообщений: 104
На: Киньте ссылки на живые форумы по нейросетям, есть вопрос про цикличность
Добавлено: 09 июн 19 5:29
Нейросеть не обладает памятью, так что усвоить цикл, она не сможет. Разве что адаптируется на цикл с постоянным числом итераций, при большом количестве средних слоёв. Да и вангую, что точность не привысит 75%
[Ответ][Цитата]
sma63
Сообщений: 708
На: Киньте ссылки на живые форумы по нейросетям, есть вопрос про цикличность
Добавлено: 09 июн 19 9:50
Изменено: 09 июн 19 9:52
Как так не обладает памятью!? А где же она, если не в памяти накапливает и хранит результат обучения? Наверно сегодня чета с погодой, народ городит всякий бред
[Ответ][Цитата]
Михайло
Сообщений: 2251
На: Киньте ссылки на живые форумы по нейросетям, есть вопрос про цикличность
Добавлено: 09 июн 19 10:18
Нейросеть может генерировать несуществующие лица, а вы тут толкуете про невозможность "обнаружить и запомнить цикличность".
[Ответ][Цитата]
ip178
Сообщений: 104
На: Киньте ссылки на живые форумы по нейросетям, есть вопрос про цикличность
Добавлено: 09 июн 19 10:23
sam63, возможно я несовсем точно выразился. Нейросеть не обладает динамичной памятью. Память результатов обучения, закостенелая неизменчивая система. И вот эта память не сможет определить что в одной ситуации нужно вести себя так, в другой иначе.

Дообучение, как неприрывный процесс, в результате которого образуется некая динамичность не рассматривается, так как этот процесс куда сложнее простого проектирования нейросети. Ну и как показывает практика, зачастую регулярное дообучение, при ограничености ресурсов, ведёт к ухудшению результатов.
[Ответ][Цитата]
гость
5.35.30.*
На: Киньте ссылки на живые форумы по нейросетям, есть вопрос про цикличность
Добавлено: 09 июн 19 17:13
Так тут уже не раз говорилось, что нейросети не панацея. Она способна решать только определенный пласт задач. На мой скромный взгляд, нейросети - тупиковая ветвь. На данном этапе от нее больше вреда чем пользы в силу завышенных ожиданий и нежелания видеть природу явления.
[Ответ][Цитата]
Дмитрий Стволовой
Сообщений: 201
На: Киньте ссылки на живые форумы по нейросетям, есть вопрос про цикличность
Добавлено: 10 июн 19 8:27
Цитата:
Автор: iГость

Есть такой вопрос: Задача регрессии. какой должна быть структура сети, если она будет полносвязной, что бы научить сеть запоминать цикличность, т.е..............
............................
.............
...
.

хотя могу предположить, что саму задачу нужно как-то по другому поставить...
Mlp(нейросеть), как собчно и лес и kNN, прекрасно запоминает цикличность, синусоиду вполне корректно воспроизводит если подавать N предыдущих значений. В чем Ваш вопрос не совсем ясно.
[Ответ][Цитата]
 Стр.1 (1)