Форум: Проблемы искусственного интеллекта

Регистрация | Вход

Все темы | Новая тема  Стр.6 (8) << < Пред. | След. > >>    Поиск:
Автор	Тема: На: Быстрые эвристики оценки сложности данных для классификации
Victor G. Tsaregorodtsev Сообщений: 3187	На: Быстрые эвристики оценки сложности данных для классификации Добавлено: 11 июл 16 8:08 Цитата: Автор: NO. Но там наверно не обратное распространение. Именно обратное распространение. Оно может обучать нейронку с любым числом скрытых слоёв (а не только с единственным - как в качестве примеров приводят в плохих учебниках) - при условии однократной непрерывной дифференцируемости нелинейных функций нейронов и целевой функции. Есть, правда, и методы предварительной послойной (или только у первого слоя) неслучайной инициализации весов - но потом всё равно многослойная нейронка доучивается целиком. [Ответ][Цитата]
NO. Сообщений: 10700	На: Быстрые эвристики оценки сложности данных для классификации Добавлено: 11 июл 16 8:37 Цитата: Автор: Victor G. Tsaregorodtsev Именно обратное распространение. Действительно, этого и следовало ожидать. Когда я с нейросетевиками говорю, всегда такое ощущение, что пытаюсь разобрать двигатель в машине, на которой они со страшной скоростью едут. А они меня стараются парами бензина одурманить и потом самого запихать в топливный бак, чтобы и я приносил пользу. [Ответ][Цитата]
гость 163.172.152.*	На: Быстрые эвристики оценки сложности данных для классификации Добавлено: 11 июл 16 9:38 Цитата: Автор: NO. Действительно, этого и следовало ожидать. Когда я с нейросетевиками говорю, всегда такое ощущение, что пытаюсь разобрать двигатель в машине, на которой они со страшной скоростью едут. А они меня стараются парами бензина одурманить и потом самого запихать в топливный бак, чтобы и я приносил пользу. обратное распространение не каждый может запрограммировать, самому без подсказок, это экзамен на ИИ-шника, не всем это дано [Ответ][Цитата]
NO. Сообщений: 10700	На: Быстрые эвристики оценки сложности данных для классификации Добавлено: 11 июл 16 10:19 Да это только общий метод, в конкретных приложениях это совсем небольшая часть. А по-хорошему понять его трудно. Как например в надежной передаче сигналов есть простые модели помех и хитрые способы борьбы с ними. Но если взять виды помех посложнее тут сразу возникает грандиозная проблема. Не получается понемножку расширять тему. С ИИ бывают ситуации, когда для создания какого-то частного метода нужен готовый работающий ИИ. Говорят "ИИ-полная задача". [Ответ][Цитата]
● Сообщений: 106	На: Быстрые эвристики оценки сложности данных для классификации Добавлено: 11 июл 16 10:35 Цитата: Автор: гость обратное распространение не каждый может запрограммировать, самому без подсказок, это экзамен на ИИ-шника, не всем это дано Цитата: Автор: NO. Да это только общий метод, в конкретных приложениях это совсем небольшая часть. А по-хорошему понять его трудно. Как например в надежной передаче сигналов есть простые модели помех и хитрые способы борьбы с ними. Но если взять виды помех посложнее тут сразу возникает грандиозная проблема. Не получается понемножку расширять тему. С ИИ бывают ситуации, когда для создания какого-то частного метода нужен готовый работающий ИИ. Говорят "ИИ-полная задача". что же такого сложного в бэкпропагации? Тоже что и прямой проход только ошибка движется в обратную сторону. Программировать нужно чуть более внимательно чем "helloworld" но сам алгоритм простой [Ответ][Цитата]
гость 212.7.192.*	На: Быстрые эвристики оценки сложности данных для классификации Добавлено: 11 июл 16 10:56 Цитата: Автор: гость не каждый может запрограммировать цель - ЛЮБИТЬ И БЫТЬ ЛЮБИМЫМ, написание алгоритмов слишком косвенно ведёт к этой цели, проще попытаться сделать политическую карьеру или менеджером каким нибуть стать, продавцом на худой конец [Ответ][Цитата]
NO. Сообщений: 10700	На: Быстрые эвристики оценки сложности данных для классификации Добавлено: 11 июл 16 11:08 – И очень просто, – пролаял Шариков от книжного шкафа. Он вглядывался в галстук, отражавшийся в зеркальной бездне. – Я бы очень просил вас, – огрызнулся Филипп Филиппович, – не вмешиваться в разговор. Вы напрасно говорите «и очень просто» – это очень не просто. [Ответ][Цитата]
Victor G. Tsaregorodtsev Сообщений: 3187	На: Быстрые эвристики оценки сложности данных для классификации Добавлено: 12 июл 16 6:27 Цитата: Автор: NO. А по-хорошему понять его трудно. Это потому, что кривоучебники и подавляющий объём описаний в интернете - не разделяют две вещи. Обратное распространение - это не более чем реализация известного со школы цепного правила дифференцирования сложной функции. Просто для каждой производной мы в этом случае не выписываем своё отдельное аналитическое выражение и потом не вычисляем это выражение в отрыве от других - а работаем с графом, представляющим структуру этой сложной функции, идя по нему в обратном направлении и не дублируя вычисления в узлах графа (операция в каждом узле делается однократно - в то время, как при аналитической записи какие-то пары одинаковых множителей могли бы входить в кучу выражений для производных). И всё. Всё, что затем делается с вычисленным вектором градиента для обучения сети - это никакое не обратное распространение, а применение какого-то математического метода градиентной оптимизации или стохастической аппроксимации. Соответственно, те или иные вопросы про скорость сходимости, проблемы с локальными минимумами, и т.д. - относятся не к нейросети и не к обратному распространению, а к взятому методу оптимизации, которым обучаем нейросетку и которому пофиг, как и с какой точностью градиент получен (хоть быстро и точно - бэкпропом, хоть медленно и неточно - через первые разности). А производные, вычисленные бэкпропом, можно использовать не только для обучения - но и для определения информативности элементов и/или сигналов в обученной сети (беря за меру информативности разложение в ряд Тейлора с точностью до первой производной: и поэтому чем больше выходит значение производной - тем больше будет влияние малых колебаний значения этого элемента или сигнала на выход сети или на целевую функцию (в зависимости от того, частную производную чего считаем)). [Ответ][Цитата]
● Сообщений: 106	На: Быстрые эвристики оценки сложности данных для классификации Добавлено: 12 июл 16 7:26 Цитата: Автор: NO. А по-хорошему понять его трудно. А Вы для начала начните с одного нейрона(взвешенной суммы сжатой гипертангенсом). Вектор на входе скаляр на выходе, если есть ошибка(выход минус требуемое значение) то очевидно к весам нужно прибавить вход умноженный на какой то коэффициент, так как если весами будут нормализованный вход получим максимум сразу. Но если нейронов много и много слоёв, то ошибка приходит от следующего слоя как взвешенная сумма ошибок следующего слоя на веса этого нейрона к следующему слою, это также очевидно так как если нейрон ошибся, то он может повлиять пропорционально своему весу на следующий нейрон. То есть грубо говоря вычисляется ошибка на последнем слое, а затем на предыдущем слое она получается как взвешенная сумма ошибок следующего слоя на соответствующие веса, коррекция весов происходит с учетом производной сжимающей функции(умножаем на неё), таким образом в "нейроне" как бы два набора весов(входных и выходных) и два скалярных произведения, входа на входные веса и ошибок следующего слоя на выходные веса, а также операция коррекции весов вот здесь разобрано "на пальцах" даже rrr3 сможет закодить в экселе, не обязательно использовать миварные технологии ТАСО и AIDEUS [Ответ][Цитата]
NO. Сообщений: 10700	На: Быстрые эвристики оценки сложности данных для классификации Добавлено: 12 июл 16 8:55 Изменено: 12 июл 16 8:57 Мне было бы проще посмотреть на картинки. Что вот такие классы для человека выглядят сложными, а нейросеть их хорошо делит. Вот такие для человека простые, а нейросеть их не разделяет, вместо этого видит вот такими. Вроде самое очевидное желание, увидеть что метод делает, прежде чем изучать как он это делает. Есть же разница "что" и "как". И ответ на вопрос "как" без ответа на вопрос "что", для меня информация довольно странная. Компьютеру этого хватает, а мне нет. Что метод должен делать я знаю из постановки задачи. Но это он должен, а что он делает? Не известно. В объяснениях метода я думаю нейроны упрощены до предела, чтобы продемонстрировать принцип работы обучения. А у более сложных нейронов и ошибки будут другие. И прогнать их назад не проще, чем из фарша получить поросёнка. Да и с обычным методом возникают вопросы. Например для меня (+0,1) и (+0,9-0,8) это две большие разницы. Вот чего они имели ввиду, когда явный разнобой объединяют в один маленький коэффициент? [Ответ][Цитата]
● Сообщений: 106	На: Быстрые эвристики оценки сложности данных для классификации Добавлено: 12 июл 16 10:02 Цитата: Автор: NO. Мне было бы проще посмотреть на картинки. Что вот такие классы для человека выглядят сложными, а нейросеть их хорошо делит. картинок полно в нете и видео http://tjo-en.hatenablog.com/entry/2014/01/06/234155 [Ответ][Цитата]
NO. Сообщений: 10700	На: Быстрые эвристики оценки сложности данных для классификации Добавлено: 12 июл 16 10:32 Мне такие модели не нравятся. Ну можно эти линии провести, математика на уровене 7 класса школы. Только на кой они нужны такие. Вас вообще не смущает, когда от килобайта данных остается кривая, описываемая всего лишь тремя числами? Может конечно задачи такие, разделить рассыпаные гречку и горох. Но иногда информация дорого стоит. [Ответ][Цитата]
● Сообщений: 106	На: Быстрые эвристики оценки сложности данных для классификации Добавлено: 12 июл 16 11:00 Изменено: 12 июл 16 11:52 Цитата: Автор: NO. Мне такие модели не нравятся. Ну можно эти линии провести, математика на уровене 7 класса школы. Только на кой они нужны такие. Вас вообще не смущает, когда от килобайта данных остается кривая, описываемая всего лишь тремя числами? Может конечно задачи такие, разделить рассыпаные гречку и горох. Но иногда информация дорого стоит. ну Вы хотели "картинку" то есть 2д, так оно в 2д выглядит, но нет проблем любое количество измерений ПЕРЕсечь 2д плоскостью и посмотреть структуру данных, если нужна наглядность А задачи бываают разные, посмотрите на кагле например, иногда лимон$ могут заплатить и по всякому бывает, иногда данных много а никто пока не сообразил как из них извлечь профит или его максимизировать, а иногда известно как но нет данных или они очень дорогие, но чаще первое, причем в неявном виде, то есть есть данные но не поставленна задача [Ответ][Цитата]
NO. Сообщений: 10700	На: Быстрые эвристики оценки сложности данных для классификации Добавлено: 12 июл 16 11:47 Изменено: 12 июл 16 11:56 2d плоскость рассекает только 3d, а в больших размерностях нужны и многомерные рассекатели. Например 4d это наше пространство плюс цвет. В нем есть плоскость некоторого цвета. Мы к ней подходим, меняем цвет и проходим сквозь нее, цвет у нас другой и значит в 4d мы эту плоскость не задеваем, мы её просто обошли по 4й размерности. Чтобы наша точка наткнулась на одну из точек плоскости там должна быть точка, совпадающая по всем параметрам с нашей, а они там все другого цвета, поэтому наша точка проходит мимо, хотя в проекции на 3d кажется, что прошла сквозь. И "половинки" пространства по обе стороны плоскости это одна связная область, а не две. А вот 3D пространство рассекает 4-мерное на две части. [Ответ][Цитата]
● Сообщений: 106	На: Быстрые эвристики оценки сложности данных для классификации Добавлено: 12 июл 16 11:51 Цитата: Автор: NO. 2d плоскость рассекает только 3d, а в больших размерностях нужны и многомерные рассекатели. Например 4d это наше пространство плюс цвет. В нем есть плоскость некоторого цвета. Мы к ней подходим, меняем цвет и проходим сквозь нее, цвет у нас другой и значит в 4d мы эту плоскость не задеваем. А вот 3D пространство рассекает 4-мерное на две части. сорри, ПЕРЕсечь, "пронзить", как 2д линия [Ответ][Цитата]
Стр.6 (8): 1  2  3  4  5  [6]  7  8 << < Пред. | След. > >>