GotAI.NET

Форум: Проблемы искусственного интеллекта

 

Регистрация | Вход

 Все темы | Новая тема Стр.4 (19)<< < Пред. | След. > >>   Поиск:  
 Автор Тема: На: ML battle
mserg
Сообщений: 255
На: ML battle
Добавлено: 14 янв 15 5:32
Кстати, о птичках...
Я обманул насчет Kaggle. Возможности для организации бесплатного соревнования все-таки есть.
http://www.kaggle.com/wiki/KaggleInClass
[Ответ][Цитата]
NO.
Сообщений: 10700
На: ML battle
Добавлено: 14 янв 15 5:48
про немыслимое много в религиях
Франк С Л Непостижимое (Онтологическое введение в философию религии)
[Ответ][Цитата]

Сообщений: 105
На: ML battle
Добавлено: 14 янв 15 7:11
Цитата:
Автор: Slava

экстраполяция позволяет выдвигать гипотезы о качественно новом

вы в этом настолько уверены, что и доказать сможете?
Да, уверен.

Ну, на самом деле всё дело в функции восстановления плотности по выборке, эксрта\интерполяция различаются только фактором так сказать «открытости» который полностью зависит от метрики и функции плотности. Возьмём к примеру метод к-средних как самый наглядный.

Разве есть фундаментальное отличие в областях открытых или ограниченных?

Такой пример как максимально наглядный, но всё тоже для любых других способов получить «новые» данные «между» или «за» а весь ML именно это и делает.

Нет на самом деле «новых», а тем более «фундаментально» попросту нет, есть функции от старых.

[Ответ][Цитата]

Сообщений: 105
На: ML battle
Добавлено: 14 янв 15 7:27
кроме того и функции тоже не с потолка а рафинированный вид "старых" данных
[Ответ][Цитата]
Slava
Сообщений: 3070
На: ML battle
Добавлено: 14 янв 15 8:30
Цитата:
Автор: ●

Ну, на самом деле всё дело в функции восстановления плотности по выборке, эксрта\интерполяция различаются только фактором так сказать «открытости» который полностью зависит от метрики и функции плотности. Возьмём к примеру метод к-средних как самый наглядный.


все связано с областью определения
итер - внутри
экстра - вне
ваши к-соседей прекрасно работают внутри, а как с ними обстоит дело вне
для простоты рассмотрите какой-нибудь процесс
например - тот же биржевой
и как вам там интерполяция для прогноза сгодится

Цитата:
Нет на самом деле «новых», а тем более «фундаментально» попросту нет, есть функции от старых.


ну почему же? - новые сенсоры поставляют новые данные, включая и фундаментально новые, связанные с поиском скрытых закономерностей в уже известном
[Ответ][Цитата]
Эгг
Сообщений: 13020
На: ML battle
Добавлено: 14 янв 15 9:13
На самом деле, существует простое фундаментальное правило:
все универсальное не эффективно, всё эффективное не универсально.
Поэтому для каждого типа задач и данных необходимо находить свое решение.
Другое дело, что при хорошей библиотеке такое решение удается скомпоновать из более-менее типовых инструментов. Другое дело, что при хорошей методологии, всегда есть стандартные подходы, позволяющие выявить особенности фактуры и найти адекватный метод очень быстро.
Но (еще раз) Грааль не в универсальности инструментов, Грааль в способности эффективного нахождения наиболее адекватного решения.
[Ответ][Цитата]
mserg
Сообщений: 255
На: ML battle
Добавлено: 14 янв 15 23:53
Изменено: 14 янв 15 23:58
Цитата:
Автор: Калитеран

Можете взять инициативу на себя, если знаете как там всё устроено. Топик стартер наверно сам не представлял, как и что организовывать, обозвал всех студентами и обиделся.

А посостязаться было бы интересно.

А смысл самим что-то делать? Можно найти что-нибудь подходящее. Обычно, когда соревнование заканчивается, данные соревнования можно скачать и результаты класть на Kaggle - система покажет результат. По доске лидеров можно понять, примерно каков ваш результат в сравнении с остальными.

На данный момент есть соревнование, в принципе, подходящее (закончится через 25 дней)
http://www.kaggle.com/c/avazu-ctr-prediction
* регистрируетесь
* система может потребовать подтверждение через SMS - за номер телефона можно не бояться

Переходите на
http://www.kaggle.com/c/avazu-ctr-prediction
Все операции на панели слева.
* Сначала смотрите все разделы Information. Важно обратить внимание на Timeline - может быть ограничена дата первого постинга
* На закладке Data изучаете структуру данных и скачиваете их
* Делаете прогноз и кладете через "Make Submission" - система подсчитает estimation и откроет leaderboard - вы там будете на каком-то месте. Не очень высоком
* Если есть вопросы - там есть форум. Некоторые выкладывают готовые скрипты для начинающих. В конце соревнования рассказывают об идеях.

Как это не смешно, соревновательное обучение - очень эффективное и веселое занятие.
И при этом понимаешь свое место пространственно-временном континууме. Конечно, большая часть из зарегистрированных - это начинающие. Но есть и действующие аналитики а даже целевые научные лаборатории. Если попадете в топ 10% соревнующихся - это хороший результат.
[Ответ][Цитата]
Victor G. Tsaregorodtsev
Сообщений: 3187
На: ML battle
Добавлено: 15 янв 15 4:26
Цитата:
Автор: ●
Возьмём к примеру метод к-средних как самый наглядный.

Это только для Ллойдовского варианта к-средних.
Ллойд плох тем, что при адаптации, когда проходит перераспределение примеров по кластерам, центр кластера, в который ранее попал некоторый пример, является для этого примера смещённой оценкой (центр уже включает влияние этого примера, и расстояние вычисляется от примера до этой смещённой оценки).
У более продвинутого варианта - такой наглядности картинок на этапе адаптации не будет. Заодно у него и гораздо меньшее число локальных минимумов по сравнению с Ллойдом.
[Ответ][Цитата]
mserg
Сообщений: 255
На: ML battle
Добавлено: 15 янв 15 4:28
Изменено: 15 янв 15 4:39
Ссылка, которую я давал, и есть инструкция:
http://www.kaggle.com/wiki/KaggleInClass
7 пядей во лбу для ее исполнения не нужно.

Единственное ограничение - это предопределенный список мер (по которой считается estimation), т.е. должна выбираться из списка:
https://www.kaggle.com/wiki/Metrics
Или же писать администратору, который должен ее одобрить/реализовать на сервере. Из-за бесплатности - администраторы этим будут заниматься только в свободное время.

UPD. Еще есть требование, что соревнования для студентов...
В общем могут выясниться нюансы с бесплатностью...

Местный админ принимает заявки насчет улучшения форума. Мог бы реализовать соревновательный движок.
[Ответ][Цитата]
NO.
Сообщений: 10700
На: ML battle
Добавлено: 15 янв 15 7:57
Может сделать типа игровой среды. Там две программы создают друг-другу данные и пытаются распознать данные противника. Кто кого.
Например прятки Есть местность, нужно самому закамуфлироваться, а противника найти.
[Ответ][Цитата]

Сообщений: 105
На: ML battle
Добавлено: 17 янв 15 3:49
Цитата:
Автор: Victor G. Tsaregorodtsev


Это только для Ллойдовского варианта к-средних.
Ллойд плох тем, что при адаптации, когда проходит перераспределение примеров по кластерам, центр кластера, в который ранее попал некоторый пример, является для этого примера смещённой оценкой (центр уже включает влияние этого примера, и расстояние вычисляется от примера до этой смещённой оценки).
У более продвинутого варианта - такой наглядности картинок на этапе адаптации не будет. Заодно у него и гораздо меньшее число локальных минимумов по сравнению с Ллойдом.
Ну, этот пример был не в контексте доказательства превосходства к-средних, а про то что множество отчетов, в данном случае 2-д векторов, образуют векторное поле плотностей и отличия «экстраполяции» от «интерполяции», в таком контексте это условие монотонности градиента по плотности, для каждого класса.
[Ответ][Цитата]
NO.
Сообщений: 10700
На: ML battle
Добавлено: 17 янв 15 5:12
Цитата:
Автор: Slava
удобная основа, только странно, почему столь очевидные для нее "тейлоровские роботы" не нашли до сих пор достойного применения в трейдинге

Вроде на этом в основном и торгуют, говорят про растёт-снижается, росло-снижалось. Посморите РБК и т.п. информацию дают постоянно, но нет никаких японских свечей в марковских цепях.
[Ответ][Цитата]

Сообщений: 105
На: ML battle
Добавлено: 17 янв 15 6:51
Цитата:
Автор: Slava
Хотел понять что же философского я сказал… Мдас… перечитал ещё раз что сам написал, понял что сам бы фиг понял что имел в виду)) Об этом в живую объясняться нужно часы говорить, а в формате СМС совсем не просто.

Ну хорошо, например у Вас имеются только часовые отчеты логарифмических приращений какой то акции, за позавчера и сегодня, очевидно смоделировать пропущенные вчерашние прирашения это ИНТЕРПОЛЯЦИЯ. Но... К примеру на сколько качество этой ИНТЕРполяции, применительно к скажем знаку часового приращений в 14.00 вчера, будет отличаться от ЭКСТРАполяции по тем же данным на завтрашний знак в 12.00? Разве что только линейным коэффициентом, усреднить если все… но это безсмысленно



К чему это я…
То что любой вектор-отчет имеет «окрестность влияния» если расстояние до этой окрестности сильно превышено то попросту неважно что есть данные «справа»(в одномерном случае) если они тоже далеко, «между» будет всё равно неопределённость.

Поэтому экстраполяция отличается от интерполяции только дополнительными данными, влиянием других отчетов, есть ли отчеты «впереди», хотя они могут быть так далеко что никакого влияния уже не оказывать...
[Ответ][Цитата]
Slava
Сообщений: 3070
На: ML battle
Добавлено: 17 янв 15 7:21
Изменено: 17 янв 15 7:46
Цитата:
Автор: ●

Хотел понять что же философского я сказал… Мдас… перечитал ещё раз что сам написал, понял что сам бы фиг понял что имел в виду)) Об этом в живую объясняться нужно часы говорить, а в формате СМС совсем не просто.


я ведь тоже пытался, как мог, - и не жалко вам других?

Цитата:
Ну хорошо, например у Вас имеются только часовые отчеты логарифмических приращений какой то акции, за позавчера и сегодня, очевидно смоделировать пропущенные вчерашние прирашения это ИНТЕРПОЛЯЦИЯ. Но... К примеру на сколько качество этой ИНТЕРполяции, применительно к скажем знаку часового приращений в 14.00 вчера, будет отличаться от ЭКСТРАполяции по тем же данным на завтрашний знак в 12.00? Разве что только линейным коэффициентом, усреднить если все… но это безсмысленно


все, как я понимаю, связано лишь с одной тонкостью - насколько поиск интерполяционных закономерностей в прошлом вскрывает те глубинные свойства исследуемого процесса, которые простираются и на будущее

Цитата:
К чему это я…
То что любой вектор-отчет имеет «окрестность влияния» если расстояние до этой окрестности сильно превышено то попросту неважно что есть данные «справа»(в одномерном случае) если они тоже далеко, «между» будет всё равно неопределённость.


ну почему же так просто? - а что делать с недифференцируемыми функциями или что если кроме близкодействия есть еще и дальнодействие? - да и мало ли что еще мир вокруг нам может подкинуть для тренировки мозгов

Цитата:
Поэтому экстраполяция отличается от интерполяции только дополнительными данными, влиянием других отчетов, есть ли отчеты «впереди», хотя они могут быть так далеко что никакого влияния уже не оказывать...


тем время и хорошо, что с будущим вы можете играть с той или иной степенью корректности лишь на уже имеющихся данных, т.е. в прошлом, проецируя на него весь свой (и тоже прошлый) опыт
[Ответ][Цитата]
NO.
Сообщений: 10700
На: ML battle
Добавлено: 18 янв 15 0:16
Basegroup Бизнес-аналитика: от данных к знаниям (+CD)
http://rutracker.org/forum/viewtopic.php?t=4513649
[Ответ][Цитата]
 Стр.4 (19)1  2  3  [4]  5  6  7  8  ...  19<< < Пред. | След. > >>