GotAI.NET

Форум: Проблемы искусственного интеллекта

 

Регистрация | Вход

 Все темы | Новая тема Стр.18 (18)<< < Пред.   Поиск:  
 Автор Тема: На: ML battle
Калитеран
Сообщений: 470
На: ML battle
Добавлено: 05 мар 17 12:09
Цитата:
Автор: dr2chek


Что ж, организаторы и точность входных данных теперь более вразумительную предлагают - 6 знаков после запятой, вместо прежних 15-ти . А корпус tournament тем временем вырос почти в 2 раза...
Становится у них всё страньше и страньше... Логлос как я понимаю вообще уже не играет роли, они както по своему считают, я кинул предикты, со старой медели, по моим вычислениям логлос на них как и раньше ~0.6912, это раньше соотвествовало ихнему 0.689 теперь это 0.692 стал сразу на позорное 334 место, потом через часик браузер открыл а там нумераи автоматом загрузился и опаньки я на 62 месте в 100-ке управляющих капиталом!
[Ответ][Цитата]
гость
85.93.218.*
На: ML battle
Добавлено: 06 мар 17 8:40
Цитата:
Автор: Калитеран

Становится у них всё страньше и страньше... Логлос как я понимаю вообще уже не играет роли, они както по своему считают
Место в списке теперь сьльно зависит от того как быстро после обновления сета будут закинуты ответы, если кто закинул ответы, стал в лидерах, а затем кто то такие же или очень похожие, то второй будет вообще в конце списка.
[Ответ][Цитата]
Калитеран
Сообщений: 470
На: ML battle
Добавлено: 06 мар 17 11:33
Цитата:
Автор: гость

жду пруфа
https://numer.ai/ai/kalitheran сейчас на 52 месте)) но оно колеблется то 80 то 90, то вообще 150, потом 40 и тп. когда ответы залил стало на 380
[Ответ][Цитата]
mserg
Сообщений: 248
На: ML battle
Добавлено: 06 мар 17 16:02
Изменено: 06 мар 17 16:03
Цитата:
Автор: Калитеран

https://numer.ai/ai/kalitheran сейчас на 52 месте)) но оно колеблется то 80 то 90, то вообще 150, потом 40 и тп. когда ответы залил стало на 380

Это, в принципе, объяснимо.
Сама идея состоит в том, чтобы собрать мета-модель из моделей пользователей. Это типа случайных лесов, где относительно просто полуслучайно строится множество деревьев, которые потом используются для прогноза.

Мета-модель numerai, насколько я помню, строится похожим способом. Поэтому, если прогнозы пользователей близки, то их "вклад" в точность будет близок и во-многом случаен. Новые прогнозы, вероятно, приводят к полуслучайному "взбалтыванию" вкладов в точность мета-модели. Отсюда и скачки с 40-го на 160 место, или еще куда-нибудь.
[Ответ][Цитата]
mserg
Сообщений: 248
На: ML battle
+1
Добавлено: 07 мар 17 3:04
А переобучения не происходит?
Если разделить обучающие данные на 2 части, на обучающие и тестовые?

А "турнирные" данные, случаем не содержат данные для реального прогноза? Вполне же может быть, что для части "турнирных" данных "прогноз" известен (по ним настраивается проверяется мета-модель), а для части данных прогноз действительно относится к будущему.

В статье Моргана на ихнем сайте, разве не такая схема предполагалась?
[Ответ][Цитата]
Калитеран
Сообщений: 470
На: ML battle
Добавлено: 07 мар 17 4:15
Цитата:
Автор: mserg

А переобучения не происходит?
Если разделить обучающие данные на 2 части, на обучающие и тестовые?
Разделил само собой, если на обучающем сете проверять то ошибку до 20% можно уменьшить, в том то и дело что 42% на тестовом сете которого нет в обучении, но нужно проверить не дублируются ли точки, если так то тогда понятна причина переобучения.

Цитата:
Автор: mserg

А "турнирные" данные, случаем не содержат данные для реального прогноза? Вполне же может быть, что для части "турнирных" данных "прогноз" известен (по ним настраивается проверяется мета-модель), а для части данных прогноз действительно относится к будущему.

В статье Моргана на ихнем сайте, разве не такая схема предполагалась?
Хммм... Точно! А я не догадался, в статьях вроде не встречал такого, что турнирные данные не все с ответами, ну да, вероятней всего всё именно так как Вы говорите, тогда всё сходится! Благодарю за подсказку
[Ответ][Цитата]
mserg
Сообщений: 248
На: ML battle
Добавлено: 09 мар 17 13:02
Изменено: 09 мар 17 13:04
Сейчас в leaderboard Вы на 270 месте

Кстати, что это за обезьяна
https://numer.ai/ai/kot
?
[Ответ][Цитата]
data
Сообщений: 84
На: ML battle
Добавлено: 09 мар 17 15:42
Изменено: 09 мар 17 15:43
Цитата:
Автор: mserg

Сейчас в leaderboard Вы на 270 месте
Мммдя… c утра было 11-е, теперь 276... странно у них всё как то. Теоретически на контроле можно и 0.67 получить но у них какой то свой логлос или тестовая выборка сильно отличается от обучающей. Если самому разбивать на лерн и тест то не возможно прицелиться чтобы как у них было.
[Ответ][Цитата]
mserg
Сообщений: 248
На: ML battle
Добавлено: 10 мар 17 2:18
Цитата:
Автор: data

Мммдя… c утра было 11-е, теперь 276... странно у них всё как то. Теоретически на контроле можно и 0.67 получить но у них какой то свой логлос или тестовая выборка сильно отличается от обучающей. Если самому разбивать на лерн и тест то не возможно прицелиться чтобы как у них было.

На счет изменения места - обсуждали выше. Возможно, кто-то сделал прогноз, похожий на Ваш, но чуть более точный. В результате ваш прогноз как бы стал не нужным - его вклад общую точность резко упал.
[Ответ][Цитата]
гость
82.145.221.*
На: ML battle
Добавлено: 10 мар 17 9:01
Цитата:
Автор: data

Учитесь малявки...

Оооо!
4 бакса! Пошло добро. Радует.
Мне тоже задним числом начислили.

[Ответ][Цитата]
гость
93.115.95.*
На: ML battle
Добавлено: 12 мар 17 17:54
Цитата:
Автор: Калитеран

PS: Ещё в отличии от данных пару месяцев назад, новые лесом как будто бы легче учатся, причем на тестовой выборке можно получить 58% accuracy 0.677 logloss,
У меня 65% accuracy 0.666 logloss на данных который не видел классификатор
[Ответ][Цитата]
data
Сообщений: 84
На: ML battle
+1
Добавлено: 16 мар 17 5:19
Цитата:
Автор: гость 82.145.221


Оооо!
4 бакса! Пошло добро. Радует.
Мне тоже задним числом начислили.


[Ответ][Цитата]
ANGULIMALA
Сообщений: 24
На: ML battle
Добавлено: 16 мар 17 9:13
Цитата:
Автор: data
Намекнёте как обуздали эти данные?
[Ответ][Цитата]
Сергей Гаврилов
Сообщений: 58
На: ML battle
Добавлено: 16 мар 17 11:40
Цитата:
Автор: ANGULIMALA

Намекнёте как обуздали эти данные?
Присоединяюсь к просьбе, если автору конечно не жалко
[Ответ][Цитата]
data
Сообщений: 84
На: ML battle
Добавлено: 17 мар 17 17:00
Цитата:
Автор: ANGULIMALA

Намекнёте как обуздали эти данные?
Обычным лесом. Точно также как и раньше делал, почему сейчас это лучше работает не знаю, данные изменились, учатся лучше, раньше 52-53% точности еле еле, сейчас под 65% было на прошлом датасете, на новом опять плохо, но никто не мешает юзать прошлую модель на новых данных
[Ответ][Цитата]
 Стр.18 (18)1  ...  14  15  16  17  [18]<< < Пред.