|
|
На: ML battle
Добавлено: 13 дек 16 5:56
|
Автор: dr2chek
Не пойму, почему на предлагаемых потом данных величина предсказания располагается близко к 0,5... То есть, как это математически происходит. Или у них данные такие "хитрые" ? |
|
Я попробовал RF, SVM и ada. Ошибка большая везде, может, у леса чуть меньше. Из-за этого вероятность "трется" около 0.5. Например: Type of random forest: classification Number of trees: 500 No. of variables tried at each split: 4 OOB estimate of error rate: 48.87% Confusion matrix: 0 1 class.error 0 15959 17424 0.5219423 1 15526 18515 0.4560971
|
|
|
|
| На: ML battle
Добавлено: 13 дек 16 10:03
|
Автор: гость
Я попробовал RF, SVM и ada. Ошибка большая везде, может, у леса чуть меньше. Из-за этого вероятность "трется" около 0.5. Например:
Type of random forest: classification
Number of trees: 500
No. of variables tried at each split: 4
OOB estimate of error rate: 48.87%
Confusion matrix:
0 1 class.error
0 15959 17424 0.5219423
1 15526 18515 0.4560971 |
|
48.87% это какой logloss?
|
|
|
|
| На: ML battle
Добавлено: 13 дек 16 11:55
|
Как связанны точность, ошибка и logLoss, кто знает? Нашел только что logLoss хорош тем что “сильно штрафует за не правильную уверенность”, интуитивно вижу есть связь между ошибкой и logLoss, но не нашел какая.
|
|
|
|
| На: ML battle
Добавлено: 13 дек 16 12:02
|
Автор: гость
Нашел только что logLoss хорош тем что “сильно штрафует за не правильную уверенность”, |
|
Это похоже на систему отбрасывания высших и низших баллов в спортивном судействе. Так что ничего интригующего
|
|
|
|
| На: ML battle
Добавлено: 13 дек 16 12:55
|
Автор: гость
48.87% это какой logloss? |
|
Это чуть лучше, чем если пихать их экзампл. Посмотрел их предикторы. Выбросов нет, но есть корреляция - надо как-то и что-то убирать.
|
|
|
|
| На: ML battle
Добавлено: 13 дек 16 13:17
|
[/img]http://s1.uploads.su/xebzhsr8.jpg[/img]
|
|
|
|
| На: ML battle
Добавлено: 13 дек 16 13:19
|
[/img]http://img.uploads.su/v.php?id=xebzhsr8.jpg[/img]
|
|
|
|
| На: ML battle
Добавлено: 13 дек 16 15:17
|
Автор: гость
 |
|
Прикольный виджет для матрицы корреляций, надо бы тоже себе такой импровизировать. 
|
|
|
|
| На: ML battle
Добавлено: 13 дек 16 15:38
|
Автор: Калитеран
Прикольный виджет для матрицы корреляций, надо бы тоже себе такой импровизировать. |
|
Спасибо. Да, спасибо, там распределение далеко от нормального - поэтому Спирман.
|
|
|
NO.
Сообщений: 10700 |
 |
|
| На: ML battle
Добавлено: 13 дек 16 22:01
|
Такое лучше не таблицей, а гроздями, близкие окажутся рядом, разные далеко.
Только проекция 20 размерностей на 2 не всегда сходится, они могут устаканиваться вечно.
Но если хорошо кластеризуется то сразу делится на грозди, потом грозди быстро организуются.
Пишется очень просто, по квадрату раcтояния считаются силы, для любых немного отталкивания, а по кореляции притягивание, сила->ускорение->скорость->координата.
Смотреть приятно, типа самоорганизация.
Ускорить у меня никак не получалось, начинает двигаться как живое с подпиткой энергией.
|
|
|
|
| На: ML battle
Добавлено: 13 дек 16 22:54
|
Автор: Калитеран
Прикольный виджет для матрицы корреляций, надо бы тоже себе такой импровизировать. |
|
Интересно, как выглядит матрица от сессии к сессии... Кто б построил
|
|
|
|
| На: ML battle
+1
Добавлено: 14 дек 16 8:22
|
Автор: Калитеран
Прикольный виджет для матрицы корреляций |
|
См правый нижний угол картинки 13летней давности  Отличия только в том, что отсутствует раскраска значка в зависимости от значения показателя (только размер значка меняется). Ибо зачем ДУБЛИРОВАТЬ уже показанное - можно раскраской вывести какой-то ДРУГОЙ признак. (да, и на картинке у меня не матрица корреляций, т.к. нет диагонали с единичками - ибо способ визуализации от смысла данных не зависит и покажет любую таблицу, даже с исходными=сырыми данными).
|
|
|
|
| На: ML battle
Добавлено: 14 дек 16 8:43
|
Автор: Victor G. Tsaregorodtsev
См правый нижний угол картинки 13летней давности
Отличия только в том, что отсутствует раскраска значка в зависимости от значения показателя (только размер значка меняется). Ибо зачем ДУБЛИРОВАТЬ уже показанное - можно раскраской вывести какой-то ДРУГОЙ признак.
(да, и на картинке у меня не матрица корреляций, т.к. нет диагонали с единичками - ибо способ визуализации от смысла данных не зависит и покажет любую таблицу, даже с исходными=сырыми данными). |
|
Класс! я вот тоже тока что забацал себе такую))  PS: только смотрю они у нас разные с гостем который в R считал, что странно, кто то ошибся...
|
|
|
|
| На: ML battle
Добавлено: 14 дек 16 9:12
|
Тут ковариационная матрица не поможет, зависимость существенно нелинейная.
|
|
|
NO.
Сообщений: 10700 |
|
|
| На: ML battle
Добавлено: 14 дек 16 9:18
|
Ну и чего тут видно? Какую интуицию можно приобрести на таких картинках?
По-моему ничего не видно. Диагональ можно вообще не рисовать, понятно, что там 1. А остальное просто общая статистика насколько велики точки, структуры никакой.
|
|
|
|