Форум: Проблемы искусственного интеллекта

Регистрация | Вход

Все темы | Новая тема  Стр.11 (13) << < Пред. | След. > >>    Поиск:
Автор	Тема: На: Остались ли тут специалисты, которые разбираются в ИИ
tac2 Сообщений: 437	На: Остались ли тут специалисты, которые разбираются в ИИ Добавлено: 19 сен 25 6:03 > Достойная цель и вполне достижимая. Спасибо. Вы тоже можете помочь так или иначе > если вы хотите чтобы алгоритм, считал в векторе произвольной длинны. Заучить в коротких векторах конечно может, но новые вектора не осилит. Конечно, не зря же Минский этой задачей убил эту науку Но увы, его поняли слишком поверхностно. Конечно, само по себе решение задачи четности ничего не дает, она в общем виде так и останется для последовательных алгоритмов. Просто она очень удобна для нагрузочных тестов на нейросети. > Адам и тп, прям таки радикально не меняют работу многослойки Не знаю, я пока не могу докопаться из за чего, но реализация на торче в разы превосходит наивную реализацию бэкпропа. Причем именно наимная реализация бэкпропа хуже перцептрона. Только реализация на торче дает чудеса ... Вот пример, задач четность на торче для 16 бит обучается на 100% имея всего 30 нейронов. На перцептроне нужно 3000 нейронов, которые я могу еще до обучения после анализа сократить до 300. Наивная реализация бэкпропа вообще не дает схождения в 100%. Ну или дает на несопоставимых вариантах. Для 10 бит уже начинает застревать оставляя 2-4 ошибки. Это если на 30 нейронах. На 50 решает. На 16 бит скорость не позволяет проверить, но там итерации измеряются десятками тысяч. Надо понимать, что 3000 нейронов перцептрона работают примерно так же как и торч на 30. А с наивной реализацией там нечего сравнивать. Поэтому я и хочу во-первых понять, что же там такого в торче? Если заинтересует - могу предложить посмотреть в 4 глаза .. [Ответ][Цитата]
Viсtоr G. Tsaregorodtsev Сообщений: 19	На: Остались ли тут специалисты, которые разбираются в ИИ Добавлено: 20 сен 25 5:49 Цитата: Автор: Дмитрий Пагода Достойная цель и вполне достижимая. Кстати про "задачу на четность", если вы хотите чтобы алгоритм, считал в векторе произвольной длинны, число единиц и делятся ли они на 2, то сразу скажу что это на прямую ни один алгоритм влоб не делает. Заучить в коротких векторах конечно может, но новые вектора не осилит. Это задачки с подвохом, на подобии как с картинками Франсуа Шоле, то есть требующие априорное дерево "моделей здравого смысла" и возможности выполнять последовательные действия, на подобии конечного автомата, это не под силу простым моделям МО и даже RNN и это очень интересная тема для обсуждения, почему и как это формализовать. А вы хотябы пробовали сами эту "четность" в ML совать, прежде чем тут уверенно фалософствовать? мля... смех и грех ейбогу... [Ответ][Цитата]
tac2 Сообщений: 437	На: Остались ли тут специалисты, которые разбираются в ИИ Добавлено: 20 сен 25 17:32 Переоценил я тут торч, перепроверил, он тоже не решает на 30 нейронах. На 50 нейронах дает сопоставимые результаты, разве что быстрее, и то если использовать батчи, но там такое быстрее, но требуется больше итераций. (это на 10 битах) Нужно, теперь проверить на 16 битах, чтобы было с чем сравнивать с перцептроном. На торче легче проверить, а вот с наивной реализацией - наверно придётся на сутки запускать. [Ответ][Цитата]
Ꜿгг Сообщений: 13239	На: Остались ли тут специалисты, которые разбираются в ИИ Добавлено: 20 сен 25 19:21 Изменено: 21 сен 25 6:01 Решил я задачку обучения 'четности'. Конечно, использовать MLP или любой другой перцептрон для нее - это дикая дикость)) Я использовал другую архитектуру, softmax для построения распределений и Adam для backward'а (но можно простой градиентный спуск). Обучение выглядит так (240 циклов на 16 битах): step 10 | loss 0.7118 | acc 49.4500% step 20 | loss 0.6959 | acc 51.0000% step 30 | loss 0.6978 | acc 49.8500% step 40 | loss 0.7216 | acc 48.5000% step 50 | loss 0.7314 | acc 49.5500% step 60 | loss 0.7219 | acc 50.4000% step 70 | loss 0.7266 | acc 53.8000% step 80 | loss 0.7005 | acc 56.3500% step 90 | loss 0.6946 | acc 53.9000% step 100 | loss 0.6670 | acc 55.4000% step 110 | loss 0.6518 | acc 59.6000% step 120 | loss 0.6484 | acc 59.3000% step 130 | loss 0.6354 | acc 60.2000% step 140 | loss 0.6249 | acc 63.6500% step 150 | loss 0.6264 | acc 75.4000% step 160 | loss 0.6195 | acc 66.3500% step 170 | loss 0.5999 | acc 70.1000% step 180 | loss 0.5778 | acc 76.1000% step 190 | loss 0.5365 | acc 90.0500% step 200 | loss 0.4849 | acc 93.4000% step 210 | loss 0.4107 | acc 99.1000% step 220 | loss 0.3336 | acc 100.0000% step 230 | loss 0.2613 | acc 100.0000% step 240 | loss 0.2119 | acc 100.0000% А классифицировать можно со 100% результатом массивы любой длины, вот мои примеры: Input: 11001110101001111110010101000000111 | gt=1 | pred=1 Input: 11000000011 | gt=0 | pred=0 Input: 111101110 | gt=1 | pred=1 Input: 1 | gt=1 | pred=1 Input: 01110001010010101001001100011 | gt=1 | pred=1 Input: 001010100101101010101100100010111110101110111100000100100101110100011110011001 | gt=0 | pred=0 Input: 010 | gt=1 | pred=1 Input: 11100110010000100 | gt=1 | pred=1 Input: 1001000110000010100000111011001 | gt=0 | pred=0 Input: 111 | gt=1 | pred=1 Input: 00111110100011100101111000000001100010101001010100 | gt=0 | pred=0 Input: 1111110110010 | gt=1 | pred=1 Input: 011101011001111 | gt=0 | pred=0 Input: 111010100010100001 | gt=0 | pred=0 Input: 11101110000011111011110101101010100111010000 | gt=1 | pred=1 Input: 111011110011011 | gt=1 | pred=1 Input: 11100 | gt=1 | pred=1 Input: 110010100111000011 | gt=1 | pred=1 Input: 11100011110011111001010000111101000000011110110101011110111100111111110101011110000 | gt=1 | pred=1 Input: 011100011011000011011 | gt=1 | pred=1 Input: 011011 | gt=0 | pred=0 Input: 100001 | gt=0 | pred=0 Input: 00001001010001110100011000010001001000111110111 | gt=0 | pred=0 Input: 00010011 | gt=1 | pred=1 Input: 001001101101111100 | gt=0 | pred=0 Input: 01100001010010100010000111110010101000110000110011100111011111010100 | gt=0 | pred=0 Input: 00011111011 | gt=1 | pred=1 Input: 110100000001011110 | gt=0 | pred=0 Input: 011 | gt=0 | pred=0 Input: 01000001100001011110100 | gt=1 | pred=1 Input: 101101001011001 | gt=0 | pred=0 Input: 010010011100001100000011000101001 | gt=0 | pred=0 На всё про всё ушло 320 строк кода с инклюдами и тестами и 1.633094 секунды обучения на средненькой машинке))) [Ответ][Цитата]
tac2 Сообщений: 437	На: Остались ли тут специалисты, которые разбираются в ИИ Добавлено: 21 сен 25 9:34 Изменено: 21 сен 25 9:42 > Решил я задачку обучения 'четности Молодец, сколько нейронов в сети? Код покажешь? А стоп или ты нейросетку не использовал? Ну, на калькуляторе я тоже могу решить ) Но все равно интересно если код покажешь .. [Ответ][Цитата]
Ꜿгг Сообщений: 13239	На: Остались ли тут специалисты, которые разбираются в ИИ Добавлено: 21 сен 25 9:45 Изменено: 21 сен 25 9:46 Цитата: Автор: tac2 Молодец, сколько нейронов в сети? Код покажешь? Нейронов совсем немного)) Может быть покажу, но особого желания нет, ты писал про меня хуету всяческую и удалял мои сообщения, это не располагает к любезностям)) Цитата: Автор: tac2 А стоп или ты нейросетку не использовал? Ну, на калькуляторе я тоже могу решить ) Почему не использовал, использовал. Но с умом. Всё честно, обучение имеет место быть -- лосс и аккюраси я показал. Но это, разумеется, не перцептрон. Ни розенблаттовский, ни многоуровневый. Только идиот на такой задаче будет использовать перцептрон))) [Ответ][Цитата]
tac2 Сообщений: 437	На: Остались ли тут специалисты, которые разбираются в ИИ Добавлено: 21 сен 25 10:08 > ты писал про меня хуету всяческую это когда ты бухой был? это ты сам писал про меня, наверняка еще осталось ... поэтому не строй тут из себя целку [Ответ][Цитата]
Ꜿгг Сообщений: 13239	На: Остались ли тут специалисты, которые разбираются в ИИ Добавлено: 21 сен 25 10:42 Изменено: 21 сен 25 12:26 Цитата: Автор: tac2 > ты писал про меня хуету всяческую это когда ты бухой был? это ты сам писал про меня, наверняка еще осталось ... поэтому не строй тут из себя целку Это называется проекция, Серёжа, ты других людей подозреваешь в том, что хотел бы изменить в себе))) Я бухой не бываю, я очень редко и мало пью, у меня своей дури хватает)) Но дури во мне много, это правда) [Ответ][Цитата]
Viсtоr G. Tsaregorodtsev Сообщений: 19	На: Остались ли тут специалисты, которые разбираются в ИИ Добавлено: 21 сен 25 13:43 Цитата: Автор: Ꜿгг 1.633094 секунды обучения на средненькой машинке))) все 240 эпох? 65к семплов? на цпу? даже я так писдеть не осмелился бы нормальное время для 16-64-2 релу-софтмакс, адам, примерно пол минуты на 200 эпох, хотя оно иногда и за 100 сходится [Ответ][Цитата]
Ꜿгг Сообщений: 13239	На: Остались ли тут специалисты, которые разбираются в ИИ Добавлено: 21 сен 25 14:35 Изменено: 21 сен 25 14:57 Цитата: Автор: Viсtоr G. Tsaregorodtsev даже я так писдеть не осмелился бы А я помню фирменный царегородцевский пиздеж про миллионы роялти на фоне жизни в красноярсках. Что касаемо скорости, может Вам, Витя, нужно просто перейти с Делфи на нормальный язык программирования? Уже пора, уже 25 год 21 века Речь не идет о 65К сэмплов, разумеется)) В той архитектуре, которую я использовал для решения этой задачи, это избыточно))) [Ответ][Цитата]
гость 45.84.107.*	На: Остались ли тут специалисты, которые разбираются в ИИ Добавлено: 22 сен 25 3:34 Цитата: Автор: Viсtоr G. Tsaregorodtsev на цпу? нынче на цпу позорно учить нейросетки, даже спрашивать не красиво [Ответ][Цитата]
Ꜿгг Сообщений: 13239	На: Остались ли тут специалисты, которые разбираются в ИИ Добавлено: 22 сен 25 5:29 Изменено: 22 сен 25 5:48 Цитата: Автор: Колян Код пжлст "в студию", этоже студенчиские тесты, какой смысл их скрывать, что у вас там за конфигурация сети, какой фреймворк, какой датасет Говорил уже неоднократно, я их не скрываю, просто у меня строгое полиси, не позволяющее мне выкладывать свой код. Код, который генерирует LLM, я выкладываю. Если Вы подумаете над этой задачей, осознаете, что 1 и 1111111111111110 - это класс "1", а 0 и 1111111111111111 - это уже класс "0", то поймете, что есть ровно два варианта: строить сеть по типу ассоциативной памяти или вспомнить, что сеть эквивалентна машине Тьюринга)) Как говорят некоторые очень умные люди: Attention Is All You Need)) [Ответ][Цитата]
tac2 Сообщений: 437	На: Остались ли тут специалисты, которые разбираются в ИИ Добавлено: 22 сен 25 8:40 Изменено: 22 сен 25 8:52 > Код пжлст "в студию", этоже студенчиские тесты, какой смысл их скрывать, что у вас там за конфигурация сети, какой фреймворк, какой датасет С какой целью интересуетесь? Это как бы не студенческие тесты, в моем случае уровень гугла не меньше )) поэтому я настаиваю на ссылке на меня при цитировании .. да и никто их не скрывает, в первом посте есть ссылка на гитхаб ... [Ответ][Цитата]
Ꜿгг Сообщений: 13239	На: Остались ли тут специалисты, которые разбираются в ИИ Добавлено: 22 сен 25 10:57 Изменено: 22 сен 25 12:41 Цитата: Автор: Колян такого не бывает, был бы очень смешной юридический документ, похожий на рабский Вы -- американский юрист, что делаете обобщения такой силы? Любой документ бывает, это не РФ, работа в компании Кремниевой Долины обладает разными особенностями. Что касается рабства, то рабство заключается в нищенской зарплате (== работа за еду) и невозможности сменить власть на выборах. Всё прочее - это не рабство, а торговля))) [Ответ][Цитата]
Viсtоr G. Tsaregorodtsev Сообщений: 19	На: Остались ли тут специалисты, которые разбираются в ИИ Добавлено: 23 сен 25 3:57 Цитата: Автор: Ꜿгг В той архитектуре, которую я использовал для решения этой задачи, это избыточно))) Да, да, помним ваши "архитектуры" Цитата: Автор: Ꜿгг Это мой перцептрон Розенблата на С++ 17 Жаль Клевцов тут уже не практикует, вам явно нужна его помощь. [Ответ][Цитата]
Стр.11 (13): 1  ...  7  8  9  10  [11]  12  13 << < Пред. | След. > >>