Форум: Проблемы искусственного интеллекта

Регистрация | Вход

Все темы | Новая тема  Стр.12 (13) << < Пред. | След. > >>    Поиск:
Автор	Тема: На: Остались ли тут специалисты, которые разбираются в ИИ
Ꜿгг Сообщений: 13239	На: Остались ли тут специалисты, которые разбираются в ИИ Добавлено: 23 сен 25 4:03 Изменено: 23 сен 25 4:13 Цитата: Автор: Viсtоr G. Tsaregorodtsev Да, да, помним ваши "архитектуры" Понимаю, что "специалисты" из красноярсков и прочих депрессивных сибирских деревень не могут отличить код, сгенерированный LLM от кода человека )) И, конечно, Витя не мог не соврать, там не было написано, что "Это мой перцептрон Розенблата на С++ 17", там было написано: "А зачем нужны эти пиздоCUDA-страдания и танцы с бубнами, если это всё умещается на CPU в 22 строки на 17th плюсах)))" Искажать цитаты - это дегенеративный зашквар)) [Ответ][Цитата]
tac2 Сообщений: 438	На: Остались ли тут специалисты, которые разбираются в ИИ Добавлено: 23 сен 25 18:00 Изменено: 23 сен 25 18:03 > тогда конкретные ссылки на конкретный код теста, указанно здесь, где там его искать Да лучше сюда кусок в пару строк конфигурация сети и тп. 1-10 строк, если хотите чтобы вас всерьёз воспринимали, потому что от фонаря ляпнуть можно что угодно жопу подними и посмотри, мне на твою серьезность начхать ... что за манера хамить? Вежливо попроси и скажи какой твой интерес и о чем речь [Ответ][Цитата]
Ꜿгг Сообщений: 13239	На: Остались ли тут специалисты, которые разбираются в ИИ Добавлено: 24 сен 25 4:24 Цитата: Автор: Колян Ок парни, мой результат, за микросекунду учится моя нейросетка до 100%. Можете добавить пару табуированных анально-генитальных фраз, от себя, для крепости. До свидания. Да, в нашем прекрасном мире существует примат задачи, какую задачу ставишь, от той задачи и оцениваешь. Если Вашей задачей было предемонстрировать то, что Вы себя не на помойке нашли и пришли в чужую ветку со своими правилами и рассказывали нам что нам нужно делать (и каких не бывает контрактов) -- то Вы успешно справились, поздравляю Если Вы хотели разобраться, что-то понять, чему-то научиться, то сил Ваших на это не хватило)) [Ответ][Цитата]
Ꜿгг Сообщений: 13239	На: Остались ли тут специалисты, которые разбираются в ИИ Добавлено: 24 сен 25 5:10 Цитата: Автор: Колян Я только спросил какова конфигурация сети Это криминал? Так я же уже отвечал, что для этой задачи не вижу смысла использовать классификаторы. Там нечего классифицировать. Осмысленными являются два похода - 1) ассоциативная память (именно в таком варианте использует своего розенблатта ув. tac2), либо какой-то обучаемый автомат (в общем случае - neural turing machine). Разве мой ответ не прозрачен? [Ответ][Цитата]
Ꜿгг Сообщений: 13239	На: Остались ли тут специалисты, которые разбираются в ИИ Добавлено: 24 сен 25 9:04 Изменено: 24 сен 25 9:12 Цитата: Автор: Колян Согласен(про NTM только что прочитал), но я так понял тут народ склочится именно про то что многослойные перцептроны не всесильны и даже такую вроде бы простую задачу, сами не способны научиться решать. Ручной подбор алгоритма под данные мол не спортивно, нужно чтобы всё само работало, для любых данных. Во-первых, инструмент выбирается под задачу, если инструмент плох для такого типа задач, нет смысла его использовать. Я не очень понимаю, о чем "народ склочится" здесь, но для меня очевидно, что любой перцептрон для подобной задачи будет не более, чем ассоциативной памятью. Такова природа именно этой задачи. Во-вторых, речь не идет о "ручном подборе алгоритма", речь идет об обучении, просто сети бывают очень разные, например, RNN - это тоже сеть и трансформер - это сеть. Как я уже сказал (раза три, не менее), обучаемый автомат для решения этой задачи представляется мне более осмысленным и эффективным. [Ответ][Цитата]
Ꜿгг Сообщений: 13239	На: Остались ли тут специалисты, которые разбираются в ИИ Добавлено: 24 сен 25 9:52 Изменено: 24 сен 25 9:55 Цитата: Автор: Колян Ну а "полусинтетические гибриды" вроде LSTM и вот сейчас узнал про NTM, это конечно интересно, но явно не спортивно и пованивает костылями. Речь даже не об этом, а о факте человеческого вмешательства. Почему под эти данные не подходит MLP, а подходит например NTM? Можно ли сделать универсальный алгоритм машинного обучения? Давайтие мыслить широко, как Трамп велел. Никакими костылями тут не пованивает, напротив, трансформер (то есть предельное обобщение нейронных сетей равных по мощности обработки человеческому интеллекту) - это и есть автомат, в котором последовательная обработка (как у RNN или LSTM) заменена механизмом внимания. Вот, например, простенькая (похожая на tac'овскую parity) задачка, которую в принципе не решит ни MLP, ни розенблатт: у нас есть строка из нулей и единиц. Нужно научить сеть считать их количество, например, '001000010011' -> 8.4, "001" = 2.1 итд [Ответ][Цитата]
Ꜿгг Сообщений: 13239	На: Остались ли тут специалисты, которые разбираются в ИИ Добавлено: 24 сен 25 11:29 Изменено: 24 сен 25 11:47 Цитата: Автор: Колян Это вы точно издеваетесь, а если нет, то не нужно так очаровывается сиюминутными хайпами, хотя… на этом форуме такое позволительно Нет, не издеваюсь, а довольно давно использую chatGPT в решении своих задач и нахожу его очень полезным. На уровне написания утилит и небольших, но трудоёмких функций, он много лучше любого junior и даже middle кожаных программистов. Если Вы так не делаете - Вы просто тратите своё время, а это самое ценное, что есть у человека)) Цитата: Автор: Колян Сумма, то для аппроксимации MLP должна решаться одним нейроном, все веса в 1 баес в 0, без активации, ну или релу. Есть у меня сомнения, что это будет работать, но, возможно, я ошибаюсь. Покажите, если это так просто... Вы уверены, что хорошо прочитали условие задачи? Нули и единицы нужно суммировать раздельно) З.Ы. Да, похоже, решается, опять же, тут как и с parity сильно в разрядность упирается... [Ответ][Цитата]
Ꜿгг Сообщений: 13239	На: Остались ли тут специалисты, которые разбираются в ИИ Добавлено: 24 сен 25 12:35 Цитата: Автор: Колян Да, если руками выставить веса, но почему автоматом они не ищутся, особенно если не тупо сложение, а ещё некая функция после, даже простая. У меня на миллионе эпох сходится для всего, что меньше 8-ми разрядов. Вот эти вещи, в самом деле, лучше у Вити Царегородцева спрашивать, перцептроны он знает достаточно хорошо, а я как раз меньше всего их использую, у меня специализация - computer vision. [Ответ][Цитата]
tac2 Сообщений: 438	На: Остались ли тут специалисты, которые разбираются в ИИ Добавлено: 24 сен 25 13:15 Изменено: 24 сен 25 13:35 > Я только спросил какова конфигурация сети, вроде Это криминал? Было, мягко говоря, по другому ... ну, ок проехали и понимаем, что Вы не так понимаете задачу "четность". > # Генерация облаков вокруг каждой точки (тестовые точки) Это совсем другая задача. Чего только люди не придумают ) . Объясняю что такое задача четность: Цитата: Задача чётности заключается в том, что на вход подаются бинарные векторы фиксированной длины, а выход определяется как 1, если число единиц во входе нечётное, и 0 — если чётное. Таким образом, для каждого входного вектора требуется учесть глобальное свойство всей комбинации, а не локальные признаки отдельных разрядов. Множества «чётных» и «нечётных» векторов образуют в пространстве входов структуру, где элементы разных классов чередуются при любом изменении одного из битов. Это означает, что границы классов нельзя провести локально — для правильного ответа необходимо учитывать комбинацию всех входных разрядов одновременно. Визуально вы можете представить себе шахматную доску, где в каждой клеточке в центре будет одна единственная точка соответствующего цвета (черная = 1, белая = 0). И вот это будет задача четности с 8 битами. (Вы конечно можете сделать свою модификацию с "облаками", но только визуально должно быть больше чередующихся областей). Дальше, вы хотите спросить когда эта задача начинает плохо решаться? Тогда так и сделайте, учитесь уже разговаривать, а то мне приходится у чатгпт, спрашивать что они пишут и что это значит. Так вот, решите задачу с 16 битами (сложите рядом 4 шахматных доски) и дайте нейросети только 30 нейронов, т.е архитектура 16-30-1 ... И да, критерием остановки является 0 ошибок на 2^16 = 65536 примерах обучающей выборки. [Ответ][Цитата]
tac2 Сообщений: 438	На: Остались ли тут специалисты, которые разбираются в ИИ Добавлено: 24 сен 25 13:31 > про участника tac, который как я понял надеется что перцептрон Розенблатта решает задачу на четность лучше MLP, но ни один ни другой её не решают, а только запоминают примеры, но что интересно, это то что MLP в принципе задачу эту может решить(можно в ручную подобрать такие коэффициенты), но они не подбираются обратным распространением(уж точно не с десятого или сотого раза) Понимаете Вы не верно, напомните мне вам пояснить, после того когда и если вы решите настоящую задачу четность (см. выше) [Ответ][Цитата]
tac2 Сообщений: 438	На: Остались ли тут специалисты, которые разбираются в ИИ Добавлено: 25 сен 25 1:58 Изменено: 25 сен 25 2:03 > 16-32-2 это не 16-30-1, и уберите Adamи это даже не 16-32-2 Цитата: nn.Linear(n, h), nn.ReLU(), nn.Linear(h, h), nn.ReLU(), nn.Linear(h, 2) # 2 класса это 16-32-32-2 Вы проверяете меня, чтобы я заметил как вы изменяете условия эксперимента? Вот как правильно: Цитата: public class ParityNetwork : Module Tensor, Tensor { private readonly Linear fc1; private readonly Linear fc2; private readonly ReLU relu; private readonly Sigmoid sigmoid; public ParityNetwork(int input_size) : base("ParityNetwork") { fc1 = Linear(input_size, 30); fc2 = Linear(30, 1); relu = ReLU(); sigmoid = Sigmoid(); // По желанию, но классически он есть // Регистрируем модули для управления параметрами RegisterComponents(); } public override Tensor forward(Tensor x) { using (var d = torch.NewDisposeScope()) { x = relu.forward(fc1.forward(x)); x = sigmoid.forward(fc2.forward(x)); return x.MoveToOuterDisposeScope(); } } } а уже тогда можно обсудить, что дает увеличение слоев ... [Ответ][Цитата]
tac2 Сообщений: 438	На: Остались ли тут специалисты, которые разбираются в ИИ Добавлено: 25 сен 25 6:53 Изменено: 25 сен 25 9:32 > у меня училось >30к эпох и сотни ошибок оставалось ... нафига это надо? Это надо, чтобы определить нижний порог достижимости решения. Т.е. сбить спесь, у тех кто не замечает проблем бэкпропа, и думает что, нейросети на других принципах не нужны. Таким образом, когда глупцы говорят, что перцептрону нужно экспоненциальный рост параметров, то тоже самое нужно и для BackPropa. Потому что речь идет именно о количестве состояний 2^16 в 2^32 - это экспоненциальный рост. У меня с использованием torch стабильно сходится с 16-50-1 или 16-100-1 (впрочем я могу путать, надо записывать). > Если хотите искать предел сложности модели которая решает эту задачу за сотни тысяч эпох Нет, количество эпох ничего не даст, мы можем поставить придел в 100к итераций, и считать что если не успело сойтись, значит не сойдется за разумное время. (точнее, если loss не уменьшается монотонно, начинает дребезжать без скачкаобразного опускания более 50 итераций, то можно выключать - схождения не будет ... ) Нет, перцептрон не может сойтись на малом числе нейронов, он собственно только начинает работать начиная со 100 нейронов (теоретически), на практике от 1000. Именно поэтому сложно сравнить эти нейросети в прямую. Нейрон в перцептроне, это не тоже самое что нейрон в бэкпропе. Но он может сойтись что-то около 300 нейронов (точнее это в моей модификации при отборе из 3000 случайных, перед обучением я отбиру 325 кажется) и он сойдется за 16 итераций. Но, как бы то не было, тут не главное мериться пипками, бэкпроп отлаживали на 50 лет больше, про перцептрон не заслуженно забыли и придумали про него мифы. Если бы столько исследований было бы направлено на перцептрон, то мы бы о нем знали бы куда больше. update. Попробуем заполнить табличку Задача четность (torch, MSELoss, Adam, bSize = 32, shuffle) Arh LearningRate Iterations 16-200-1 0.0001 390 16-100-1 0.0001 1173 16-75-1 0.0001 16-50-1 0.0001 (видимо я делал разные тест для ускорения смотрел на 14 битах или даже 10 ... и там были оценки 30-50 нейронов, тем более это только в пользу перцептрона) upd. да точно эти тесты были с 10 битами 10-100-1 0.0001 8485 10-50-1 0.0001 >50k остается 1 ошибка >80k все еще 1 ошибка 10-50-1 0.001 2792 (т.е. для меньшего числа бит - количество итераций больше, но есть вариант регулировать lr, становится лучше, но все равно больше) [Ответ][Цитата]
tac2 Сообщений: 438	На: Остались ли тут специалисты, которые разбираются в ИИ Добавлено: 25 сен 25 11:01 Я тут пошел чуть-чуть дальше и получил интересные результаты 17-300-1 0.0001 150 18-300-1 0.0001 106 19-300-1 0.0001 62 20-300-1 0.0001 43 Количество итераций стабильно падает с ростом размерности задачи, как вы это объясните? [Ответ][Цитата]
tac2 Сообщений: 438	На: Остались ли тут специалисты, которые разбираются в ИИ Добавлено: 25 сен 25 11:19 Изменено: 25 сен 25 11:58 > в этом труд ученого о чем с вами говорить, вы даже близко не представляете в чем труд ученного ... из всего (бреда) что вы понаписали, просто сквозит дальше инженера вы никогда и не мыслили ... Вы же даже не понимаете о чем вам говорят ... > там совсем всё шустро и? чо шустро то - число итераций больше, шустро у него )) причем с застреванием в 1-2 примерах ... это не шустро - это баг метода. > ну вот давайте, копайте в этом направлении ну и опять, вот не надо этого менторского тона, кто ты блядь, такой чтобы мне что-то указывать? Запомни, это уже ... хочешь чем то помочь, так помоги, но свои советы засунь в жопу. Если тебе лично это более интересно так и скажи, я помог бы вот в этом направлении ... а по другому это не уважение. Но вначале, тебе нужно еще многому поучиться ... Что касается переводчика, тут пока не с кем говорить ... уровень мат. части на столько низкий, что ничего здравого не получится ... Что касается "сбить спесь", такие как вы с поверхностными знаниями и околонаучные люди, ни как не могут признать наличие проблемы у BackProp. Условно говоря, с этим алгоритмом мы всегда будем находится в локальном минимуме, но выбраться не сможем, пока не поймем, что нужно рассматривать не то, что быстрее и лучше (мы и так в локальном минимуме), а нужно вначале перегнуть хребет, после которого можно будет попасть в более глобальный минимум. В этом работа ученного, а не в глупостях которые вы написали, путая инженера и ученного, если конечно, что-то поняли. [Ответ][Цитата]
tac2 Сообщений: 438	На: Остались ли тут специалисты, которые разбираются в ИИ Добавлено: 26 сен 25 9:12 Изменено: 26 сен 25 9:18 Итак, оказалось, что многие не понимают основ нейросетей. Поэтому для вас есть простые базовые ответы от нейросетки > Давай сформулируем почему важно решать задачу четность при исследовании нейросетей, например, с backpropagation, почему сами разработчики проверяли его именно на этой задаче. И главное, почему важно, обучить сеть полностью с 0 ошибок, а не как это делают часто на 99,7% Цитата: Почему задача четности (XOR/Parity) так важна для тестирования Backpropagation? Задача четности — это классическая и, можно сказать, каноническая проблема для проверки способности нейронной сети и алгоритма обучения находить нелинейные, недекомпозируемые закономерности. Простота и контролируемость. Задача предельно проста для формулировки и понимания. Например, для двух битов (задача XOR) всего 4 точки данных: (0,0)->0, (0,1)->1, (1,0)->1, (1,1)->0. Это позволяет полностью визуализировать пространство решений и точно знать, какую функцию должна аппроксимировать сеть. Нелинейная разделимость — главная причина. Это самый важный пункт. Однослойный перцептрон (без скрытых слоев) не может решить задачу XOR. Это было доказано Минским и Пейпертом в 1969 году и стало одной из причин "зимы ИИ". Если ваш алгоритм обучения (например, backpropagation) не может обучить даже простейшую сеть со скрытым слоем (например, архитектуру 2-2-1) решать XOR, то это означает, что алгоритм в принципе не способен обучать многослойные сети для поиска нелинейных закономерностей. Он бесполезен для сложных задач. Таким образом, XOR — это минимальный тест на жизнеспособность алгоритма для многослойных сетей. Если алгоритм не проходит этот тест, он не сможет решать и более сложные задачи. Отсутствие тривиальных решений. Сеть не может "схитрить" и найти простое линейное правило. Она вынуждена научиться создавать новые признаки в скрытом слое, которые линейно разделяют данные. В случае XOR этими новыми признаками являются AND, OR и NAND. Почему разработчики проверяли именно на ней? Исторически, после "зимы ИИ", вызванной в том числе проблемой нелинейной разделимости, возрождение интереса к нейросетям в 80-х годах (во многом благодаря работе Румельхарта, Хинтона и Уильямса о backpropagation) нуждалось в убедительном доказательстве. Показать, что алгоритм может научить сеть решать XOR, было именно таким доказательством: "Смотрите, наш метод работает там, где старые методы были бессильны!". Это был мощный демонстрационный пример. Почему важно обучить сеть до 0 ошибок (100%), а не до 99.7%? Этот пункт даже важнее первого в контексте данной конкретной задачи. Разница между 100% и 99.7% — это разница между пониманием задачи и запоминанием данных (overfitting) или нахождением неверного, но почти работающего решения. 100% точность — индикатор обобщения (Generalization). Задача четности — это логическая, детерминированная функция. Для любого набора входных битов существует единственный правильный ответ. Если сеть на обучающей выборке из 4 примеров показывает 99.7% (то есть ошибается на одном примере), это означает, что она не выучила правило. Она выучила 3 частных случая, но не поняла общий принцип четности. Достижение 100% на всех примерах — это единственное доказательство того, что сеть действительно абстрагировала правило и сможет правильно применить его к любому новому входу (конечно, в рамках той же битности). Это идеальное обобщение. Экспоненциальная сложность задачи. Задача усложняется экспоненциально с ростом количества битов. Для 3 битов — 8 примеров, для 4 битов — 16, для N битов — 2^N примеров. Если на малой задаче (XOR, 2 бита) сеть не может достичь 100%, то при масштабировании на 5, 10, 20 битов ее ошибка будет катастрофической. 99.7% на 4 примерах — это 1 ошибка. 99.7% на 1024 примерах (10 битов) — это уже ~30 ошибок. А поскольку правило глобальное, эти ошибки будут систематическими, и сеть будет бесполезна. Различие между "почти правильно" и "правильно" в логических задачах. В задачах распознавания образов (например, классификация кошек и собак) 99.7% — это феноменальный результат. Ошибка в 0.3% может быть следствием шума в данных, неоднозначности маркировки или исключительных случаев. В задаче четности нет исключений. Ответ либо четный, либо нечетный. Ошибка в одном примере из четырех (25% ошибки!) — это провал. Сеть, ошибающаяся на одном примере, демонстрирует, что она не смогла сформировать правильную внутреннюю репрезентацию. Возможно, она застряла в плохом локальном минимуме, где нашла решение для трех точек, но не для четвертой. Сводка Задача четности — это минимальный тест на способность алгоритма обучать сети находить нелинейные зависимости. Это "Hello, World!" для многослойных нейронных сетей. Требование 100% точности для этой задачи — это не придирка, а фундаментальное требование. Оно подтверждает, что сеть не просто запомнила примеры, а поняла абстрактное логическое правило, которое будет корректно масштабироваться. Разработчики, добиваясь 100%, доказывали, что их алгоритм (backprop) действительно решает проблему, а не обходит ее частично. Таким образом, эта пара "простая нелинейная задача + требование абсолютной точности" является краеугольным камнем для проверки корректности и эффективности фундаментальных алгоритмов обучения. P.S. Конечно нейросетка давая этот ответ тоже страдает болезнью, но хотя бы так, для хамов и прочих не благодарных, мне лень давать более точный ответ. [Ответ][Цитата]
Стр.12 (13): 1  ...  8  9  10  11  [12]  13 << < Пред. | След. > >>