Форум: Проблемы искусственного интеллекта

Регистрация | Вход

Все темы | Новая тема  Стр.11 (11) << < Пред.    Поиск:
Автор	Тема: На: Уголок натуралиста
ёж Сообщений: 67	На: Уголок натуралиста Добавлено: 09 дек 25 10:29 Цитата: Автор: аdmax И начать можно с тренировки "на кошках", очевидно не нужно пытаться сразу моделировать наш "весь мир", идею можно проверить на совсем маленьких примерах, размером с мнист, ну может не мнист, но не больше гига. например? [Ответ][Цитата]
аdmax Сообщений: 304	На: Уголок натуралиста Добавлено: 11 дек 25 5:19 Цитата: Автор: Gray Tag Нужно вернуться к генерации латентных моделей и обратным задачах сенсорно-эффекторного маппинга Да, интересно было бы про это побеседовать с живыми людьми. Цитата: Автор: ёж например? Есть датасеты такие, но думаю логичней их самому делать, начать к примеру с "определить координату пикселя" и почему обычные алгоритмы вроде mlp или svm с этим не справляются? [Ответ][Цитата]
Gray Tag Сообщений: 13331	На: Уголок натуралиста Добавлено: 11 дек 25 6:14 Изменено: 11 дек 25 6:15 Цитата: Автор: аdmax Да, интересно было бы про это побеседовать с живыми людьми. На колониновском AGIRussia в телеграме много обсуждают RNN, наверное, на dxdy можно. Этот форум имеет свою некоторую специфику [Ответ][Цитата]
ёж Сообщений: 67	На: Уголок натуралиста Добавлено: 11 дек 25 16:04 Изменено: 11 дек 25 16:06 Цитата: Автор: аdmax к примеру с "определить координату пикселя" это разве мультимодал? не совсем понятно что же вы хотите, линк на датасет или код генератора плз, не очень понятно что вы предлагаете а главное зачем [Ответ][Цитата]
Egg Сообщений: 131	На: Уголок натуралиста Добавлено: 27 дек 25 4:48 Забавно, что полемика вокруг возможности или невозможности создать AGI свелась к вопросу о малтивёрсе. Если малтивёрс существует и в каждом событийном акте вселенная расщепляется на состояния, численность которых равно всем вариантам продолжения, тогда AGI невозможен в принципе, поскольку будущее неисчислимо. Это, отчасти, перекликается к Теорией Струн, которые оказались слабоприменимы из-за наличия 10500 возможных состояний. Но если вселенная одна и материальна (или одна и солипсична, что эквивалентно), а биологические процессы -- это синергия химических, которые в свою очередь -- синергия физических, то AGI достижим, даже несмотря на аспекты запутанности, суперпозиции и коллапса волновой функции. Вот такая забавная альтернатива )) [Ответ][Цитата]
Egg Сообщений: 131	На: Уголок натуралиста Добавлено: 27 дек 25 4:49 Вот главный ключ к пониманию этой проблематики (подсказка -- таким образом можно обойтись без целеполагания): Экспансия возникает тогда, когда в системе: • есть свободная энергия • есть неиспользованные степени свободы • существует механизм, который превращает энергию в изменение конфигурации [Ответ][Цитата]
Egg Сообщений: 131	На: Уголок натуралиста Добавлено: 27 дек 25 4:50 Гипотеза (а доказать (или просто проверить) мы ее тоже не можем, но только толковать свои ощущения)))) о существовании единственного материального мира требует очень много "неминимальных" допущений: 1) должна откуда-то взяться масса или энергия (несмотря на законы сохранения) 2) у каждый частицы (коих гуглиарды) где-то должен быть бортовой компьютер, который обсчитывает выполнение законов природы 3) все процессы рассеяния должны уметь решать NPC для своего поведения 4) эволюция (в формате "реального" мира) математически невозможна (и ее трудно объяснять людям, которые любят умножать вероятности)))), 5) итд, итп Вообще не понятно как это может реально работать)) Всё это настолько усложняет идилию сингл-версии вселенной как воплощения идей Оккама, что просто смешно это серьезно обсуждать Малтивёрс говорит вместо этого, что: 1) мир пуст, был пуст, есть пуст и будет пуст, всё сущее есть временная структурированная флуктуация пустоты, нет ни масс, ни частиц, ни объектов, есть суперпозиции и кластера неоднородностей, ничего кондового, только движение... 2) никто ничего не считает, никто ничего не выполняет, просто все процессы текут во всех ВОЗМОЖНЫХ направлениях, а невозможные просто схлапываются. Происходит фактический полный перебор вариантов с "одномоментным" действием фитнес-функции 3) решение NPC в такой постановке становится вырожденным 4) все нэгэнтропийные варианты содержатся в продолжениях малтивёрсных потоков, именно они закрепляются, становясь узлами для дальнейшей генерации, поскольку ЭНЕРГЕТИЧЕСКИ выгодны. Это и есть эволюция Только и именно в малтивёрсе идея минимизации ошибки (оккам, гамильтон, колмогоров, пригожин, кацнельсон, соломонофф) достигает своего полноценного воплощения [Ответ][Цитата]
Egg Сообщений: 131	На: Уголок натуралиста Добавлено: 27 дек 25 4:52 Эпистемологическая ошибка рассуждений про физику и математику в том, что считается, что физика - это про реальный мир как он есть, а математика - это про идеализированные вымышленные объекты. Нет. Любой раздел физики и любая самостоятельная часть его - это тоже язык. Очень формальный как в квантовой механике или очень поэтический как в философских концепциях Аристотеля и Демокрита, которые можно считать предтечей научного метода. Но и то и другое - это про вымышленные объекты. Про представления. В основе науки лежат Парадигмы, которые состоят из трех слоев: объекты - тексты - смыслы. Смыслы содержат в себе правила оперирования объектами, объекты содержат в себе контекстный корпус смыслов. Тесты связывают первое со вторым, второе с первым. Да, парадигма логики или арифметики более формальна, чем парадигма строительства дома по архитектурному проекту. Но не более. Эта же схема работает и в LLM, ошибка понимания того как работает LLM в том, что подавляющее большинство людей, думают, что текстовые корпуса на естественном языке - это тексты LLM, а это не так. Тексты LLM - это предтренированные веса нейронов, корпуса ЕЯ - это объекты, а эмбеддинги - смыслы. Но схема точно такая же. Парадигмальная. [Ответ][Цитата]
Gray Tag Сообщений: 13331	На: Уголок натуралиста Добавлено: 29 дек 25 5:57 Изменено: 31 дек 25 4:27 [Ответ][Цитата]
Egg Сообщений: 131	На: Уголок натуралиста Добавлено: 31 дек 25 4:22 Игорь Котенков, успешно практикующий дейтасаентист, инфлюэнсер пишет про АРК: "Про ARC-AGI и свою критику этого бенчмарка и мнений его автора, François Chollet (автор Keras), я писал много раз. Бенчмарк состоит из нескольких сотен визуальных головоломок с квадратиками разного цвета на сетке. Для каждой задачи дано 2-3 примера некоторого преобразования было -> стало, и предоставлен новый пример, для которого модели или системе нужно предсказать, каким должен быть результат. Для людей задачки достаточно простые — средний человек почти сходу решает 80%, а вот алгоритмы 3-4 летней давности едва ли брали двузначные процентов. С появлением рассуждающих моделей ARC-AGI 1 пал — o3-preview, представленная на декабрьском стриме, решала задачи лучше среднего человека. OpenAI пояснили, что модели учились на публично доступной части бенчмарка (что не запрещено — он для этого и дан), а организаторы добавили, что на решение затратили, по их подсчётам, миллион долларов в API-кредитах за LLM, потому что для каждой задачи o3-preview генерировала 1024 решения, а затем отсекала неправильные (не работающие для 2-3 данных примеров) и выбирала 2 самых частых ответа. Вот несколько цитат из оригинальной статьи 2019-го года, чтобы вспомнить контекст: — Мы утверждаем, что ARC может быть использован для измерения человекоподобной формы общего подвижного интеллекта и что он позволяет проводить честные сравнения общего интеллекта между ИИ и людьми — Мы постулируем, что существование программы, решающей ARC на уровне человека означало бы способность создавать ИИ на основе демонстраций (требуя лишь горстку примеров для спецификации сложной задачи) для решения широкого круга понятных человеку проблем (тут сложно не согласиться) — Насколько нам известно, к ARC невозможно подступиться с помощью какой-либо существующей техники машинного обучения (включая обучение нейросетей) из-за его фокуса на широком обобщении и обучении на малом количестве примеров Очень долго автор ходил с важным видом и говорил, что нейросети тут работать не будут. Потом пришли LLM и он говорил то же самое про них. Поверить, что o3-preview смогла решить было настолько сложно, что авторам пришлось придумывать много глупых ухищрений, включая обзывание LLM symbolic reasoners. У меня много критики и к бенчмарку, и к позиции авторов, но самое главное было то, что, как мне казалось, бенчмарк не решался LLM скорее из-за ограничения в работе с форматом поля из клеточек, которое к тому же требует очень длинного контекста (с которым модель хорошо работает). Невозможность решить задачу не являлось для меня аргументом к не-интеллекту LLM, так как проявление навыков было затруднено этими двумя вещами. И вот когда ARC 1 побили, выпустили ... ARC 2. Что в нём изменилось? Тезисно: — ... сделали сетку с клеточками большего размера (так что теперь нужно ещё больше токенов -> длиннее контекст) — ... больше объектов в сетке — многие задачи «сложнее», так как требуют комбинацию из 2-3 паттернов, а не 1 И вот с выходом моделей последнего поколения, Gemini 3 Pro и GPT-5.2, и на этом бенчмарке уровень людей был превзойдён. Стартап Poetiq сделали унифицированную систему (набор промптов и немного кода, см. тут), которая можешь запускаться на любой LLM. Но ясно, что чем лучше сама базовая модель, тем выше качество, сами они по сути сделали очень мало. Получается, что такой результат это в большей степени заслуга Google и OpenAI (GPT-5.2 X-High там вообще какой-то безумный скор показала). Это они натренировали модели, готовили данные, придумывали алгоритмы. Почти наверняка они использовали подходы, схожие с топ-решениями соревнования ARC на Kaggle. Основная фишка там — это сгенерировать огромное множество искусственных примеров задач и учить модель на них в попытке показать как можно больше вариаций паттернов, которые могут встретиться в тестовой выборке. По сути, это просто пайплайн генерации синтетики + обучение на нём, помимо других задач. И поскольку эти пайплайны могут существенно отличаться, то сложно сказать, у какой из команд лучше именно алгоритм обучения рассуждениям. В модель втренировывают все вариации задач. Отсюда ясно, что настоящий инсайд результатов ARC AGI — это наличие алгоритма тренировки и базовой модели, которые позволяют для некоторого класса задач за относительно недлинный промежуток времени очень прокачать качество. Главное что компании должно быть это интересно (а не просто считать буквы в словах). Другими словами, если OpenAI считают, что выполнение задачи X принесёт большую ценность, то они берут, тратят миллионы долларов на сбор и разметку данных, учат модель, то сё, и вот навык существенно прокачивается. Не до 100%, и иногда даже не сразу до человеческого уровня, но скачок заметный. И затем за ~год научиться это делать гораздо более эффективно (не за миллион долларов, а за тысячи). Так что бенчмарки ARC AGI 1 и 2 во многом считаю бесполезными, но при этом некоторым proof-of-concept для проверки алгоритма обучения. Но если задаться целью проверять именно это, то может быть есть куда более интересные и ценные направления? ARC AGI 3 немного изменит подход, но по мне так это снова банальное усложнение через увеличение количества клеточек. В третьей версии будут интерактивные игры, где система должна делать ходы (прям нажимать вверх-вниз-влево-вправо) и за несколько попыток понять правила игры и пройти несколько уровней. Пожалуй, это позволит протестировать ещё более длинные контексты (теперь вход в модель для рефлексии - это не одно поле, не набор пар, а длинная череда слепков поля и действий), а также навык выведения правил игры в рамках одной сессии. Но можно ли это проверять как-то по другому, и без, блин, полей в клеточку 60x60, которые занимают 3600 токенов ~= 9 страниц текста на КАЖДЫЙ слепок? А то основные навыки у моделей будут, а потом окажется, что не можем решить задачи из-за ошибок в распознавании пикселей на картинке." [Ответ][Цитата]
Стр.11 (11): 1  ...  7  8  9  10  [11] << < Пред.