GotAI.NET

Форум: Проблемы искусственного интеллекта

 

Регистрация | Вход

 Все темы | Новая тема Стр.22 (32)<< < Пред. | След. > >>   Поиск:  
 Автор Тема: На: Местология
Андрей
Сообщений: 3943
На: Местология
+1
Добавлено: 24 фев 19 16:26
Цитата:
Автор: гость 188.170.81.*
безответной критики ваших упрощений
Если я буду отвечать на все Ваши возражения, то:
1. я невольно втянусь в Ваш дискурс, а он мне не интересен и, имхо, бесперспективен
2. буду постоянно повторяться, потому что Вы редко сообщаете что-то новое
3. зря потрачу время и другие ресурсы
4. упущу возможность порассуждать на действительно интересные темы.

Цитата:
Автор: гость 188.170.81.*
вы сказали про ретроспективный анализ, то это хорошо известная проблема распределения подкрепления в многоходовом RL
Вот это интересная тема.
Я не сильно углублялся в алгоритмы обучения с подкреплением, потому что сама постановка вопроса видится мне ложной и оторванной от реалий - научить некоторого интеллектуального агента достигать некоторое целевое состояние или увеличить какой-то выигрыш (если я правильно понял) путём подкрепления "сахарком" правильных действий. Я не знаю у кого как, но в своём поведении я ничего подобного не наблюдаю. Видимо и само название и сущность метода происходит из простейших опытов Павлова над собаками. Но если у собак вырабатывали одношаговый условный рефлекс на некий раздражитель, в дополнение к основному врождённому рефлексу, то представить себе возможность подкрепления многошагового рефлекса не представляется возможным. Комбинаторным деревом привалит сразу же.

Нашу психику удобно и, как мне кажется, достаточно корректно представить в виде такой красочной аналогии. Вы сидите в автомобиле спиной к лобовому стеклу, автомобиль едет вперёд, за рулём сидит слепой водитель, а Вы смотрите на удаляющуюся дорогу и на следы, которые оставляет после себя автомобиль. В зависимости от того, что Вы видите, Вы даёте управляющие команды слепому водителю, сознательно или рефлекторно-автоматически.
Дорога, как Вы понимаете - это Ваша память. То, что Вы видите на этой дороге в данный момент - это наполнение Вашего сознания. В отличие от реальной дороги мы имеем счастливую возможность заглянуть очень далеко в прошлое "за горизонт" и увидеть ту часть дороги, которую мы давно проехали (т.е. можем вспомнить что-то). Естественно, когда мы вспоминаем что-то, это тут же появляется как след на нашей дороге (ведь мы запоминаем наши акты вспоминания). Когда мы думаем о будущем, предполагаем, прогнозируем, что у нас "за спиной" - эта наша мысль тоже оставляет такой же след на дороге, к которому мы тоже можем обращаться для принятия решения. Как Вы понимаете, в нашей реальности что угодно можно делать с дорогой, которую мы проехали (с нашей памятью), но принципиально невозможно развернуться и посмотреть "куда едет автомобиль" (наше будущее). Говорят, баба Ванга и Нострадамус такое могли, но мы себе такую экзотику позволить не можем. Конечно, по одним и тем же участкам дороги мы можем проезжать многократно, изучая их в деталях, но это всё равно не гарантирует нашей уверенности в том, что у нас за спиной.

Из этой аналогии сразу становится понятно, что:
1. Интеллект может быть исключительно реактивным устройством. Да, он может реагировать очень быстро, очень удачно, очень ловко, но стимул, который становится условием нашей реакции, должен сначала появится "на дороге", т.е. попасть в восприятие, в прошлое, в нашу память, в наше сознание.
2. Ретроспективный анализ - это не какая-то частная процедура из многих - это основное наполнение нашего мышления (помимо построения самих рефлексов, реакций).
3. Некорректно описывать интеллект как агента, стремящегося к чему-то. Это - кибернетический нонсенс, в свете описанной аналогии. Интеллект, это устройство, реагирующее на отклонения "автомобиля", учащееся выявлять ошибки и готовится к ошибкам заранее. И если мы научимся не допускать ошибок, реагировать до наступления ошибки, то это даёт нам шанс (только шанс! вовсе не гарантию) достичь "пункта назначения" т.е. выигрыш, максимизацию выгоды, целевое состояние - называйте как хотите. Т.е. акцентировать своё внимание нужно не на том, что у нас "за спиной", чего мы принципиально не видим. А на том, что у нас перед глазами - наш опыт, наша память, наши ошибки.

Самое главное, что здесь буйным цветом не расцветает комбинаторное дерево. Здесь достаточно выработать отдельные правильные реакции на отдельные отклонения, чтобы получить шанс достичь большой цели. Вместо достижения большой цели в явном виде нам приходится довольствоваться тем, что мы избегаем ошибок (отклонений от норм), т.е. делаем то, что называется ставить промежуточные цели, промежуточные задачи.

Суть ретроспективного анализа, как я уже говорил, сводится к тому, чтобы выявить виновника ошибки (отклонения от некоторой нормы) и попытаться ввести ещё одну норму, предшествующую ошибке и выработать реакции на отклонения от этой нормы.

Вот возьмём Ваше сообщение, как пример ретроспективного анализа, который Вы сделали в отношении моего предыдущего сообщения ("дороги", которую Вы проехали спиной вперёд). Посмотрим, кто же на Ваш взгляд виноват и делает ошибки:

примитивизм местологии и рефлексоведения - я виноват и ошибся в том, что выдвигаю примитивные концепции
хоть бы одно сильное слово - я виноват и ошибся в том, что не выдвигаю сильных слов
вы просто невнимательно читаете - я виноват и ошибся в том, что невнимательно читаю
вы огорчаете своих собеседников - я виноват и ошибся в том, что огорчаю своих собеседников

Понятно, что если в Вашем анализе виноват я, то значит меня и нужно исправлять, меня нормировать. И когда Вы едете опять по той же "дороге", мы наблюдаем Ваши корректировочные реакции на мои отклонения от Ваших норм. Ведь это только я виноват. Вовсе не Вы. Не так ли?

Цитата:
Автор: гость 188.170.81.*
самому нужно быть не глупым, не трусливым, не конформинистичным
Всё это укладывается в одно - быть рациональным.

Цитата:
Автор: гость 188.170.81.*
мечтая о рабах, незаметно станешь рабом плохо осмысленной мечты
"кто кем побежден, тот тому и раб"
2Пет 2:19
[Ответ][Цитата]
Траян
Сообщений: 1063
На: Местология
Добавлено: 24 фев 19 20:54
Изменено: 24 фев 19 20:58
Цитата:
Автор: Андрей

"Автор: гость 188.170.81.*
вы сказали про ретроспективный анализ, то это хорошо известная проблема распределения подкрепления в многоходовом RL"

Вот это интересная тема.
...
Комбинаторным деревом привалит сразу же.

+10500
Тема эта действительно интересная, причем интересная настолько, что я, с Вашего позволения, почти целиком Ваш пост утащу себе в ветку - дабы не пришлось потом его искать по всей Готайке.

А по прошествии некоторого времени, когда дозреют необходимые для этого условия, обстоятельно и содержательно на него отвечу.
[Ответ][Цитата]
Траян
Сообщений: 1063
На: Местология
Добавлено: 24 фев 19 20:56
Цитата:
Автор: гость
это хорошо известная проблема распределения подкрепления в многоходовом RL - вам было бы крайне полезно повникать в статьи с анализом 'так почему RL все никак не заработает должным образом'..

О каких именно статьях идет речь?
[Ответ][Цитата]
гость
188.170.75.*
На: Местология
Добавлено: 25 фев 19 1:40
А.> Вы редко сообщаете что-то новое

а по-моему, у меня достаточно много нового (для вас), но вы плохо считываете. Вот у вас ВООБЩЕ нет ничего нового.

> он мне не интересен

так ли это, коли вы так заинтересованно реагируете на критику (правда, не по существу)?
по-моему, это опять у вас риторические фигуры самообмана и неуместные инсинуации - вы не отвечаете 'по предмету' не потому, что 'не интересно' - всякую обильную ерунду вы ведь пишите, находите для этого 'ресурсы', - а потому что не можете убедительно защитить свои сверхупрощения. Приведение обиходных примеров где понятия нормы, места 'работают' не является доказательством их достаточности, а критика заключается как раз в обращении к тем вещам, которые за рамками ваших упрощений, - и, похоже, за рамками вашего понимания.

> Комбинаторным деревом привалит сразу же.

мне представляется, что трудность в другом. САма по себе комбинаторика для не слишком больших цепей не такая уж неподъемная, тем более есть разного рода эвристики ее снижения. НО как не снижай число вариантов распределения вознаграждения, но все равно их число остается таким, что рано или поздно альтернативные миры распределения подкрепления (ценности данного хода в данной cитуации) начнут давать несовпадающие рекомендации, что подрывает осмысленность всей процедуры обучения. Т.е. 'сама собою' возникает необходимость в более развитом механизме организации поведения.

> Вы смотрите на удаляющуюся дорогу и на следы, которые оставляет после себя автомобиль

представляется, что это неточная аналогия - наша память ведь не только ретроскопична, она поддерживает и механизмы предвидения, прогноза, антиципации. Модели ситуаций формирукются по данным прошлого, но модели могут проигрываться в режиме упреждения, - причем на 'высоком' уровне модели могут формировать и альтернативный прогноз развития событий.
водитель все-таки видит дорогу вперед - ожидает чего-то, что-то предполагает, к чему-то готовится - установка на будущее вполне себе конкретна, именно на будущее, причем конструкция образа будущего может отличаться от реконструкции прошлого, можно предвидеть неожиданности как таковые, иметь ресурсы для коррекции плана, переключения на другой план.
будущее открыто, но не настолько открыто, чтобы был постоянный плотный поток важного неожиданного - все-таки модели будущего более-менее эффективны (это в сингулярности или полном хаосе будущее будет принципиально непрогнозируемо, или при расстройстве аппарата задания важного - тогда картина реальности будет переполненна странными событиями и совпадениями). В обычных условиях будущее 'просачивается' в настоящее - катастрофы не вполне внезапны, возможно обнаружение флагов катастроф, предикторов, ранних признаков. Но возможны и существенно случайные события (как пересечения причинных серий), но, опять же, есть возможность продумать действия при непредвидимостях заранее (поддерживать свободу маневра).

> Из этой аналогии сразу становится понятно

из неточной аналогии следуют неточные выводы - сам вывод по аналогии небезупречен, а тут он отягощается еще и неточностью аналогии.

интеллект не только реактивен, но и активен (использует модели будущего). Водитель на дороге реагирует на стимулы, Но пускается в дорогу по мотиву, имеет цель, - и дорога это только уровень в общей апктивной деятельности (буквально же за рулем можно думать о прочем, разговаривать, а не просто пассивно ожидать внешнего повода для реакции).

> Это - кибернетический нонсенс,

нет, ваши рассуждения это нонсенс 'реактоведа', чела который выше уровня рефлекса заглянуть не может. Уже говорили, что действие может порождаться по внутренней мотивации, эндогенно, по внутренней причине, напр. по интересу (неконкретной цели) или рециркуляторной индукции - и действие направлено тут не столько на 'ликвидацию стимула', и даже не просто на насыщение потребности, достижение цели, а на развитие интереса, развитие представления цели etc - ребяческий язык банальной рефлексологии не очепнь адекватен для 'высших мотивов и планов организации'.

> готовится к ошибкам заранее.

cуть, что интеллект не фиксированный регулятор, он управитель и осмыслятор - он может систематические уклонения принять за новую норму регуляции, он может задавать произвольные (условно) нормы регуляции, задавать меру приемлемых отклонений etc - интеллект более это не сам контур регуляции, а аппарат целеопределения, нормозадатчик, осмыслятор проблемы.

> наши ошибки

функционирование ключевых нейрофизиологических структур организации поведения и описывают в рамках модели минимизации (или нормализации) ошибки ПРОГНОЗА.

> достаточно выработать отдельные правильные реакции на отдельные отклонения,
> чтобы получить шанс достичь большой цели.

не достаточно - общая структура подцели-цель должна быть верной, иначе уверенно достигая подцели вы не достигнете цели.

> я виноват

НЕТ!! вину вам никто не вменяет. Я лишь с соотв. основанием констатирую то, что вам не нравится - но ведь это верные констатации..
вы не виноваты что вы обладаете той спецификой мышления, которая продуцирует анамальные установки на фиксизм, изолирующую абстракцию, cверхупрощение, самоуверенность, интроспекционисткую наивность и прочее.
если вы в чем и виноваты, То это в нежелании воспринять что вам говорят. Но, опять же, это ваше нежелание это тоже естесвенное явление для вас (для ваших психолого-когнитивных диспозиций) - нельзя же винить горбуна что он горбат..

нет, я бы все-таки был бы не только ретроспективен (ваша хроническая упертость), но и проспективен - зачем изгонять надежду, что до вас что-то все-таки дойдет.. тем более что на длинных периодах вы демонстрируете какие-то подвижки. И кусок прошлого это может быть только часть сегмента вашей личной эволюции, уходящего в будущее.

в чем моя вина? что я питаю 'нормальную' надежду?

> быть рациональным

еще раз - не нужно исповедывать узкой, жесткой модели рациональности (аспектами которой является нормоведение, целерациональность, рабоведение etc).

> тот тому и раб

нет, ветхозаветные сентенции не вполне соответсвуют современному пониманию мира, включая и моральную философию. Рабу можно (и нужно) дать свободу (хотя бы самораспоряжения).
----------------

Т.>

без намека на 'ревность' - но ведь в посте андрея НЕТ ничего, что могло объяснить вашу ажиотацию..
Наоброт, в нем наличествуют откровенные вздорности (на почве неточной аналогии).

> О каких именно статьях идет речь?

на хабре на хабах машобуча и ии за последние пару лет на моей памяти было как минимум пяток статей (переводных) почти с такой же формулировкой заглавия.
[Ответ][Цитата]
Траян
Сообщений: 1063
На: Местология
Добавлено: 25 фев 19 3:09
Изменено: 25 фев 19 3:17
Цитата:
Автор: гость
Т.>
без намека на 'ревность' - но ведь в посте андрея НЕТ ничего, что могло объяснить вашу ажиотацию..
Наоброт, в нем наличествуют откровенные вздорности (на почве неточной аналогии).

Так я и не говорю, что я согласен с ним, и что в посте Андрея не содержится кучи сомнительных утверждений. (Опровергать которые я буду долго и со вкусом - когда придет для этого время.)

Ценным для меня в его сообщении было то, что сама задача многошагового RL показалась ему интересной. Вот это дорогого стоит.

И критиковать его я буду именно на этом поле.
(Все остальное в его построениях мне попросту не интересно.)
[Ответ][Цитата]
Траян
Сообщений: 1063
На: Местология
Добавлено: 25 фев 19 3:12
Цитата:
Автор: гость
> О каких именно статьях идет речь?

на хабре на хабах машобуча и ии за последние пару лет на моей памяти было как минимум пяток статей (переводных) почти с такой же формулировкой заглавия.

Если Вы не против, мы как-нибудь обсудим эту тему более подробно - "своевременно или чуть позже"/
[Ответ][Цитата]
гость
188.170.75.*
На: Местология
Добавлено: 25 фев 19 3:24
Т.> многошагового RL

в упомянутых статьях признается прогресс в RL, его интересные расширения на многоагентные и иерархические постановки, но дух какой-то 'безнадежности' витает (андрей эту ограниченность по-своему почувствовал, но выразил в своем духе как-то очень 'извращенно' проблема в некомплексности постановок, а андрей сам страдает этим недугом).
[Ответ][Цитата]
Андрей
Сообщений: 3943
На: Местология
Добавлено: 25 фев 19 3:39
Цитата:
Автор: Траян
с Вашего позволения, почти целиком Ваш пост утащу себе в ветку
Утаскивайте, пожалуйста. Всё, что опубликовано на форуме, фактически, валяется на дороге.

В связи с этим, отвечу здесь на соответствующие сообщения из Вашего топика.
Цитата:
Автор: Траян
Феномен Баадера — Майнхоф
Я уже отвечал на это, но вот в свете здешней дискуссии любопытно что выдал мне сегодня смартфон после автоматического обновления приложения: "Откройте хронологию, чтобы вспомнить все места, в которых вы побывали"...

Цитата:
Автор: гость 31.211.0.*
Если ехать вперёд головой, будущее становится доступным созерцанию.
Цитата:
Автор: гость 188.170.75.*
водитель все-таки видит дорогу вперед
Любая аналогия, конечно, неполна. В данной автомобильной аналогии хронологическая шкала просто представлена в пространственной развёртке. Но чтобы доходчиво объяснить, почему нельзя "ехать вперёд головой", предлагаю Вам представить следующую ситуацию. Вы налили себе пивка, уселись перед телевизором в ожидании интересного футбольного матча. И в этот самый момент у соседа взорвался газ. Ваши ошмётки разбросало по всей округе и всё Ваше "видение вперёд" накрылось медным тазом. Мы принципиально не видим будущее. Каждый следующий момент для нас - это внезапность. То, что нам кажется, что мы сносно видим (предсказываем) будущее, связано исключительно с тем, что мы редко, на самом деле, попадаем в абсолютно новые и неожиданные обстоятельства. Чаще всего мы едем по тем же самым "дорогам". Вот проехали указатель, значит нужно поворачивать направо, иначе врежемся в дерево. Но это всё равно не гарантирует, что сейчас на встречку не выскочит фура и всё "стремление к цели с подкреплением" будет закончено.
Принципиальная недоступность будущего для нашего сознания компенсируется многоплановым доступом к прошлому.

Цитата:
Автор: гость 188.170.75.*
интеллект не только реактивен, но и активен (использует модели будущего)
Просто интеллект может реагировать на свои собственные воспоминания. Как только эти воспоминания станут прошлым, конечно.
[Ответ][Цитата]
гость
188.170.75.*
На: Местология
Добавлено: 25 фев 19 4:00
А.> Мы принципиально не видим будущее.

мы принципиально не видим прошлого, настоящего, будущего - мы их реконструируем. Модели будущего есть - это есть наше 'видение'. Построили по данным прошлого модель - модель более-менее надежно 'продолжается' (экстраполируется), - так мы забываем про исходные данные, модель сама по себе становится нашим способом видеть будущее без актуального 'ретрогградного' анализа. когда мы обламываемся в своих ожиданиях, мы пересматриваем модели, вспоминаем какие-то данные для перемоделирования, подвергаем ревизии базис (отобранные данные) или просто непосредственно корректируем существующую модель.

> это внезапность

нет, есть много ситуаций 'гладких' продолжений или прогнозируемых негладкостей. Появление новой стороны за гранью кубика нас не особо удивляет. И вид за вашими окнами для вас не всегда внезапная неожиданность.
[Ответ][Цитата]
гость
188.170.75.*
На: Местология
Добавлено: 25 фев 19 4:07
и как бы реальность присутсвует в разуме не только модельно, но и имманеyтно - врожденные жкстраполяционные рефлексы, скажем, это как бы присутсвие закономерностей реальности в когнитивных закономерностях разума. Насколько реальное будущее вырастает из прошлого и настоящего, настолько ('примерно') разум способен в принципе 'понимать и видеть' будущее.
[Ответ][Цитата]
kondrat
Сообщений: 4026
На: Местология
Добавлено: 25 фев 19 7:22
Цитата:
Автор: Эгг
Вопрос о том, откуда это всё взялось - это ключевой вопрос. Тут даже не важно, что и как совпадает, сколько важно, что откуда берется и как развивается.

Ты сказал, что причинно следственные цепочки - это очень важно. К сожалению, практика показывает, что у незамкнутых таких цепочек рано или поздно просто надоедает искать первопричину.
[Ответ][Цитата]
Вольфрамовый клaпaн
Сообщений: 13070
На: Местология
Добавлено: 25 фев 19 7:27
Цитата:
Автор: kondrat
К сожалению, практика показывает, что у незамкнутых таких цепочек рано или поздно просто надоедает искать первопричину.

Замкнутых куда? )) Как ты себе это представляешь?
[Ответ][Цитата]
kondrat
Сообщений: 4026
На: Местология
Добавлено: 25 фев 19 7:40
Цитата:
Автор: Эгг
Замкнутых куда? )) Как ты себе это представляешь?
В кольцо. Циклы могут быть в любом графе, даже направленном. Возьми движение маятника, например. Явился в Казанский собор, посмотрел, на маятник Фуко, сделал гипотезу, что его кто-то раскачал, после чего пошёл периодический процесс, устал наблюдать, как он качается и ушёл, а процесс продолжился.
[Ответ][Цитата]
Вольфрамовый клaпaн
Сообщений: 13070
На: Местология
Добавлено: 25 фев 19 7:42
Цитата:
Автор: kondrat
В кольцо.

То есть будущие события причинно повлияли на свои причины... )))
Для меня (без серьезного обоснования) это немножко перебор...
[Ответ][Цитата]
kondrat
Сообщений: 4026
На: Местология
Добавлено: 25 фев 19 7:47
Изменено: 25 фев 19 7:49
Цитата:
Автор: Эгг
То есть будущие события причинно повлияли на свои причины... )))
Для меня (без серьезного обоснования) это немножко перебор...

Возможно, но я говорил не об этом. А именно, о том, что ты, предположил, что кто-то запустил маятник, но не побежал опрашивать кто (я бы тоже сломался на этой идее). Зато, ты прекрасно видишь, что сейчас сила тяжести потянет его обратно, что станет причиной разгона, что станет причиной другого отклонения и т.п.
Делаем вывод о цикличности процесса и, что он никогда не закончится.
[Ответ][Цитата]
 Стр.22 (32)1  ...  18  19  20  21  [22]  23  24  25  26  ...  32<< < Пред. | След. > >>