Форум: Проблемы искусственного интеллекта

Регистрация | Вход

Все темы | Новая тема  Стр.3 (4) << < Пред. | След. > >>    Поиск:
Автор	Тема: На: Microsoft Terrarium
daner Сообщений: 4633	На: Microsoft Terrarium Добавлено: 01 апр 09 1:55 кстати, а вот и цитата из книги на которую вы давали ссылку. Я выразился почти теми же словами. Цитата: ...поэтому так важно вводить в систему адаптирующие подсистемы, которые будут ее изменять, с тем чтобы поддерживать ее эффективность в оптимальном состоянии независимо от состояния среды. [Ответ][Цитата]
tac Сообщений: 2601	На: Microsoft Terrarium Добавлено: 01 апр 09 1:58 Цитата: Автор: daner Не возымели. И я не понинаю, чем не устраивает инженера понятие адаптации в том виде в котором его принято применять (т.е. в смысле приспособления к изменениям в среде). И почему только компенсация (кстати, что ВЫ под этим термином понимаете)? И термин адаптация вы используете не просто из сферы управления (где его нормально применяют в смысле приспособляемости) а из какой-то еще более узкой области (даже не знаю какой именно) А объяснить вы не можете, так как сами понимаете это только на интуитивном уровне. Когда сможете четко сформулировать эти ВАШУ задачу адаптации, тогда объяснить ее будет не проблема (т.е. формализовать). Для меня -- как инженера -- адаптация (в частности поведения, так как адаптация формы, меня пока интересует меньше) есть изменение стратегии поведения агента на более эффективную, в случае изменения условий понижающих эффективность текущей стратегии. Сюда и компенсация входит, и обучение, и эволюция, и более простые формы подобного поведения. А вы прочтите первую главу книги Растригина (ссылку я давал выше) - многие вопросы отпадут сами собой ... "А объяснить вы не можете" - ошибаетесь ... теперь уже могу (благодаря найденной книги) - вопрос лишь в так сказать - численных примерах ... [Ответ][Цитата]
tac Сообщений: 2601	На: Microsoft Terrarium Добавлено: 01 апр 09 2:06 Цитата: Автор: daner кстати, а вот и цитата из книги на которую вы давали ссылку. Я выразился почти теми же словами. Ну, с высоты птичьего полета - я и не спорю ... но это были бы просто слова, без формализации так сказать (которую вы так любите) - вот поэтому это и не устраивает инженера ... там есть более точные определения ... [Ответ][Цитата]
daner Сообщений: 4633	На: Microsoft Terrarium Добавлено: 01 апр 09 3:23 да.. почитал (первую главу). Все тоже, что и у всех. четкая формализация процесса управления и формальное отличие процесса адаптации от других процессов (кстати иногда чисто из пальца высасаное, например там где идет противопостовление компенсации. Но это не страшно, так как в контексте читать надо. Но мне кажется вы не совсем понимаете, что подразумевается под нечеткостью среды и неизвестностю модели. Это совсем не обязательно полное отсутствие формализации последних. Всего лишь имеется ввиду, что во время программирования (создание системы) не известно состояние среды и самого агента. Но это не значит, что нет никакой символьной системы способной описать данное состояние. Короче, с этим никто и не спорил. [Ответ][Цитата]
tac Сообщений: 2601	На: Microsoft Terrarium Добавлено: 01 апр 09 11:47 Цитата: Автор: daner 1. иногда чисто из пальца высасаное, например там где идет противопостовление компенсации. 2. Всего лишь имеется ввиду, что во время программирования (создание системы) не известно состояние среды и самого агента. Но это не значит, что нет никакой символьной системы способной описать данное состояние. 1. С чего бы это вдруг - скорее очень верно подмеченно 2. Но ее таки нет, и ее нельзя сделать в определенных условиях ... Есть только предположение, которое синтезировал агент в определенный момент времени ... "для управления методом компенсации необходимо: 1) знать состояние X среды, 2) иметь модель F (X, U) объекта," "с этих позиций рассмотрим адаптацию ... ни состояние X среды, ни модель F объекта неизвестны ... Доступны для наблюдения лишь оценки .. на которые накладываются случайные помехи ... Как видно, основное отличие адаптации от компенсации состоит в том, что задача оптимизации (1.4.4) здесь решается по «зашумленным» реализациям функционалов при неизвестной структуре этих функционалов." [Ответ][Цитата]
daner Сообщений: 4633	На: Microsoft Terrarium Добавлено: 01 апр 09 14:08 из пальца, так как не вытикает из предыдущих рассуждений. просто он так решил и дальше отталкивается именно от этого. Вам это нравится? ОК. Кто же запрещает? Но только это как раз и есть "узко определенный термин". Т.е. напишите его в своей статьте без предворительной оговорки, и сомневаюсь, что вас кто-то поймет правильно. Но опять таки. Я лично нигде не увидел, что существует не возможность символьного описания среды. Неизвестность есть, ну и что? Обратите внимание на уже известный вам PoMDP. Это как раз пример, когда существует именно такая неизвестность состояния среды. Но при этом, существует символьная система (включающая вероятности и все такое прочее) которая описывает эту самую неизвестность. Плохо или хорошо, это другое дело, но это есть, это поддается анализу, это отличный базис. ================= НЕ ПО ТЕМЕ СПОРА ==================== Несколько странно описывается что такое Х и Y. Ну Х понятно, состояние среды, но вот Y.... описывается как состояние объекта. На сколько я понимаю... если мы управляем автомобилем, то Х -- это и состояние среды и состояние автомобиля и точно тоже самое Y... или я не совсем врубаюсь, что есть что. Вы это точно поняли? А... возможно это надо рассматривать так Х -- состояние среды. Y состояние объкта. F -- модель объекта, P -- модель физики среды, U -- управление. Тогда агент (ну мне так проще мыслить) получается вот так Получаем Где PF -- модель агента (т.е. композиция функционалов модели объекта и физики самой среды). Хм... наверное P (или что-то подобное) появится когда автор дойдет до активной адаптации. [Ответ][Цитата]
tac Сообщений: 2601	На: Microsoft Terrarium Добавлено: 02 апр 09 2:41 Цитата: Автор: daner Несколько странно описывается что такое Х и Y. Ну Х понятно, состояние среды, но вот Y.... описывается как состояние объекта. На сколько я понимаю... если мы управляем автомобилем, то Х -- это и состояние среды и состояние автомобиля и точно тоже самое Y... или я не совсем врубаюсь, что есть что. Вы это точно поняли? А... возможно это надо рассматривать так Х -- состояние среды. Y состояние объкта. F -- модель объекта, P -- модель физики среды, U -- управление. Тогда агент (ну мне так проще мыслить) получается вот так Получаем Где PF -- модель агента (т.е. композиция функционалов модели объекта и физики самой среды). Хм... наверное P (или что-то подобное) появится когда автор дойдет до активной адаптации. Спасибо, что обратили мое внимание на это ... чесно говоря понимаю это с трудом ... действительно ваша P появляется в некотором виде ... но на порядок сложнее ... Х как состояние среды - на мой взгляд вообще получить нельзя и тем более через функцию от состояния объекта (только обратное имеет место) ... Поэтому речь идет не о состояниях среды (самое по себе), а о целях объекта приведенных к терминологии состояний (помните как с холодильником - когда моя цель неиспортить продукт - можно превести к виду поддерживать определенную тем-ру) и точнее о критериях этих состояний (т.е. что с ними надо делать уменьшать, ограничивать и т.п.) Так вот как я понимаю ваша P там заменяется мат. ожиданием в зависимости от распределения состояния среды (формула 1.2.8.) - что и есть как я понимаю стандартный вариант компенсации, частным случаем которой является PoMDP - это и есть вероятностное описание неизвествности среды. Ну и далее по тексту: "Задачи такого рода при заданных модели F объекта F0 и распределении р(Х) называют задачами стохастического про- граммирования [248], которые отличаются тем, что минимизируемые функционалы и функционалы ограничений являются сто- хастическими, т. е. математическими ожиданиями. Трудность решения этих задач очевидна. Однако задачи адаптации осложняются еще и тем, что нет модели объекта F и отсутствует информация о распределении р(X) состояний среды X. Более того, эти факторы изменяются во времени непредсказуемым образом. Следовательно, даже располагая алгоритмом φ решения за- дачи (1.2.9.) с ограничениями (1.1.10) в виде U* = φ (F, p (X) ). (1.2.11) нельзя считать задачу адаптации решенной. Необходимо еще идентифицировать изменяющийся объект F0 и статистические свойства среды, чтобы получить W = V (Ft, Pt (X) ), (1.2.12) где Ft — модель объекта, a pt (X) — плотность распределения X. Эти обстоятельства заставляют отказаться от попыток искать алгоритм φ решения поставленной задачи адаптации, так как для сложного объекта адаптации зависимости Ft и pt(X) весьма сложны, что исключает даже определение функционалов." т.е. если упростить то таки да "композиция функционалов модели объекта и физики самой среды" - но их нельзя определить - о чем я вам постоянно и говорю, и решать задачу нужно без их определения, поэтому формализировать частный случай можно, чтобы понять о чем вообще речь - но это не поможет решить задачу ... И еще раз "символьная система (включающая вероятности и все такое прочее) которая описывает эту самую неизвестность" - из текста прямо следует (замедте это сейчас, если не заметели ранее) "отсутствует информация о распределении р(X) состояний среды X", т.е. нету описания неизвестности даже вероятностно ! [Ответ][Цитата]
tac Сообщений: 2601	На: Microsoft Terrarium Добавлено: 02 апр 09 3:05 В принципе все довольно просто Помните вы объясняли мне про камень-ножницы-бумага и я выставлял против вашего алгоритма случайность ... что вы делали ? Вы вначале искали модель моего агента, причем предполагали, т.к. даже если вы определили что он случаен, то затем я усыпив вашу бдительность мог начать действовать обдуманно, поэтому вы каждый шаг адаптировали бы свою систему предполагая мою модель ... Тут вы скажите, что вам известны правила игры - правильно, но и адаптация у вас была только параметрическая ... отбиру я у вас правила - вам прейдется предполагать по каким правилам я играю - займетесь структурной адаптацией ... затем я отбиру у вас игроков - и вам прейдется их вначале искать чтобы с ними играть - будет адаптация выделения объектов управления ... и наконец я отбиру у вас смысл вашей игры ... и вы будите вынужденны искать ваш субъективный смысл при том, что смысла ни какого нету ... вот тут вы и получите задачу адаптации А теперь представьте себе любую стратегическую игру в которую играет человек ... как правило он даже не знает правил, потыкается, найдет на кого можно воздействовать, придумает себе сам некий смысл (ряд игр это позволяет особенно глобальные цивилизации - там нет определенной цели игры) - всех убить, или технологическое превосходство или дипломатия, дружба, мир и т.д. - и вот ничего не знал, ни какой формализации игры, постоянно изменяющийся мир и целей нет ... а играет и интересно ... вот отсюда и мои попытки исследовать такие задачи - если помните именно на среде игры "Цивилизация", а уже потом на "Террариуме" ... а главное - это и есть нечто похожее на ИИ, и кстати ИИ в моем смысле, который не стыдно показать биологам ... покаже я выделяю минимум который необходим, чтобы обеспечить среду в которой нужно решать именно задачу адаптации в полном смысле ... ведь понятно, что исследователю не нужны все детали имеющихся стратегических игры, но обрезать их так чтобы осталась конкурентная среда - вот это и есть моя задача [Ответ][Цитата]
daner Сообщений: 4633	На: Microsoft Terrarium Добавлено: 02 апр 09 3:16 Весь ваш пост комментировать не буду, так как еще не дочитал до указанного открывка (время не хватает). Замечу только некоторые моменты: Цитата: т.е. если упростить то таки да "композиция функционалов модели объекта и физики самой среды" - но их нельзя определить - о чем я вам постоянно и говорю, и решать задачу нужно без их определения, поэтому формализировать частный случай можно, чтобы понять о чем вообще речь - но это не поможет решить задачу ... В данном случае, функционалы -- это алгоритмы (т.е. сами модели агента и/или среды), а я и не утверждал, что они известны заранее. Я только говорил о формализации символьной системы (если ее так можно назвать). Тот же PoMDP (уж коли начали о нем говорить), не описывает, ни модель среды, ни модель агента (уж тем более агента). Он предоставляет формализм, с помощью, которого среда может быть описана. Тоже касается и этого вашего высказывания: Цитата: И еще раз "символьная система (включающая вероятности и все такое прочее) которая описывает эту самую неизвестность" - из текста прямо следует (замедте это сейчас, если не заметели ранее) "отсутствует информация о распределении р(X) состояний среды X", т.е. нету описания неизвестности даже вероятностно ! Вероятности не известны заранее, но это не говирит о том, что неизвестно о самих вероятностях и то что их не возможно узнать (т.е. часть алгоритма управления должна отвечать за выяснение этой вероятности). Для примера, обратимся к более простой модели чем PoMDP -- простому MDP. Он не описывает среды (как я уже говорил), а предоставляет язык описания. Этот язык не достаточен для всех задачь (другими словами, не всякая среда может быть этим языком описанна), поэтому появился PoMDP. Но вернемся к простой форме. Агент не знает какая среда перед ним в момент начала функционирования. Он не знает какие состояния существуют (MDP это позволяет), он не знает какие вероятности у перeходов (т.е. матрица транзакции не известна). В мульти-агентном варианте... например при использовании Q-Learning (алгоритм обучения, который создает таблицу больцмоновских вероятностей применения действий) всеми агентами, еще не говорит о том, что модель поведения агентов известна (или одинакова). На самом деле модель поведения -- это не алгоритм обучения (ну т.е. и он тоже), а та Полиса (или стратегия, выражаясь языком Т.Игр), которая создается в процессе обучения каждым агентом индивидуальна, поэтому другие агенты не знают какая модель поведения у их напарников (противников). Так что, вы ошибаетесь говоря о том, что PoMDP -- это компенсация. Даже по зауженному определению, которое дается в обсуждаемой книге, MDP (соответственно и PoMDP) чистой воды адаптация. (Здесь надо уточнить, что не просто МDP, а включая конкретные алгоритмы и задачи на нем основанные, т.е. этим языком описанные). [Ответ][Цитата]
daner Сообщений: 4633	На: Microsoft Terrarium Добавлено: 02 апр 09 3:30 Цитата: Автор: tac А теперь представьте себе любую стратегическую игру в которую играет человек ... как правило он даже не знает правил, потыкается, найдет на кого можно воздействовать, придумает себе сам некий смысл (ряд игр это позволяет особенно глобальные цивилизации - там нет определенной цели игры) - всех убить, или технологическое превосходство или дипломатия, дружба, мир и т.д. - и вот ничего не знал, ни какой формализации игры, постоянно изменяющийся мир и целей нет ... а играет и интересно ... вот отсюда и мои попытки исследовать такие задачи - если помните именно на среде игры "Цивилизация", а уже потом на "Террариуме" ... а главное - это и есть нечто похожее на ИИ, и кстати ИИ в моем смысле, который не стыдно показать биологам ... покаже я выделяю минимум который необходим, чтобы обеспечить среду в которой нужно решать именно задачу адаптации в полном смысле ... ведь понятно, что исследователю не нужны все детали имеющихся стратегических игры, но обрезать их так чтобы осталась конкурентная среда - вот это и есть моя задача Вы не правы. Все стратегические игры похожи, поэтому у игроков не возникает проблем с игрой и поэтому они получают удовольствие (и цели там достаточно четкие и понятные, из них надо только выбрать ту, что подходит больше). Раньше когда такие игры только появлялись, нужно было серьездно читать инструкции (впрочем, появлялись они постепенно, с постепенным нарастанием сложности в правилах, так что это не составляло особой проблемы). Многие игры, вообще легко формализуются в плане описания правил, но это не значит, что их легко решать. На счет КНБ, вы верно рассуждаете. Единственное, что вы не правильно понимаете это активную адаптацию. Т.е. не "отберу", а "предоставлю выбор". Только тогда можно говорить о поиске. Но в таком случае, сам выбор (т.е. варианты) могут быть изветны заранее, это мало что меняет (хотя меняет). Но вот именно эта известность, в принципе и должна формулироваться. Т.е. не конкретно какие именно варианты, а их существование. Кстати, поэтому, речь и идет о состояниях и функционалах. Это не значит, что они известны, но это значит что они есть -- это и есть формализация. Выделение тех сущьностей, которые могут быть в задаче. Это как язык программирования. Он не является ни решением, ни постановкой задачи. Это не алгоритм. Но это формализация, язык для описания и того и другого. [Ответ][Цитата]
tac Сообщений: 2601	На: Microsoft Terrarium Добавлено: 02 апр 09 3:33 Хорошо, тут я лучше при удобном случае поговорю с проффесором (он лично знал автора обсуждаемой книги) - может "MDP + Q-Learning" и имеет отношение к адаптации .... Но как специальный случай, не более чем параметрическая адаптация ... Но вот если без обучения, скажем MDP + алгоритмы Теории Игр - думаю это и будет компенсация ... [Ответ][Цитата]
daner Сообщений: 4633	На: Microsoft Terrarium Добавлено: 02 апр 09 3:36 Tak, поменяйте название на "Microsoft Terrarium и проблемы адаптации". Так хотя бы мы будем по теме говирить, а не оффтопить. Кстати, это будет пассивная адаптация топика. Т.е. не оффтоп фильтровать под цели топика, а цель топика изменить под посты. (если посты считать средой) [Ответ][Цитата]
daner Сообщений: 4633	На: Microsoft Terrarium Добавлено: 02 апр 09 3:39 Цитата: Автор: tac Хорошо, тут я лучше при удобном случае поговорю с проффесором (он лично знал автора обсуждаемой книги) - может "MDP + Q-Learning" и имеет отношение к адаптации .... Но как специальный случай, не более чем параметрическая адаптация ... Но вот если без обучения, скажем MDP + алгоритмы Теории Игр - думаю это и будет компенсация ... алгоритмы теории игр? Вы о каких? Они обычно аналитические, так что... они все offline. Но вы правы. Если это не алгоритм обучения, то... это вряд ли адаптация. На счет параметрической.... не совсем уверен что вы правы. Мне еще нужно будет вчитаться в нюансы определений, что бы мы с вами на одном языке говорили (т.е. использовали один и тот же формализм , к слову) [Ответ][Цитата]
tac Сообщений: 2601	На: Microsoft Terrarium Добавлено: 02 апр 09 3:41 Цитата: Автор: daner Вы не правы. Все стратегические игры похожи, поэтому у игроков не возникает проблем с игрой и поэтому они получают удовольствие (и цели там достаточно четкие и понятные, из них надо только выбрать ту, что подходит больше). Раньше когда такие игры только появлялись, нужно было серьездно читать инструкции (впрочем, появлялись они постепенно, с постепенным нарастанием сложности в правилах, так что это не составляло особой проблемы). Многие игры, вообще легко формализуются в плане описания правил, но это не значит, что их легко решать. М-да, дать бы вам волю вы и объезьяне дали бы инструкцию читать Она все же "играет" без нее и замедте довольно успешно ... Впрочем до этого уровня я еще не дошел ... меня более интересует адаптация выделения объектов управления ... что же касается целей, то взгляните на http://ru.vlab.wikia.com/wiki/Адаптации_с_двухуровневыми_целями_-_описание_модели_на_основе_среды_ТеррариумДНК там UML диаграммка со статичными целями - вот только искомым является "Преобразование Пси" - которую найти только параметрической или структурной адаптацией будет не под силу ... [Ответ][Цитата]
гост Сообщений: 6163	На: Microsoft Terrarium Добавлено: 31 дек 11 23:17 Изменено: 15 мар 17 17:17 . [Ответ][Цитата]
Стр.3 (4): 1  2  [3]  4 << < Пред. | След. > >>