Форум: Проблемы искусственного интеллекта

Регистрация | Вход

Все темы | Новая тема  Стр.4 (11) << < Пред. | След. > >>    Поиск:
Автор	Тема: На: Методы построения ИИ от Львовича
tac Сообщений: 2601	На: Методы построения ИИ от Львовича Добавлено: 29 авг 08 16:43 Что же касается среды Львовича ... там сильно чего-то намешано, из-за чего понимания не возникает, во-первых, смешана среда с тем как действует агент (а не ИИ, т.к. агент все же более нейтральное слово, не вызывающие философии в вопросе). Давайте читать вместе: "среду в виде двоичного конечного автомата, имеющего N состояний. " Не сказано ничего - все что угодно можно представить в виде конечного автомата с N состояниями. Казалось дальше будут ограничения, так нет "Взаимодействие такой среды с двоичным ИИ " - до лампочки какое будет взаимодействие ... важно понять что же за среда ... Далее это доказательство "Докажем, что для любого конечного автомата можно построить эквивалентный автомат, в котором из каждого состояния существует только два перехода, соответствующие двум вариантам выходных сигналов ИИ. " для меня бред, вы хотите переопределить автомат в другой автомат. Но покажите на примере - есть автомат, который принимает решение двигаться в одну из 8 сторон вокруг себя, переопределите его в автомат с "существует только два перехода, соответствующие двум вариантам выходных сигналов ИИ." . Именно поэтому не понятен формализм, он не дает базовых примеров. Делайте примеры типа "Hello, World", вначале вы их делали, но когда перешли к среде перестали ... Я видел, что на другом сайте, daner предлагал Вам вообще выкинуть начальное описание "Вырожденный интеллект" и т.д., но только из за этого, по мне, ваша работа и интересна, иначе не слова, не полслова ... [Ответ][Цитата]
daner Сообщений: 4593	На: Методы построения ИИ от Львовича Добавлено: 29 авг 08 17:40 Цитата: Автор: tac Вы сами это сказали Если формула вызывает только запутаность при интерпретации - то есть ли смысл ее использовать ? Вы искажаете смысл сказанного. Причем полностью. Запутанность возникает, если не описывать формулами. Цитата: Термины, есть, но занятые термины использовать НЕЛЬЗЯ, надеюсь вы знаете об этой этике ... понимать разное под одни и тем же не допустимо не зависимо от науки ... Поэтому это вы влезли в чужой монастырь и пытаетесь выдать за интеллект нечто не суразное ... расскажите это физикам, математикам, агрономам и еще много кому, про термин "поле". Кроме того, термином интеллект никто не занимался. Занимались изучением человеческой психики, но ни как не интеллекта. Так что... термин был занят только на уровне простонародного употребления. Никто его не определял как нечто, присущее только человеку. Даже с разумом и то были и есть разногласия. Цитата: Пожалуйсто - это объект, которым занимается анатомия, физиология, и нейрофизиология в частности - надеюсь точность этих наук не вызывает у Вас сомнения ? Просто не забывайте истоков науки, пытаясь ее превратить в "не что" ... Классное определение . Ну тогда Интеллект это объект которым занимается ИИ. . И это совсем не имеет отношения к объекту которым занимается физиология. Цитата: Что же, касается формалима - давайте проще - поиграйте в игру Civilization, если вам получится ее среду интерпретировать по свойму - скажите мне. Т.е. формализацию среды (задачи), так же как и метода, я сделаю исключительно на С# - и разве это не будет формализацией (если как вы говорите математика тут не причем) ? Конечно будет! но это когда сделаете. Да и тогда ее нужно будет переводить в те системы формализма которые приняты для методов анализа. Но это уже технично. Пока этого у вас нет. А "Цивилизация" уже написана. У нее правила есть четкие, т.е. формализм. Для анализа ее нужно будет перевести в формализм ТИгр или какой либо другой (если нужны другие инструменты).И с ней это можно сделать. Не очень удобно, но можно. Правила к этой игре писались для того, что бы люди их поняли +/- и начали играть. Но ни как не для глубокого анализа и прочего. Кстати, у вас не цивилизация, а игра напоминающая цивилизацию. Иди знай, на сколько она от нее отличается не на интуитивном плане а в формальном. Еще не известно какая из них сложнее. Цитата: для меня бред, вы хотите переопределить автомат в другой автомат. Но покажите на примере - есть автомат, который принимает решение двигаться в одну из 8 сторон вокруг себя, переопределите его в автомат с "существует только два перехода, соответствующие двум вариантам выходных сигналов ИИ." . Именно поэтому не понятен формализм, он не дает базовых примеров. Делайте примеры типа "Hello, World", вначале вы их делали, но когда перешли к среде перестали ... Я видел, что на другом сайте, daner предлагал Вам вообще выкинуть начальное описание "Вырожденный интеллект" и т.д., но только из за этого, по мне, ваша работа и интересна, иначе не слова, не полслова ... Хотел посоветовать вам почитать другой форум, но как видно вы это уже сделали. разницу между средой представлением агента и правда в работе Львовича уловить сложновато. Думаю он уже и сам с этим согласился. Что же касается вашего примера. Это не верный вопрос. Львович описывает конкретную среду и показывает как в ней будет работать его система. Возможно что нет никакой трансформации с его среды ан вашу (это сложно понять, из за отсутствия общего формализма в ваших работах). А может все очень тривиально и трансформация пойдет как по маслу. Я думаю вы хотели задать другой вопрос. Где в реальном мире можно использовать подобное представление среды, описанное Львовичем. Вопрос кстати хороший. Я даже к нему присоединяюсь, не задавал его сам только потому, что считаю что ответ не такой сложный и если помечтать, то быстро найдешь такую задачу. Касательно того, что я предложил выкинуть примеры. Примеры нужны. Видно вы меня не совсем верно поняли. Я не люблю примеры, раньше того, как описана суть. Опишите алгоритм, опишите все полностью, а затем давайте примеры какие угодно. И показывайте, что они частный случай вашего основного. А так, получается несколько оторвано и только путает. Поэтому после формализма среду, думаю не лишним показать как этот формализм работает на каком-то реальном примере. [Ответ][Цитата]
Алхимик Сообщений: 315	На: Методы построения ИИ от Львовича Добавлено: 29 авг 08 19:47 Задача Львовича проще, чем задача Така. В том и весь цимус, что проще задачи не придумаешь!! Вам не понятно, что такое граф переходов? Если в задаче Така обозначить точкой каждый пункт, в котором может оказаться юнит (суша, море и пр.), а эти точки соединить ребрами, совпадающими с возможными передвижениями юнита - то получим искомый граф. А теперь оцените, насколько граф Львовича проще. У него агент получает только один входной сигнал, который имеет два значения. У вас не только из каждой точки три сигнала с многими значениями, но если я не напутал, то и из окрестностей сигналы поступают. И вполне возможно, что и сигналы о положении юнита есть, может быть не явно, а скрыты в программе. У Львовича уж точно таких сигналов нет. У Львовича агент может переместится в две точки, а у вас как минимум в четыре, а если по диагонали можно передвигаться , то и все восемь. [Ответ][Цитата]
tac Сообщений: 2601	На: Методы построения ИИ от Львовича Добавлено: 30 авг 08 0:04 Цитата: Автор: Алхимик Задача Львовича проще, чем задача Така. В том и весь цимус, что проще задачи не придумаешь!! Вам не понятно, что такое граф переходов? Если в задаче Така обозначить точкой каждый пункт, в котором может оказаться юнит (суша, море и пр.), а эти точки соединить ребрами, совпадающими с возможными передвижениями юнита - то получим искомый граф. А теперь оцените, насколько граф Львовича проще. У него агент получает только один входной сигнал, который имеет два значения. У вас не только из каждой точки три сигнала с многими значениями, но если я не напутал, то и из окрестностей сигналы поступают. И вполне возможно, что и сигналы о положении юнита есть, может быть не явно, а скрыты в программе. У Львовича уж точно таких сигналов нет. У Львовича агент может переместится в две точки, а у вас как минимум в четыре, а если по диагонали можно передвигаться , то и все восемь. Именно, так (1) сигнал идет от 25 точек (радиус 2 от местоположения, включительно) (2) каждый сигнал это 3 значения о расположенных там ресурсах (по 2 бита каждый) (3) сигнал о положении юнита в оригинале отсутствует, но для анализа среды в детерминированных методах может быть, но агенту не что не мешает отслеживать свое уже пройденное положение (4) перемещаться может в 8 направлениях, плюс может построить город в месте, где находится (5) думаю более главное - агенты могут появляться дополнительно из городов, а задача как раз эффективно этому способствовать. С другой стороны, сделаем первый шаг, чтобы избавится от формализации в среде Львовича - согласны ли вы, что граф переходов можно заменить средой с одной размерностью, т.е. агент находится на карте размером 10х1, соответственно, у него есть только два варианта действий - пойти вправо или влево. В таком виде, все на порядок понятнее ... в чем же суть его движения ? Цель существования в среде ? Дальше, чего я не понимаю: 1. Сигнал I - наверное, имеет тот же самый смысл, что у меня информация о ресурсе 2. Сигнал T - наверное, имеет тот же смысл, что рекомендация учителя относительно пригодности территории. Тогда не понимаю что такое барьерность ? Цель тогда вроде, как избегать барьеров и искать некий путь, но это мне станет понятно, только после понимания что же такое барьер ? Если барьер можно понимать, как препятствие которое не может обойти агент, то какой же оно имеет смысл в одномерном мире, поставил с двух сторон барьеры - и все агент заперт, бегай сколько хочешь - больше чем возможно не побегаешь ... Или же тогда здесь речь идет о мире 10х2 (двухполосноедвижение), где агент должен лавировать вправо, влево избегая препятствий, так сказать модель движения на автомобиле с обгоном ? (видите формализация совершенно не дает возможности понять однозначно ) Дальше, как я понимаю, вы пытаетесь прогнозировать, будет ли препятствие дальше на пути, не видя его (т.е. едите в темноте без фар) ... и так как часто ездили, то все барьеры выучили наизусть ... или же учите лишь принцип расположения барьеров ... но тогда что вообще гарантирует, что они расположенны в определенном порядке, а не являются совершенно хаотичными ? т.е. от сигнала I=0 или сигнала I=1 - наличие барьера независит, он может как быть, так и не быть ... вы что предлагаете вероятности считать, и врезаться если ошибся в лотерею ? [Ответ][Цитата]
Андрей Сообщений: 3943	На: Методы построения ИИ от Львовича Добавлено: 30 авг 08 1:01 Цитата: Автор: tac однозначно Однозначность - это миф. Один превредный но толковый человек на другом форуме сказал, что "однозначность - это фигня... достаточность - это важно". Можно сказать, что с этим тезисом можно однозначно согласиться. А лучше сказать, что с этим достаточно согласиться. Однозначность следует из мифа о детерминированности. Но человек всегда строит приблизительные модели с обязательным пренебрежением многими связями (взаимозависимостями). То, что получается в итоге для человека кажется однозначным. Но если сравнивать две однозначности при одинаковых (казалось бы) условиях - они всегда будут разными. Это следствие того, что в любой ситуации есть факторы о которых мы либо ничего не знаем (непредсказуемый хаос) или которые принципиально не можем учесть (ограниченность ресурсов разума). Нет ничего однозначного, есть только достаточное для конкретной ситуации. [Ответ][Цитата]
Алхимик Сообщений: 315	На: Методы построения ИИ от Львовича Добавлено: 30 авг 08 1:31 >С другой стороны, сделаем первый шаг, чтобы избавится от формализации в среде Львовича - согласны ли вы, что граф переходов можно заменить средой с одной размерностью, т.е. агент находится на карте размером 10х1, соответственно, у него есть только два варианта действий - пойти вправо или влево. В таком виде, все на порядок понятнее ... в чем же суть его движения ? Цель существования в среде ? Можно представить и линией. Только агент движется не на соседние точки, а произвольно, например с первой точки на пятую и седьмую, с пятой на третью и десятую и т. д. Главное, чтобы было два перехода с каждой точки. С каждой точки агент получает сигнал, например, цвет точки - черный и белый. Цель - получить максимум целевой функции. Тут есть два варианта в зависимости от того, что считать действием агента. Можно считать, что агент движется случайно, а действие - это попытка угадать цвет. При угадывании функция Т получает 1. В этом случае получаем среду, которую Львович назвал идеальной (если не путаю), т. е. в каждой точке можно получить единицу, угадав цвет. Если же действием агента есть выбор движения, то получаем неидеальную среду, в которой возможны "барьеры". Тут агент получает единицу, попадая, скажем, на белый цвет. >Дальше, чего я не понимаю: 1. Сигнал I - наверное, имеет тот же самый смысл, что у меня информация о ресурсе Да. >2. Сигнал T - наверное, имеет тот же смысл, что рекомендация учителя относительно пригодности территории. А это наверное не совсем так. >Тогда не понимаю что такое барьерность ? Это просто неудачный термин. На самом деле нет барьера. Просто есть черная точка, на которой нет поощрения. За ней могут находиться белые. Проскочив барьер, агент снова начинает получать поощрения. Но если есть обходный путь из белых точек, то естественно лучше выбрать его. Это я рассказываю, как я понял. Нужно еще подтверждение Львовича, что я понял верно Я просто и раньше следил за темами Львовича, они в одном ключе, мне легче понять. Но все-таки Данер прав, нужно редактировать, я тоже пока не все понял. Жаль сейчас времени мало, чтобы активней в обсуждении участвовать [Ответ][Цитата]
tac Сообщений: 2601	На: Методы построения ИИ от Львовича Добавлено: 30 авг 08 2:20 Цитата: Автор: Андрей Однозначность - это миф. Это Вы daneru расскажите [Ответ][Цитата]
tac Сообщений: 2601	На: Методы построения ИИ от Львовича Добавлено: 30 авг 08 2:34 Цитата: Автор: Алхимик Можно представить и линией. Только агент движется не на соседние точки, а произвольно, например с первой точки на пятую и седьмую, с пятой на третью и десятую и т. д. Главное, чтобы было два перехода с каждой точки. С каждой точки агент получает сигнал, например, цвет точки - черный и белый. Цель - получить максимум целевой функции. Тут есть два варианта в зависимости от того, что считать действием агента. Можно считать, что агент движется случайно, а действие - это попытка угадать цвет. При угадывании функция Т получает 1. В этом случае получаем среду, которую Львович назвал идеальной (если не путаю), т. е. в каждой точке можно получить единицу, угадав цвет. Если же действием агента есть выбор движения, то получаем неидеальную среду, в которой возможны "барьеры". Тут агент получает единицу, попадая, скажем, на белый цвет. >2. Сигнал T - наверное, имеет тот же смысл, что рекомендация учителя относительно пригодности территории. А это наверное не совсем так. >Тогда не понимаю что такое барьерность ? Это просто неудачный термин. На самом деле нет барьера. Просто есть черная точка, на которой нет поощрения. За ней могут находиться белые. Проскочив барьер, агент снова начинает получать поощрения. Но если есть обходный путь из белых точек, то естественно лучше выбрать его. Спасибо за поясненея, в вашей интерпретации я хоть что-то понял ... но не перестаю удивляться такой среде ... 1. Не понимаю зачем нужно это прыганье в любую точку, да еще почему то ограниченное двумя переходами ... Тогда, это какое блуждание по лабиринту, где постоянно только две развилки, пойти направо или на лево, и можно постоянно возвращаться 2. Тогда целевой функцией будет найти выход 3. А для его нахождения используются подсказки, в виде поощрений (красных флажков), обучающего воздействия T=1, если постоянно их находишь и угадываешь, что же будет за поворотом - то молодец, типа великий интеллектуал ... так что ли? [Ответ][Цитата]
Алхимик Сообщений: 315	На: Методы построения ИИ от Львовича Добавлено: 30 авг 08 8:54 Цитата: Автор: tac Спасибо за поясненея, в вашей интерпретации я хоть что-то понял ... но не перестаю удивляться такой среде ... 1. Не понимаю зачем нужно это прыганье в любую точку, да еще почему то ограниченное двумя переходами ... Тогда, это какое блуждание по лабиринту, где постоянно только две развилки, пойти направо или на лево, и можно постоянно возвращаться 2. Тогда целевой функцией будет найти выход 3. А для его нахождения используются подсказки, в виде поощрений (красных флажков), обучающего воздействия T=1, если постоянно их находишь и угадываешь, что же будет за поворотом - то молодец, типа великий интеллектуал ... так что ли? На этом форуме Львович как раз и разбирал реализацию в виде лабиринта А удивлятся сильно не нужно. Вашу задачу тоже можно представить в виле линии, только из каждой точки будет восемь переходов. В том и идея была, чтобы найти некий стандарт и рассматривать его минимальную форму. И постепенно наращивая его, понять, что же действительно необходимо для того, чтобы агент, ничего не знающий о среде, мог научиться действовать в ней. [Ответ][Цитата]
Львович Сообщений: 303	На: Методы построения ИИ от Львовича Добавлено: 30 авг 08 13:29 Цитата: Алхимик: Можно представить и линией. Только агент движется не на соседние точки, а произвольно, например с первой точки на пятую и седьмую, с пятой на третью и десятую и т. д. Главное, чтобы было два перехода с каждой точки. С каждой точки агент получает сигнал, например, цвет точки - черный и белый. Цель - получить максимум целевой функции. Тут есть два варианта в зависимости от того, что считать действием агента. Можно считать, что агент движется случайно, а действие - это попытка угадать цвет. При угадывании функция Т получает 1. В этом случае получаем среду, которую Львович назвал идеальной (если не путаю), т. е. в каждой точке можно получить единицу, угадав цвет. Если же действием агента есть выбор движения, то получаем неидеальную среду, в которой возможны "барьеры". Тут агент получает единицу, попадая, скажем, на белый цвет. >Дальше, чего я не понимаю: 1. Сигнал I - наверное, имеет тот же самый смысл, что у меня информация о ресурсе Да. >2. Сигнал T - наверное, имеет тот же смысл, что рекомендация учителя относительно пригодности территории. А это наверное не совсем так. >Тогда не понимаю что такое барьерность ? Это просто неудачный термин. На самом деле нет барьера. Просто есть черная точка, на которой нет поощрения. За ней могут находиться белые. Проскочив барьер, агент снова начинает получать поощрения. Но если есть обходный путь из белых точек, то естественно лучше выбрать его. Это я рассказываю, как я понял. Нужно еще подтверждение Львовича, что я понял верно В целом, верно! Спасибо, Алхимик! только Цитата: действие - это попытка угадать цвет. При угадывании функция Т получает 1. В этом случае получаем среду, которую Львович назвал идеальной (если не путаю), т. е. в каждой точке можно получить единицу, угадав цвет. немного не так. Цвет и вознаграждение никак не связаны. Цвет это просто информация, помогающая сориентироваться. Можно и без цвета, но тогда придется ориентироваться по поощрениям, а это вступает в противоречие с достижением максимума поощрения. Образно говоря I это глаз, а цель это "шагать" по ровной дороге (за что дают 1 балл), а не перелезать через барьеры (0 баллов). А смысл такого представления среды не в том, что она представляет саму себя, а в том что в таком виде (при соответсвующих кодировщиках на входе и на выходе) можно представить любую конечную дискретную задачу (среду), в том числе и среду tac''а. Потребуется лишь закодировать варианты движения (и др. воздействий)в виде последовательностей O, варианты территорий в доступных клетках как последовательности I и вознаграждение как T. Причем сделать это можно множеством способов. Выше я писал, как можно закодировать игру в шахматы и мой опыт "помещения" моего агента в лабиринт http://gotai.net/forum/Default.aspx?postid=10981#10981. Принципиальное различие со средой tac'a заключается в том, что у tac'а среда с "внутрениими зависимостями", которые создают избыточность входной информации. Поясню: если агент переместился, например, вправо на один шаг, то новой для него будет лишь информация о вновь увиденных клетках. И разработчику алгоритма агента очнь желательно это учитывать! А это означает, что у агента есть априорная информация о среде (размерность и топология поля, граф переходов, возможные типы клеток и т.п.) Алгоритм такого агента в принципе не может быть универсальным! Я же предлагаю универсальный (само)обучающийся алгоритм, который "знает" о среде только то, что это двоичный автомат. И все! А всем особенностиям среды, входных и выходных преобразователей ему придется научиться! Безусловно, это скажется на эффективности, но за все надо платить, и за универсальность в первую очередь. Однако ситуация с эффективностью не так печальна как кажется. Для повышения эффективности достаточно подобрать обучающие среды, с наращиваемой сложностью в нужном нам направлении. Но это тема отдельного разговора. [Ответ][Цитата]
tac Сообщений: 2601	На: Методы построения ИИ от Львовича Добавлено: 30 авг 08 15:00 Цитата: Автор: Алхимик На этом форуме Львович как раз и разбирал реализацию в виде лабиринта А удивлятся сильно не нужно. Вашу задачу тоже можно представить в виле линии, только из каждой точки будет восемь переходов. В том и идея была, чтобы найти некий стандарт и рассматривать его минимальную форму. И постепенно наращивая его, понять, что же действительно необходимо для того, чтобы агент, ничего не знающий о среде, мог научиться действовать в ней. 1. А какая еще может быть реализация - ведь только интерпретация лабиринта. 2. Да, наверное, можно, все можно представить в виде графа переходов. Но это только касается ограничений на путь агента. В целом скорее наиболее полный вариант - это полносвязный граф (который тут в другой теме рассматривает Константин http://www.gotai.net/forum/Default.aspx?postid=10697#10697), при минимальной форме легко выкинуть все самое главное. Хотя и при полной не чувствуешь ряда ограничений. У меня получается нечто средние - граф с ограничениями движения по поверхности (могут быть еще графы в 3-х мерном пространстве и более). Графы не отражающие поверхности мне как то не понятно для чего нужны (хотя нет понял, шахматы наверное, т.е. правила ходов с прыжками, и вся проблемы из-за коня ). Но т.к. у нас очень много общего в средах предлагаю, сконцентрировать наши усилия ? Для этого каждому нужно отказаться от фикс идеи, что одно чем то универсальнее другого, и попытаться расммотреть все варианты - 3 шт. уже есть, надо понять как они переходят одна в другую. 3. То, что о среде ничего не известно - это не так. Есть сигнал T, т.е. поощрение - этого больше чем достаточно, чтобы все узнать о среде ... сравнительно в моей среде такого явного поощрения НИГДЕ нету. [Ответ][Цитата]
tac Сообщений: 2601	На: Методы построения ИИ от Львовича Добавлено: 30 авг 08 15:16 Цитата: Автор: Львович А смысл такого представления среды ... в том что в таком виде (при соответсвующих кодировщиках на входе и на выходе) можно представить любую конечную дискретную задачу (среду), в том числе и среду tac''''а. Потребуется лишь закодировать варианты движения (и др. воздействий)в виде последовательностей O, варианты территорий в доступных клетках как последовательности I и вознаграждение как T. Причем сделать это можно множеством способов. 1. Вот и подходим к самому главному, так как описал Алхимик, т.е. "Вашу задачу тоже можно представить в виле линии, только из каждой точки будет восемь переходов." - я понимаю, но Вы же настаиваете, что можно привести к виду, где из каждой точки будет всего два перехода ... попробуйте это показать на примере - будет ли это эквивалентно ? Думаю что нет ! (без дополнительных условий). Например, есть два перехода: 6->1,2,3,5,7,9,10,11 и 11->6,7,8,10,12,14,15,16 ... преобразуйте их к вашему виду ... 2. "последовательности I" не последовательности, а параллельная информация получаемая за один такт, да при это определенного формата, скажем три разных по смыслу цифры, если вы их превратите в двоичные и перемешаете нули с единицами - то смысла уже от такой входной информации не будет ! 3. "вознаграждение как T", а вознаграждения как такового у меня вообще нет, есть экспертная оценка выгоды - но это уже совсем другое, более того, такая оценка в общем случае не верна (точнее локальна, и не учитывает правила игры, у вас же вознаграждения раставляются в соответствии с правилами игры), у вас же вознаграждение все же идет от учителя, агент сам не определяет что-хорошо, а что плохо. Поэтому именно наличие такого вознаграждения делает задачу не интересной и легко просчитываемой. [Ответ][Цитата]
Львович Сообщений: 303	На: Методы построения ИИ от Львовича Добавлено: 30 авг 08 15:38 Цитата: tac: Вы же настаиваете, что можно привести к виду, где из каждой точки будет всего два перехода ... попробуйте это показать на примере - будет ли это эквивалентно ? Думаю что нет ! Эта проблема легко решается масштабированием тактировки. Там где в Вашей среде можно выбрать и сделать один из n возможных ходов, моему алгоритму необходимо ходов. При этом мой алгоритм выдаст указанное количество нулей/единиц, которые Вы можете однозначно перевести в номер хода. Аналогично и входные сигналы: на то что Ваш агент воспринимает с M входов одновременно за один шаг, моему потребуется М шагов. Цитата: 6->1,2,3,5,7,9,10,11...преобразуйте их к вашему виду ... Пожалуйста: 6->61,62 61->611,612; 62->621,622 611->1,2; 612->3,5; 621->7,9; 622->10,11 Т.е то что у Вас делается за 1 шаг, у меня за 3. Вот и все! При этом я утверждаю, что моя модель внешней среды (с учетом масштабирования тактировки и последовательно-параллельных преобразований) может описывать любой замкнутый дискретный процесс, а Ваша - только саму себя. Цитата: и перемешаете нули с единицами - то смысла уже от такой входной информации не будет ! А если Вы перемешаете у себя верх с низом а "право" с "лево", то смысла тоже не будет. Если ходы кодировать однозначно (а именно так и надо), то смысл будет. Цитата: вознаграждения как такового у меня вообще нет, есть экспертная оценка выгоды - но это уже совсем другое И кто этот эксперт? Если Вы, то Вы знаете алгоритм соответсвия текущей позиции этой оценке и тогда ничего не мешает закодировать его в сигналы T в моей модели. А если такой такого алгоритма нет, то тогда обучений точно теряет смысл... Поясню, в моей модели сигнал Т не обязан оценимать только текущий ход! Если это условие выполнено, то имеем идеальную (в моем опреелении) модель, в которой главная и единственная задача агента - восстановить граф переходов (или хотя бы его некоторую замкнутую область). В общем случае сигнал T=0 означает "возможно какие-то предыдущие дуйствия агента были не лучшими". Ключевое слово "ВОЗМОЖНО". А возможно, что ходы были лучшими, но в среде в принципе невозможно достичь еще лучших результатов. И вот тут агент встает перед дилеммой: искать еще лучшее решение ли нет, которую без учета ресурсов затрачиваемых на решение задачи, решить невозможно. [Ответ][Цитата]
Алхимик Сообщений: 315	На: Методы построения ИИ от Львовича Добавлено: 30 авг 08 20:25 >В целом, верно! Спасибо, Алхимик! только Цитата: действие - это попытка угадать цвет. При угадывании функция Т получает 1. В этом случае получаем среду, которую Львович назвал идеальной (если не путаю), т. е. в каждой точке можно получить единицу, угадав цвет. >немного не так. Цвет и вознаграждение никак не связаны. Цвет это просто информация, помогающая сориентироваться. Можно и без цвета, но тогда придется ориентироваться по поощрениям, а это вступает в противоречие с достижением максимума поощрения. Образно говоря I это глаз, а цель это "шагать" по ровной дороге (за что дают 1 балл), а не перелезать через барьеры (0 баллов). Это понятно, такой вариант я тоже предлагал. Но это всего лишь вопрос интерпритации. Все элементы остаются теми же: один бинарный вход , один бинарный выход, вход от Т. Просто автомат среды будет немного изменен. У вас он от сигнала выхода правильно передвигал агента по графу перехода, а здесь случайно выбирает направление передвигает агента и посылает на вход сигнал об этом выбраном направлении. Агент на выход дает сигнал об предполагаемом цвете новой точки. Функция Т сравнивает реальный цвет и посланый агентом сигнали в лучае совпадения дает 1. Как видите принципиально все то же, ничего нового. Но практически дает некоторые преимущества. Допустим, вы нарисовали среду из 100 точек, в которой есть две точки связаные друг с другом циклом, дающие Т=1. Агент может переходить из одной точки в другую и назад и ему не будет надобности восстанавливать весь граф перехода. Здесь же он вынужден это сделать, т. к. случайно может попасть в любую точку. Конечно, в такой среде нет барьеров, но по моему это уже дальнейший этап, с более сложными функциями Т. [Ответ][Цитата]
Алхимик Сообщений: 315	На: Методы построения ИИ от Львовича Добавлено: 30 авг 08 20:37 Цитата: Автор: tac 3. "вознаграждение как T", а вознаграждения как такового у меня вообще нет, есть экспертная оценка выгоды - но это уже совсем другое, более того, такая оценка в общем случае не верна (точнее локальна, и не учитывает правила игры, у вас же вознаграждения раставляются в соответствии с правилами игры), у вас же вознаграждение все же идет от учителя, агент сам не определяет что-хорошо, а что плохо. Поэтому именно наличие такого вознаграждения делает задачу не интересной и легко просчитываемой. Вы так думаете? Тогда попробуйте написать программу, в которой на графе в 20 вершин агент научится всегда угадывать цвет точки в которой находится. Только учтите, что сам агент не знает о своем начальном положении, о структуре графа - вся эта информация находится в автомате-среде, а агенту только сообщается номер перехода (из двух возможных) при передвижении агента, и угадал или нет он цвет. [Ответ][Цитата]
Стр.4 (11): 1  2  3  [4]  5  6  7  8  ...  11 << < Пред. | След. > >>