GotAI.NET

Форум: Проблемы искусственного интеллекта

 

Регистрация | Вход

 Все темы | Новая тема Стр.2 (5)<< < Пред. | След. > >>   Поиск:  
 Автор Тема: На: Формализация среды для задачи "Двухуровневое целепологание"
daner
Сообщений: 4593
На: Формализация среды для задачи "Двухуровневое целепологание"
Добавлено: 04 сен 08 15:19
Цитата:
Автор: tac

Во второй пост добавил ряд уточнений, особенно актуально подсчет общего числа состояний в задаче - попробывал определить, но хотелось бы, чтобы кто нибудь верифицировал ...


скорее всего верно. Вот только переводить в числа совершенно не обязательно.
Достаточно оставлять все в виде (если не ошибаюсь).
[Ответ][Цитата]
daner
Сообщений: 4593
На: За чистоту терминов!
Добавлено: 04 сен 08 15:36
Цитата:
Автор: Trilobite

Не хотелось бы, как говорится, гасить энтузиазм,
но формализация задачи и ее обсуждение как-то стороной обошли вопросы:
а) а среда ли это вообще?
б) и есть ли тут агент?

Боюсь, использование этих терминов только затрудняет понимание того, что здесь предлагается.

Поясню.
Под средой обычно понимается некое пространство, в котором царят свои законы и находятся (и могут быть локализованы) агенты.
Агент - воспринимая через сенсоры какой-то близлежащий фрагмент среды и обладая средствами воздействия на среду, реализует свое поведение. В частности, способен сам или под влиянием внешних сил менять свое расположение.

Исходя из этого, видим, что кол-во "уровней целеполагания"(отличительная особенность задачи) не имеет отношения к дуэту среда-агент и, стало быть, позиционировать задачу надо не как среду для ИИ, а скорее как игру для его тестирования. Что-то вроде шахмат или го (уж не знаю, сколько там уровней целей, но надеюсь, более одного).

Для сравнения возьмем шахматы.
Здесь доска является средой скорее для шахматных фигур и пешек, но не для шахматиста.
Для последнего она только один из объектов его окружения, пусть и ключевой.
Шахматист играет роль агента в другом мире - мире соперников, тренера, шахматной литературы и регулярных турниров. И надо понимать, что воспитать гроссмейстера без всего этого крайне затруднительно.


Вы и правы и не правы. То как вы описали что такое среда и агент -- это верно.
Но дальше вы не правы. Во-первых, здесь есть и среда и агенты и с этим нет проблем.
а так же, и в шахматах агентов является сам игрок, а фигуры это его возможные действия. Если бы каждая фигура воспринимала бы среду по отдельности (да еще и имела бы свое мнение), то агентами были бы фигуры, но это не так. И кстати среда бы сама по себе не изменилась бы, оба бы изменилась только относительно самих агентов. Т.е. из полностью обозреваемой и статичной, она превратилась бы в нечто динамическое и частично обозреваемое (есть некоторый четкий набор свойств среды, если вас это интересует).
[Ответ][Цитата]
tac
Сообщений: 2601
На: За чистоту терминов!
Добавлено: 04 сен 08 18:24
На все остальное ответил daner и я с ним согласен, и среду и агента в данной задаче можно легко выделить ... Что же касается, следующего:

Цитата:
Автор: Trilobite
Исходя из этого, видим, что кол-во "уровней целеполагания"(отличительная особенность задачи) не имеет отношения к дуэту среда-агент и, стало быть, позиционировать задачу надо не как среду для ИИ, а скорее как игру для его тестирования. Что-то вроде шахмат или го (уж не знаю, сколько там уровней целей, но надеюсь, более одного).



то в чем противоречие ? Да, кол-во "уровней целеполагания" - это и есть игра для тестирования ИИ, но эту игру можно представить в виде среда-агент ... Чтобы эта задача могла быть описана, нужны правила, которые будут побуждать игрока к двухуровневому целеполаганию, а сам игрок будет агентом, который должен научится этому если хочет выживать в этой среде ...
[Ответ][Цитата]
tac
Сообщений: 2601
На: Формализация среды для задачи "Двухуровневое целепологание"
Добавлено: 05 сен 08 4:03
Формализация близится к концу, посмотрите (все тот же 2 пост) критичным взглядом и оцените чего не хватает для однозначности.
[Ответ][Цитата]
Львович
Сообщений: 303
На: Формализация среды для задачи "Двухуровневое целепологание"
Добавлено: 05 сен 08 11:30
Уж коли та tac увел в сторону разговор в моей теме, я вклинюсь в его (шучу!). Постараюсь по существу.
Предлагается использовать эту среду как полигон для проверки агентов. Но возникет впрос, как быть с условиями среды? В частности, размерность, размеры и топология поля, правила перемещения, ограничения на нахождение в одной и той же клетке, сумма оплаты за те или иные действия и т.п.?
Ясно же, что агент, знающий эти правила, будет действовать эффективней. Как предполагается ему эти правила "сообщать"? Если предполагать их "вшитыми", это среда для проверки никак не любых агентов, а только очень специализированных и "заточенных" под эту среду.
Второй вопрос - количество бит входной и выходной информации на каждом ходе. Получается, что можно использовать только агентов, имеющих в точности столько входов и выходов, сколько требует среда.
Не вполне ясно, как быть на границе поля. Что будет, если агент попытается выполнить перемещение за границу? И что подавать на рецепторы из области окружения, которая находится за границей?

Почему-то многие считают, что интеллект можно проверить только на архисложных комбинаторных задачах (к которым относятся те же шахматы или среда tac''а). Однако решение таких задач, предполагает наличие в агенте большого количества (как-то в него засунутых) априоных правил, методов, принципов и т.п. Поэтому помещая такого агента в такую среду, мы фактически определяем не интеллект агента, а интеллект программиста, который все эти методы и правила в него вложил.
Естественно для чуть-чуть другой задачи придется переделывать агента, а уж для совсем другой среды, агент, настроенный на такую среду окажется вовсе не пригоден.
Попробуйте с DeepBlue поиграть в... шашки или покер и убедитесь. Или игра в шахматы с точки зрения tac''а не является интеллектуальной?
Что здесь не так?

Думаю, tac должен доказать или показать, почему для проверки интеллекта необходима и достаточна именно такая среда, с таким количеством клеток, расположенных именно в такой геометрии, с такими правилами перемещения/строительства и т.п. и т.д. Существует масса комбинаторных игр разной сложности. Чем это лучше?
[Ответ][Цитата]
tac
Сообщений: 2601
На: Формализация среды для задачи "Двухуровневое целепологание"
Добавлено: 05 сен 08 12:45
Цитата:
Автор: Львович
Предлагается использовать эту среду как полигон для проверки агентов. Но возникет впрос, как быть с условиями среды? В частности, размерность, размеры и топология поля, правила перемещения, ограничения на нахождение в одной и той же клетке, сумма оплаты за те или иные действия и т.п.?
Не вполне ясно, как быть на границе поля. Что будет, если агент попытается выполнить перемещение за границу? И что подавать на рецепторы из области окружения, которая находится за границей?


На все эти вопросы во втором посте данны исчерпывающие ответы. Будьте внимательнее, и если что-то из этого не понятно то спросите конкретно что ...
(единственно, на рецепторы которые за границей подаются все нули, т.е. ничего не подается)
[Ответ][Цитата]
tac
Сообщений: 2601
На: Формализация среды для задачи "Двухуровневое целепологание"
Добавлено: 05 сен 08 12:53
Цитата:
Автор: Львович
Ясно же, что агент, знающий эти правила, будет действовать эффективней. Как предполагается ему эти правила "сообщать"? Если предполагать их "вшитыми", это среда для проверки никак не любых агентов, а только очень специализированных и "заточенных" под эту среду.


Как раз наоборот, агенту все эти правила НЕ СОБЩАЮТСЯ в принципе ... он может пожить в этой среде и сделать свои выводы по поводу того как нужно изменить мнение учителя, который дал ему правила как жить в равновесной среде (опять же см. второй пост).

Алгоритм же которые эти все правила знает (и это как раз не агент, т.к. такой алгоритм для просчитываемых вариантов, будет пользоваться методом перебора) я предоставлю со временем (принципиально я знаю какой он должен быть, и для одного вырожденного случая расчитывал в ручную, теперь дело лишь за техникой программирования). Но такой алгорит просто покажет верхнию границу эффективности - причем практически безусловно, с поправками на возможный риск (который как известно оценивается вероятностно) ... задача же агента НЕ ЗНАЮЩЕГО правила как раз состоит в том, чтобы ПРИБЛИЗИТСЯ к таким результатам, но незная правил среды и используя ряд эвристик, которые нужно применять в локальных случаях (в принципе это в кратце описано в третьем посте).
Поэтому НИ КАКОЙ заточенности под среду !
[Ответ][Цитата]
tac
Сообщений: 2601
На: Формализация среды для задачи "Двухуровневое целепологание"
Добавлено: 05 сен 08 13:07
Цитата:
Автор: Львович
Второй вопрос - количество бит входной и выходной информации на каждом ходе. Получается, что можно использовать только агентов, имеющих в точности столько входов и выходов, сколько требует среда.


Нет. Среда действительно подает весь спектр входной информации, в изначальном варианте это было визуальное изображение карты - и ничего более! Другое дело учитель расказывал, что означает то или иное изображение. В текущем варианте все еще больше упростилось - среда дает информацию только о типе территории, которую видет поселенец, а учитель рассказывает сколько на территории ресурсов и как оценит совокупность из 9 территорий. И в том, и в другом случае число бит воспринимаемых агентом может быть любым, по желанию агента. Если он считает, что ему достаточно скажем половины информации, чтобы дифференцировать все случаи - то тем лучше, он будет работать с меньшей информацией. Так например, в первоначальном варианте у меня поселенец воспринимал только 10% визуальной информации, остальная была просто излешне ... в текущем варианте процент будет побольше, т.к. уменьшилась общая размерность, но тоже не обязательно 100%. Что же касается, выходной информации - агент дает оценку всех возможных действий, и контроллер пространства ("мозжечек") решает как поступить на самом деле ...
Таким образом, если что-то и есть специфичное, то это т.н. врожденный интеллект - учитель и "мозжечек" - но без этого ни как в любой среде, если мы не хотим опускаться на уровень пресмыкающего и учится воспринимать свет, то мы должны обучить агента минимальной "культуре", так же и не чего заниматься обучением его чтобы не биться головой о стену (при достяжении границы пространства, кстати, если воспринимать это в виде пространственного графа, то углов для юнита не видно, просто в угле есть только 3 направления вместо 8) - для этого есть "мозжечек".
[Ответ][Цитата]
tac
Сообщений: 2601
На: Формализация среды для задачи "Двухуровневое целепологание"
Добавлено: 05 сен 08 13:11
Цитата:
Автор: Львович
Думаю, tac должен доказать или показать, почему для проверки интеллекта необходима и достаточна именно такая среда, с таким количеством клеток, расположенных именно в такой геометрии, с такими правилами перемещения/строительства и т.п. и т.д. Существует масса комбинаторных игр разной сложности. Чем это лучше?


Это действительно нужно сделать ... но именно поэтому я с вами тут и обсуждаю эту проблему ... если бы знал уже давно написал бы статью ... поэтому надеюсь на вас в том числе ... А лучше она будет именно, если показать, что "для проверки интеллекта необходима и достаточна именно такая среда" ...
Как Вы считаете с чего можно было бы начать такое доказательство ?

Я даже не рассчитываю, что именно эта среда будет достаточна, хотя бы доказать, что необходима !
[Ответ][Цитата]
Львович
Сообщений: 303
На: Формализация среды для задачи "Двухуровневое целепологание"
Добавлено: 05 сен 08 13:31
Цитата:
Автор: tac
Как раз наоборот, агенту все эти правила НЕ СОБЩАЮТСЯ в принципе ...

Стоп, стоп!
Но если вы сейчас предложите кому-либо попробовать его агента в этой среде, то Вы уже сообщили ее особенности! И проверить, использются ли они в алгоритме агента Вы не сможете. Разработчики агентов совершенно справедливо стараются учесть в алгоритме любую информацию о среде, которая становится им известна, например, что сигнал на выходе "Х" означает шаг вправо, а не прыжок через клетку влево, что с клеток "за полем" поступает сигнал 0, что сигнал на "А" это состояние верхней левой клетки, которая посла шага влево станет "верхней-средней" и т.д. и.т.п. Поэтому я хотел бы понять, какую именно информацию разрешается "знать" агенту, а какую нет.
Почему Вы выбрали изоморфное (относительно поворотов на 90град) и когерентное поле? Это тоже априорная информация, а ее знать агенту не положено!
Может быть не объявлять заранее, ни размер поля, ни граф переходов (почему только в соседние клетки? - пусть в любые!), ни их возможное количество из каждой клетки, ни то какие именно клетки "видны" через датчики из каждой клетки (почему обязательно соседние? - пусть любые) - все возможные переходы и "видимые" клетки можно определять отдельно таблично. И таблицу эту можно генерировать случайным образом перед тестированием. Вот тогда среда действительно будет неизвестной ни для агента, ни для его разработчиков и задача становится значительно интересней!
А главное: ни один человек никогда не сможет продемонстрировать в ней свои "истинно интеллектуальные" способности.
[Ответ][Цитата]
tac
Сообщений: 2601
На: Формализация среды для задачи "Двухуровневое целепологание"
Добавлено: 05 сен 08 14:05
Цитата:
Автор: Львович
Поэтому я хотел бы понять, какую именно информацию разрешается "знать" агенту, а какую нет.
Почему Вы выбрали изоморфное (относительно поворотов на 90град) и когерентное поле? Это тоже априорная информация, а ее знать агенту не положено!
Может быть не объявлять заранее, ни размер поля, ни граф переходов (почему только в соседние клетки? - пусть в любые!), ни их возможное количество из каждой клетки, ни то какие именно клетки "видны" через датчики из каждой клетки (почему обязательно соседние? - пусть любые) - все возможные переходы и "видимые" клетки можно определять отдельно таблично. И таблицу эту можно генерировать случайным образом перед тестированием. Вот тогда среда действительно будет неизвестной ни для агента, ни для его разработчиков и задача становится значительно интересней!
А главное: ни один человек никогда не сможет продемонстрировать в ней свои "истинно интеллектуальные" способности.


1. Ну, блин я же уже не раз говорил, агенту положено знать лишь то, (1) какого типа территория вокруг у 25 клеток, то, что скажет об этой территории учитель (а именно (1) сколько на ней ресурсов и (2) как учитель оценивает выгодность этой территории для размещения города) и ВСЕ ! А на выходе должен предоставить лишь 10 чисел с оценкой того, что делать. Ах, да и еще поощрения - но уверяю вас они будут агенту бесполезны ... хотя как знать ...
2. Так именно так и есть - размер поля, число ходов, и прочие правила жизни - могут свободно меняться, только до абсурда не нужно доходить - мы все-таки двигаемся в пространстве последовательно, видеть можем только то, что доступно обзору. И только для отладки, для иследования можно опробывать на средах, где исследователь - а не агент знает эти правила, в реальном же тесте-соревновании, конечно все это будет измененно, чтобы учатник не смог бы заложить, ту информацию которая не рекоммендованна для этого ... и будет сам виноват если заложит жесткую логику со знанием частных правил ...

"Почему Вы выбрали изоморфное (относительно поворотов на 90град) и когерентное поле?"
Расшивруйте мне по русски - я таким умных слов не знаю ...
[Ответ][Цитата]
daner
Сообщений: 4593
На: Формализация среды для задачи "Двухуровневое целепологание"
Добавлено: 05 сен 08 14:06
Цитата:
Автор: Львович
А главное: ни один человек никогда не сможет продемонстрировать в ней свои "истинно интеллектуальные" способности.

Ну почему же? через десяток поколений постоянных наблюдений создания множества теорий и т.д. и т.п. думаю какие-то модели появятся. .

Интересная задача для ИИ (Игра называется "Астроном"). Определяются пару сот тысяч объектов траектории вращения, которых задаются по Кеплеру... а агент помещается в куда-то (не в центр) в область вращения всех этих тел. Вот и посмотрим, сколько ему лет надо будет, что бы дойти до предположения, что его тело плоское и стоит на слонах, а вон тот яркий объект каждое утро умирает и воскресает в новь на восходе. .

Шутка это все.
[Ответ][Цитата]
Алхимик
Сообщений: 315
На: Формализация среды для задачи "Двухуровневое целепологание"
Добавлено: 05 сен 08 16:39
Цитата:
Автор: tac
Формализация близится к концу, посмотрите (все тот же 2 пост) критичным взглядом и оцените чего не хватает для однозначности.
По сравнению с тем, что было на мембране, однозначности добавилось, но до конца еще далеко, потому что нет полной информации об игре. Поэтому я позадаю вопросы, а вы коротко и точно ответьте на них.
1. Агент и Учитель - это одно и тоже или разные объекты. Перечислите полный список возможных действий для него (или для них, если это не одно и тоже).
[Ответ][Цитата]
tac
Сообщений: 2601
На: Формализация среды для задачи "Двухуровневое целепологание"
Добавлено: 05 сен 08 16:55
Цитата:
Автор: Алхимик

По сравнению с тем, что было на мембране, однозначности добавилось, но до конца еще далеко, потому что нет полной информации об игре. Поэтому я позадаю вопросы, а вы коротко и точно ответьте на них.
1. Агент и Учитель - это одно и тоже или разные объекты. Перечислите полный список возможных действий для него (или для них, если это не одно и тоже).


1. Агент и Учитель - разные
2. Действия агента - это совокупность параллельных действий юнитов-поселенец, для юнита поселенец возможны 10 действий (описанно во 2 посте - 8 движений/постройка города/отдых)
3. Действия учителя - только одно обучить агента ДО ИГРЫ (offline фаза) - как описано в посте 2.
[Ответ][Цитата]
Алхимик
Сообщений: 315
На: Формализация среды для задачи "Двухуровневое целепологание"
Добавлено: 05 сен 08 17:22
Цитата:
Автор: tac



1. Агент и Учитель - разные
2. Действия агента - это совокупность параллельных действий юнитов-поселенец, для юнита поселенец возможны 10 действий (описанно во 2 посте - 8 движений/постройка города/отдых)

Это что ж, все действия совершаются из единого центра? У поселенцев нет автономии в действиях? А почему же тогда названо мультиагентным? Из-за наличия городов?
Цитата:
Автор: tac
3. Действия учителя - только одно обучить агента ДО ИГРЫ (offline фаза) - как описано в посте 2.

Конкретно, что из себя представляет действие? Что значит обучить?
[Ответ][Цитата]
 Стр.2 (5)1  [2]  3  4  5<< < Пред. | След. > >>