GotAI.NET

Форум: Проблемы искусственного интеллекта

 

Регистрация | Вход

 Все темы | Новая тема Стр.26 (112)<< < Пред. | След. > >>   Поиск:  
 Автор Тема: На: Об одном подходе к решению задачи создания СИИ
гость
78.25.123.*
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 18 апр 17 7:54
тем более что сам по себе критерий в такой форме неполон - что предпочесть 3-2 (3 единицы позитива и 2 ед. негатива) или 5-4, или 3 ед. позитива одного типа трем же ед. другого? каков кросс-курс ценности единиц эмоций разных типов?
[Ответ][Цитата]
Victor G. Tsaregorodtsev
Сообщений: 3187
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 19 апр 17 14:17
Цитата:
Автор: Траян
наиболее эффективным образом усовершенствования, усложнения поведения агента можно добиться в том случае, когда он получает подкрепления не слишком часто, и общее кол-во получаемых им положительных и отрицательных подкреплений приблизительно равно.

А тем временем альтернативной технологии (сравнимой по эффективности, как показано в статье) плевать на подкрепления и прочие балансы. Из аннотации:
we highlight several advantages of ES as a black box optimization technique: it is invariant to action frequency and delayed rewards, tolerant of extremely long horizons, and does not need temporal discounting or value function approximation.
http://arxiv.org/abs/1703.03864

Не агитирую за неё - но думаю, что Ваших СИИ-агентов вполне можно или запустить одновременно жить в мире (в разных его "точках") и потом выбрать лучших, или просто стравить их друг с другом в каком-то турнире. Как и LiveBaster'у можно сгенерировать рандомный холмистый рельеф и запускать его страусов кататься с разных точек по разным азимутам, после чего отбирать "на племя" лучших горнолыжников.
[Ответ][Цитата]
LiveBaster
Сообщений: 247
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 19 апр 17 16:34
Цитата:
Автор: Траян
То, что этот тезис неверен совершенно ясно из общих соображений и доказывается прямыми экспериментами (крысы с электрической само-стимуляцией центра удовольствия
вовсе не достигли какого-либо просветления).

На мой взгляд, эмоции - это конструктивная особенность биологических тел, т.е. к интеллекту/разуму они не имеют отношения.
Тело отдельно - разум отдельно.
[Ответ][Цитата]
Траян
Сообщений: 1063
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 20 апр 17 2:37
Цитата:
Автор: Victor G. Tsaregorodtsev
http://arxiv.org/abs/1703.03864

Не агитирую за неё - но думаю, что Ваших СИИ-агентов вполне можно или запустить одновременно жить в мире (в разных его "точках") и потом выбрать лучших, или просто стравить их друг с другом в каком-то турнире.


Спасибо за ссылку. Действительно интересно было бы как-нибудь попробовать такое и сравнить.
[Ответ][Цитата]
Траян
Сообщений: 1063
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 20 апр 17 2:57
Цитата:
Автор: гость

тем более что сам по себе критерий в такой форме неполон - что предпочесть 3-2 (3 единицы позитива и 2 ед. негатива) или 5-4, или 3 ед. позитива одного типа трем же ед. другого? каков кросс-курс ценности единиц эмоций разных типов?


Вы задаете вполне правомочные, но очень трудные вопросы.

>каков кросс-курс ценности единиц эмоций разных типов?

Пока на этот вопрос у меня нет ответа, но хорошо то, что Вы подсознательно допускаете саму возможность такого кросс-курса. Что такую модальность, как "ценность", привлекательность или невыносимость той или иной эмоции можно оценить в неких абсолютных единицах (по некой абсолютной шкале).

Которые вслед за Вайнцвайгом можно условно назвать первичными (простейшими) эмоциями.

Образно говоря, частички первичной (и положительная и отрицательная) эмоции "вкраплены" в состав более сложных и изощренных эмоций.

При сравнении между собой сложных высокоуровневых эмоций, частички содержащихся в них первичных положительной и отрицательной эмоций выделяются и суммируются.

Ясно, что эти суммам должны быть присущи такие свойства характерные для рациональных чисел, как транзитивность, аддитивность (монотонность) и прочее.

Т.е. такие свойства, которые обеспечивали бы продуктивность сравнения между собой самых разных вариантов будущего наступающего после совершения того или иного действия и тем самым обеспечивали бы возможность совершения выбора одного из них.

Живые существа не могут позволить себе роскошь "зависания" аналогичного машинному, и не могут позволить себе слишком часто впадать в ступор.
[Ответ][Цитата]
Траян
Сообщений: 1063
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 20 апр 17 3:10
Изменено: 20 апр 17 3:15
Цитата:
Автор: LiveBaster
На мой взгляд, эмоции - это конструктивная особенность биологических тел, т.е. к интеллекту/разуму они не имеют отношения.
Тело отдельно - разум отдельно.


На сегодняшний день существует множество различных концепций ML.

Создатели каждой из которых стремились добиться как можно большей эффективности.

Среди этих концепций есть такая, которая называется "обучение с подкреплением" (RL). При ее создании никто особо не стремился к повторению, копированию биологических существ. Просто старались создать такую информационную обучающуюся конструкцию, которая была бы максимальной универсальной, автономной и эффективной.

Так вот, тупо стремясь к универсальности, автономности и эффективности разработчики в итоге - внезапно - обнаружили поразительное сходство некоторых аспектов систем управления получаемых конструкций с эмоциональной системой простых живых существ.

Т.е. эмоциональность - это не какая-то фича тел (сомы) биологических существ.
Эмоции - это нечто такое, что имеет прямое отношение к задачам управления поведением и его оптимизации.

И еще, это нечто такое, что дает существенный выигрыш при выполнении сверх-сложных процедур обработки плохо подготовленной, "сырой" информации.
[Ответ][Цитата]
Траян
Сообщений: 1063
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 20 апр 17 3:43
Изменено: 20 апр 17 3:46
Цитата:
Автор: Luаrvik
А что здесь называют "эмоциями", если отбросить всю эту психолого-астрологическую чушь ?


Зачем мне отвечать на вопрос заданный в столь хамском тоне?

До свидания.

[Ответ][Цитата]
LiveBaster
Сообщений: 247
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 20 апр 17 14:12
Цитата:
Автор: Траян
Т.е. эмоциональность - это не какая-то фича тел (сомы) биологических существ.
Эмоции - это нечто такое, что имеет прямое отношение к задачам управления поведением и его оптимизации.

Задача: открыть дверь ключом.
Допущение: ключи иногда выпадают из рук робота
Вопрос: каким образом эмоции помогут решить задачу?

Робот будет испытывать оргазм, каждый раз, когда получится открыть дверь?
Робот будет злиться и крушить всё вокруг, когда ключи несколько раз подряд упадут?
Что будет, если уже злой робот, дополнительно споткнётся о порог? Со злости он выломает дверь, чтобы её больше не приходилось открывать ключом?
[Ответ][Цитата]
гость
142.0.195.*
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 20 апр 17 14:15
Нет. Робот всего лишь скажет "Ой бля" уронив ключи. Для этой "ситуации" достаточно...
[Ответ][Цитата]
Траян
Сообщений: 1063
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 21 апр 17 1:22
Изменено: 21 апр 17 1:31
Цитата:
Автор: LiveBaster
Задача: открыть дверь ключом.
Допущение: ключи иногда выпадают из рук робота
Вопрос: каким образом эмоции помогут решить задачу?


Цитата:
Автор: LiveBaster
Робот будет испытывать оргазм, каждый раз, когда получится открыть дверь?


Нечто вроде того.

Цитата:
Автор: LiveBaster
Робот будет злиться и крушить всё вокруг, когда ключи несколько раз подряд упадут?


Несколько раз уронив ключи и получив отрицательное подкрепление, в дальнейшем
он будет избегать таких ситуаций (таких положений манипуляторов) при которых возможно падение ключей. В конце концов он научится ничего не ронять.

Цитата:
Автор: LiveBaster
Что будет, если уже злой робот, дополнительно споткнётся о порог?


В следующий раз приближаясь к порогу будет внимательнее.

Цитата:
Автор: LiveBaster
Со злости он выломает дверь, чтобы её больше не приходилось открывать ключом?


смотря как система целеполагания отреагирует на данный акт вандализма. (эта система будет исходить из того каков был его прежний опыт ломания).

Вообще говоря, все это банально.

Системы управления использующие простые первичные эмоции для оптимизации поведения агента создаются - и успешно используются - уже давно.

В классической книжке Саттона и Барто, приводится такой пример:



http://savepic.ru/13666616m.jpg

(Подозреваю, что и в Бостон дайнамикс используется нечто подобное.)

Кстати говоря, Вы ведь тоже решаете задачу оптимизации поведения (движения страусов)? Почему бы не задействовать для этого агента с RL, самообучающийся интеллект которого действительно является универсальным и автономным.

Одна и та же система целеполагания может быть использована в самых разных предметных областях и при решении самых разных задач (достаточно поменять внешний интерфейс, систему эффекторов-рецепторов - и вуаля!).
[Ответ][Цитата]
LiveBaster
Сообщений: 247
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 21 апр 17 1:44
Цитата:
Автор: Траян
(Подозреваю, что и в Бостон дайнамикс используется нечто подобное.)

Кстати говоря, Вы ведь тоже решаете задачу оптимизации поведения (движения страусов)? Почему бы не задействовать для этого агента с RL, самообучающийся интеллект которого действительно является универсальным и автономным.

Одна и та же система целеполагания может быть использована в самых разных предметных областях и при решении самых разных задач (достаточно поменять внешний интерфейс, систему эффекторов-рецепторов - и вуаля!).

Я думаю, что если бы с RL было всё так хорошо, то роботы Бостон Динамикс давно бы уже бегали у многих по кухне, в качестве приложения к посудомойке. Однако, пока они ничего не продают на массовый рынок - продукта нет, да и из Гугл их попросили по причине отсутствия коммерческих перспектив.
[Ответ][Цитата]
Траян
Сообщений: 1063
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 28 апр 17 3:49
Цитата:
Автор: LiveBaster
Я думаю, что если бы с RL было всё так хорошо, то роботы Бостон Динамикс давно бы уже бегали у многих по кухне, в качестве приложения к посудомойке. Однако, пока они ничего не продают на массовый рынок - продукта нет, да и из Гугл их попросили по причине отсутствия коммерческих перспектив.


1. То, что в разработках Boston Dynamics используется RL - всего лишь мое предположение.

2. Невыход на массовый рынок может быть объяснен целым рядом причин, таких как высокая цена Big Dog (а это может быть несколько миллионов $$), низкой надежностью и высоким уровнем стоимости обслуживания и эксплуатационных расходов. Но все эти причины могут быть никак не связаны с тем научно-техническим прорывом, который был достигнут при его создании.

Фундаментальные научные достижениями отнюдь не всегда с самого начала имеют ясные коммерческие перспективы.
[Ответ][Цитата]
Траян
Сообщений: 1063
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 28 апр 17 4:17
Изменено: 28 апр 17 4:38
Цитата:
Автор: Траян

>Вместе с тем, потенциальная применимость БМП к тому, чтобы использующие его автономные агенты мог­ли сами, в процессе накопления опыта и отражения его в моде­лях, постепенно, шаг за шагом проходя очень длинный и трудный путь поэтапного создания все более сложных и совершенных моделей, прийти в итоге к настолько слож­ным и развитым моделям, которые бы включали в себя, по­мимо всего прочего, и модели разумных субъектов, вовсе не означает того, что каждый агент, использующий БМП, обре­чен на обязательное прохождение всего этого пути от нача­ла до конца, и что для агентов с БМП возможна лишь такая – убийственно медленная и невероятно ресурсоемкая – фор­ма познания действительности.


>>Автор: Траян
Для ускорения этого процессам мы, воленс-неволенс, должны встроить в агента некие бустерные (ускоряющие) процесс построения моделей априорные субъектно-ориентированные знания.

Но вот как это сделать - вопрос вопросов. Поскольку при этом мы еще должны сохранить главное достоинство нашего подхода, т.е. его предельную объективность.

Даже на такой, чисто технический вопрос - а куда, собственно говоря, в какое место общей процедуры построения моделей должны быть воткнуты эти априорные бустерные знания, ответить совсем непросто.

>>>Судя по всему, эти знания должны быть встроены, имплементированы в механизм прогнозирования.


Похоже я был неправ.

То, что без прогнозирования высокоуровневые субъектно-ориентированные знания бесполезны - это верно. (Именно в прогнозировании/планировании раскрывается их суть и содержание.)

Но проявляться они должны не на этапе многошагового прогнозирования (с использованием сложных и изощренных моделей) - тут я здорово ошибался. А на более низком уровне, в процессе выбора действий (которые ведь могут выбираться не только как одиночная ответная реакция на текущее состояние внешней среды, но и для
исполнения - либо непрерывно осуществляемого контроля исполнения - ранее выбранного плана, некой линии поведения).

Именно на этом уровне агент может уже задаваться вопросами вида:

"Кто я такой?"

"Что я делаю?"

"Зачем я это делаю?"

Похоже, для того, чтобы у искусственных агентов (живых существ) могли наблюдаться самые первые проблески самосознания (рефлексии) необходимо чтобы они обладали способностью хотя бы к двухшаговому прогнозированию/планированию.
[Ответ][Цитата]
Траян
Сообщений: 1063
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 28 апр 17 4:33
Изменено: 28 апр 17 4:39
Сейчас в самом общем виде конструкция агента с СИИ представляется состоящей из двух самообучающихся и самосовершенствующихся (и к тому же взаимосвязанных и взаимодополняющих) частей:

1. Конструктора личности агента.

2. Реализатора личности агента.
[Ответ][Цитата]
Траян
Сообщений: 1063
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 29 апр 17 7:48
Изменено: 29 апр 17 7:54
Цитата:
Автор: гость
так если очевидно, То зачем упор на очевидно неадекватную затею с maх(Pos-Neg)??


А что здесь неадекватного? На идее суммирования поощрений строится весь MDP/Markov decision process.

Цитата:
Автор: гость
еще понятны модели рациональных агентов, которые максимизируют прогнозные суммы вознаграждений/наказаний, но напрямую 'калькулировать' эмоции как критерий выбора это перебор..


Так речь идет как раз о суммировании прогнозных!

И в программе СПИ и в теории БМП речь идет именно о будущих подкреплениях.
(Именно поэтому и используются мат.ожидания.)
Предполагается, что разумное существо - это существо которое совершает выбор своих действий путем прогнозирования возможных последствий могущих возникнуть после совершения каждого из доступных действий - и выбора наилучшего.
Т.е. такого, последствия от совершения которого будут наиболее благоприятны (в плане получения подкреплений).

А о каком таком "прямом" суммировании Вы говорите? Это еще что такое?
[Ответ][Цитата]
 Стр.26 (112)1  ...  22  23  24  25  [26]  27  28  29  30  ...  112<< < Пред. | След. > >>