GotAI.NET

Форум: Проблемы искусственного интеллекта

 

Регистрация | Вход

 Все темы | Новая тема Стр.27 (52)<< < Пред. | След. > >>   Поиск:  
 Автор Тема: На: Об одном подходе к решению задачи создания СИИ
Траян
Сообщений: 359
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 20 апр 17 2:37
Цитата:
Автор: Victor G. Tsaregorodtsev
http://arxiv.org/abs/1703.03864

Не агитирую за неё - но думаю, что Ваших СИИ-агентов вполне можно или запустить одновременно жить в мире (в разных его "точках") и потом выбрать лучших, или просто стравить их друг с другом в каком-то турнире.


Спасибо за ссылку. Действительно интересно было бы как-нибудь попробовать такое и сравнить.
[Ответ][Цитата]
Траян
Сообщений: 359
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 20 апр 17 2:57
Цитата:
Автор: гость

тем более что сам по себе критерий в такой форме неполон - что предпочесть 3-2 (3 единицы позитива и 2 ед. негатива) или 5-4, или 3 ед. позитива одного типа трем же ед. другого? каков кросс-курс ценности единиц эмоций разных типов?


Вы задаете вполне правомочные, но очень трудные вопросы.

>каков кросс-курс ценности единиц эмоций разных типов?

Пока на этот вопрос у меня нет ответа, но хорошо то, что Вы подсознательно допускаете саму возможность такого кросс-курса. Что такую модальность, как "ценность", привлекательность или невыносимость той или иной эмоции можно оценить в неких абсолютных единицах (по некой абсолютной шкале).

Которые вслед за Вайнцвайгом можно условно назвать первичными (простейшими) эмоциями.

Образно говоря, частички первичной (и положительная и отрицательная) эмоции "вкраплены" в состав более сложных и изощренных эмоций.

При сравнении между собой сложных высокоуровневых эмоций, частички содержащихся в них первичных положительной и отрицательной эмоций выделяются и суммируются.

Ясно, что эти суммам должны быть присущи такие свойства характерные для рациональных чисел, как транзитивность, аддитивность (монотонность) и прочее.

Т.е. такие свойства, которые обеспечивали бы продуктивность сравнения между собой самых разных вариантов будущего наступающего после совершения того или иного действия и тем самым обеспечивали бы возможность совершения выбора одного из них.

Живые существа не могут позволить себе роскошь "зависания" аналогичного машинному, и не могут позволить себе слишком часто впадать в ступор.
[Ответ][Цитата]
Траян
Сообщений: 359
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 20 апр 17 3:10
Изменено: 20 апр 17 3:15
Цитата:
Автор: LiveBaster
На мой взгляд, эмоции - это конструктивная особенность биологических тел, т.е. к интеллекту/разуму они не имеют отношения.
Тело отдельно - разум отдельно.


На сегодняшний день существует множество различных концепций ML.

Создатели каждой из которых стремились добиться как можно большей эффективности.

Среди этих концепций есть такая, которая называется "обучение с подкреплением" (RL). При ее создании никто особо не стремился к повторению, копированию биологических существ. Просто старались создать такую информационную обучающуюся конструкцию, которая была бы максимальной универсальной, автономной и эффективной.

Так вот, тупо стремясь к универсальности, автономности и эффективности разработчики в итоге - внезапно - обнаружили поразительное сходство некоторых аспектов систем управления получаемых конструкций с эмоциональной системой простых живых существ.

Т.е. эмоциональность - это не какая-то фича тел (сомы) биологических существ.
Эмоции - это нечто такое, что имеет прямое отношение к задачам управления поведением и его оптимизации.

И еще, это нечто такое, что дает существенный выигрыш при выполнении сверх-сложных процедур обработки плохо подготовленной, "сырой" информации.
[Ответ][Цитата]
Траян
Сообщений: 359
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 20 апр 17 3:43
Изменено: 20 апр 17 3:46
Цитата:
Автор: Luаrvik
А что здесь называют "эмоциями", если отбросить всю эту психолого-астрологическую чушь ?


Зачем мне отвечать на вопрос заданный в столь хамском тоне?

До свидания.

[Ответ][Цитата]
LiveBaster
Сообщений: 159
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 20 апр 17 14:12
Цитата:
Автор: Траян
Т.е. эмоциональность - это не какая-то фича тел (сомы) биологических существ.
Эмоции - это нечто такое, что имеет прямое отношение к задачам управления поведением и его оптимизации.

Задача: открыть дверь ключом.
Допущение: ключи иногда выпадают из рук робота
Вопрос: каким образом эмоции помогут решить задачу?

Робот будет испытывать оргазм, каждый раз, когда получится открыть дверь?
Робот будет злиться и крушить всё вокруг, когда ключи несколько раз подряд упадут?
Что будет, если уже злой робот, дополнительно споткнётся о порог? Со злости он выломает дверь, чтобы её больше не приходилось открывать ключом?
[Ответ][Цитата]
гость
142.0.195.*
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 20 апр 17 14:15
Нет. Робот всего лишь скажет "Ой бля" уронив ключи. Для этой "ситуации" достаточно...
[Ответ][Цитата]
Траян
Сообщений: 359
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 21 апр 17 1:22
Изменено: 21 апр 17 1:31
Цитата:
Автор: LiveBaster
Задача: открыть дверь ключом.
Допущение: ключи иногда выпадают из рук робота
Вопрос: каким образом эмоции помогут решить задачу?


Цитата:
Автор: LiveBaster
Робот будет испытывать оргазм, каждый раз, когда получится открыть дверь?


Нечто вроде того.

Цитата:
Автор: LiveBaster
Робот будет злиться и крушить всё вокруг, когда ключи несколько раз подряд упадут?


Несколько раз уронив ключи и получив отрицательное подкрепление, в дальнейшем
он будет избегать таких ситуаций (таких положений манипуляторов) при которых возможно падение ключей. В конце концов он научится ничего не ронять.

Цитата:
Автор: LiveBaster
Что будет, если уже злой робот, дополнительно споткнётся о порог?


В следующий раз приближаясь к порогу будет внимательнее.

Цитата:
Автор: LiveBaster
Со злости он выломает дверь, чтобы её больше не приходилось открывать ключом?


смотря как система целеполагания отреагирует на данный акт вандализма. (эта система будет исходить из того каков был его прежний опыт ломания).

Вообще говоря, все это банально.

Системы управления использующие простые первичные эмоции для оптимизации поведения агента создаются - и успешно используются - уже давно.

В классической книжке Саттона и Барто, приводится такой пример:



http://savepic.ru/13666616m.jpg

(Подозреваю, что и в Бостон дайнамикс используется нечто подобное.)

Кстати говоря, Вы ведь тоже решаете задачу оптимизации поведения (движения страусов)? Почему бы не задействовать для этого агента с RL, самообучающийся интеллект которого действительно является универсальным и автономным.

Одна и та же система целеполагания может быть использована в самых разных предметных областях и при решении самых разных задач (достаточно поменять внешний интерфейс, систему эффекторов-рецепторов - и вуаля!).
[Ответ][Цитата]
LiveBaster
Сообщений: 159
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 21 апр 17 1:44
Цитата:
Автор: Траян
(Подозреваю, что и в Бостон дайнамикс используется нечто подобное.)

Кстати говоря, Вы ведь тоже решаете задачу оптимизации поведения (движения страусов)? Почему бы не задействовать для этого агента с RL, самообучающийся интеллект которого действительно является универсальным и автономным.

Одна и та же система целеполагания может быть использована в самых разных предметных областях и при решении самых разных задач (достаточно поменять внешний интерфейс, систему эффекторов-рецепторов - и вуаля!).

Я думаю, что если бы с RL было всё так хорошо, то роботы Бостон Динамикс давно бы уже бегали у многих по кухне, в качестве приложения к посудомойке. Однако, пока они ничего не продают на массовый рынок - продукта нет, да и из Гугл их попросили по причине отсутствия коммерческих перспектив.
[Ответ][Цитата]
Траян
Сообщений: 359
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 28 апр 17 3:49
Цитата:
Автор: LiveBaster
Я думаю, что если бы с RL было всё так хорошо, то роботы Бостон Динамикс давно бы уже бегали у многих по кухне, в качестве приложения к посудомойке. Однако, пока они ничего не продают на массовый рынок - продукта нет, да и из Гугл их попросили по причине отсутствия коммерческих перспектив.


1. То, что в разработках Boston Dynamics используется RL - всего лишь мое предположение.

2. Невыход на массовый рынок может быть объяснен целым рядом причин, таких как высокая цена Big Dog (а это может быть несколько миллионов $$), низкой надежностью и высоким уровнем стоимости обслуживания и эксплуатационных расходов. Но все эти причины могут быть никак не связаны с тем научно-техническим прорывом, который был достигнут при его создании.

Фундаментальные научные достижениями отнюдь не всегда с самого начала имеют ясные коммерческие перспективы.
[Ответ][Цитата]
Траян
Сообщений: 359
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 28 апр 17 4:17
Изменено: 28 апр 17 4:38
Цитата:
Автор: Траян

>Вместе с тем, потенциальная применимость БМП к тому, чтобы использующие его автономные агенты мог­ли сами, в процессе накопления опыта и отражения его в моде­лях, постепенно, шаг за шагом проходя очень длинный и трудный путь поэтапного создания все более сложных и совершенных моделей, прийти в итоге к настолько слож­ным и развитым моделям, которые бы включали в себя, по­мимо всего прочего, и модели разумных субъектов, вовсе не означает того, что каждый агент, использующий БМП, обре­чен на обязательное прохождение всего этого пути от нача­ла до конца, и что для агентов с БМП возможна лишь такая – убийственно медленная и невероятно ресурсоемкая – фор­ма познания действительности.


>>Автор: Траян
Для ускорения этого процессам мы, воленс-неволенс, должны встроить в агента некие бустерные (ускоряющие) процесс построения моделей априорные субъектно-ориентированные знания.

Но вот как это сделать - вопрос вопросов. Поскольку при этом мы еще должны сохранить главное достоинство нашего подхода, т.е. его предельную объективность.

Даже на такой, чисто технический вопрос - а куда, собственно говоря, в какое место общей процедуры построения моделей должны быть воткнуты эти априорные бустерные знания, ответить совсем непросто.

>>>Судя по всему, эти знания должны быть встроены, имплементированы в механизм прогнозирования.


Похоже я был неправ.

То, что без прогнозирования высокоуровневые субъектно-ориентированные знания бесполезны - это верно. (Именно в прогнозировании/планировании раскрывается их суть и содержание.)

Но проявляться они должны не на этапе многошагового прогнозирования (с использованием сложных и изощренных моделей) - тут я здорово ошибался. А на более низком уровне, в процессе выбора действий (которые ведь могут выбираться не только как одиночная ответная реакция на текущее состояние внешней среды, но и для
исполнения - либо непрерывно осуществляемого контроля исполнения - ранее выбранного плана, некой линии поведения).

Именно на этом уровне агент может уже задаваться вопросами вида:

"Кто я такой?"

"Что я делаю?"

"Зачем я это делаю?"

Похоже, для того, чтобы у искусственных агентов (живых существ) могли наблюдаться самые первые проблески самосознания (рефлексии) необходимо чтобы они обладали способностью хотя бы к двухшаговому прогнозированию/планированию.
[Ответ][Цитата]
Траян
Сообщений: 359
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 28 апр 17 4:33
Изменено: 28 апр 17 4:39
Сейчас в самом общем виде конструкция агента с СИИ представляется состоящей из двух самообучающихся и самосовершенствующихся (и к тому же взаимосвязанных и взаимодополняющих) частей:

1. Конструктора личности агента.

2. Реализатора личности агента.
[Ответ][Цитата]
Траян
Сообщений: 359
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 29 апр 17 7:48
Изменено: 29 апр 17 7:54
Цитата:
Автор: гость
так если очевидно, То зачем упор на очевидно неадекватную затею с maх(Pos-Neg)??


А что здесь неадекватного? На идее суммирования поощрений строится весь MDP/Markov decision process.

Цитата:
Автор: гость
еще понятны модели рациональных агентов, которые максимизируют прогнозные суммы вознаграждений/наказаний, но напрямую 'калькулировать' эмоции как критерий выбора это перебор..


Так речь идет как раз о суммировании прогнозных!

И в программе СПИ и в теории БМП речь идет именно о будущих подкреплениях.
(Именно поэтому и используются мат.ожидания.)
Предполагается, что разумное существо - это существо которое совершает выбор своих действий путем прогнозирования возможных последствий могущих возникнуть после совершения каждого из доступных действий - и выбора наилучшего.
Т.е. такого, последствия от совершения которого будут наиболее благоприятны (в плане получения подкреплений).

А о каком таком "прямом" суммировании Вы говорите? Это еще что такое?
[Ответ][Цитата]
Траян
Сообщений: 359
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 07 май 17 4:06
Изменено: 07 май 17 13:42
Зафиксирую свои текущие соображения по СПИ. Все равно никто ничего не поймет, а я смогу потом ориентироваться: когда по времени пришел к пониманию той или иной вещи.
(И при необходимости доказать это.)

Цитата:
Автор: Траян
Похоже, для того, чтобы у искусственных агентов (живых существ) могли наблюдаться самые первые проблески самосознания (рефлексии) необходимо чтобы они обладали способностью хотя бы к двухшаговому прогнозированию/планированию.


Поэтому в следующем поколении программы СПИ главным новшеством будет реализация именно способности к простейшему многошаговому (т.е. двухшаговому) прогнозированию.

Сама эта способность будет осуществляться не путем построения разветвленных деревьев действие-ситуация(состояние среды), ибо в этом случае неизбежен комбинаторный взрыв. А так, как это делается в RL, где тому или иному состоянию среды приписывается значение величины ценности.

Величину ценности можно рассматривать как аналог первичной эмоции, генерируемой по результату выполнения некой когнитивной операции (выработки стратегии/выбора действия). Чем более удачную стратегию удается выработать ("придумать") агенту, тем большее подкрепление он получает. Таким образом, при двухшаговом прогнозировании учитываются два источника первичных эмоций - одни из них получаются по старой схеме, в результате непосредственной оценки внешней среды, а другая - по результатам выполнения внутренней когнитивной операции.

Поскольку никакой гарантии насчет того, что выбранная стратегия будет реализована так как задумывалась нет и не может быть, нам необходимо контролировать течение процесса реализации выбранной стратегии - причем, без построения дерева вариантов.

Это можно сделать введя в систему некоего Контроллера, отслеживающего процесс реализации стратегии. Этот Контроллер - предтеча сознания (самосознания).

Контроллер строится агентом самостоятельно, под выбранную стратегию. Иначе говоря, агент самостоятельно постепенно строит свою личность (или личности).

Под одну и ту же стратегию можно построить много самых разных Контроллеров, отличающихся между собой по степени своей эффективности. Обеспечить стремление агента к построению возможно более эффективных контролеров - избегая тупой комбинаторики, обращения к дереву вариантов - можно введя еще один источник первичных эмоций, которые агент будет получать при построении Контроллеров (либо пар Контроллер+Стратегия). Эффективность может определяться по средней эмоции получаемой в ед. времени на бесконечности.

Как можно видеть, на этапе СПИ-2 основной прогресс в развитии интеллектуальных способностей будет достигаться за счет постепенного развития и совершенствования эмоциональной компоненты всей системы, некоего аналога лимбической системы живых существ. При этом совершенствование предполагается производить по пути изменения источников получения первичных эмоций - если сначала они генерировались исключительно от рецепторов непосредственно регистрирующих состояние среды/сомы, то затем они начинают все в больше и большей степени генерироваться по результатам выполнения ментальных т.е. информационных/когнитивных операций.

На этапе эволюционного перехода от СПИ к СПИ-2 такой подход представляется наиболее простым, естественным и очевидным - поскольку при нем оказывается возможным совершенствовать СПИ постепенно, настолько мелкими шажками, что возможность реализации их у живых существ (в результате мутаций) выглядит вполне правдоподобной.

Что интересно. Если мы взглянем на этапы развития интеллекта в природе, то и там тоже обнаружим интересную закономерность: после появления существ способных вырабатывать простейшие условные рефлексы, в дальнейшем развитие мозга шло по пути совершенствования таких структур мозга, которые наиболее близки к лимбической системе, и только затем, когда эту систему удалось отстроить с достаточной степнью совершенства - начался стремительный, чуть ли не экспоненциальный рост структур обеспечивающих выполнение логико-рациональных функций (неокортекса).



Получается так, что путь эволюции мозга земных живых существ - через предварительное совершенствование эмоциональной компоненты - есть (всего-навсего) путь обуздания непомерной размерности пространства входных данных и комбинаторного взрыва?
[Ответ][Цитата]
kondrat
Сообщений: 2483
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 07 май 17 11:14
Цитата:
Автор: 44

Дык, что такое рефлекс, по-вашему? У меня бы заболели мозоли, если бы вы смогли на них наступить.
[Ответ][Цитата]
гость
46.105.100.*
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 07 май 17 11:14
Цитата:
Автор: 44



Траян, к современной физиологии это всё отношения не имеет. Забудьте об условных и безусловных рефлексах, с середины прошлого века мышление объясняется как функция нейронной сети. В нейронных сетях нет рефлексов и не рефлексов как разной физиологической реальности, а зачастую всё ещё встречающаяся «рефлекторная» терминология сейчас имеет совсем другой смысл. Конечно, если речь не идёт о псевдонаучных сайтах типа Форнита.

После появления животных имеющих нервную систему и потому получивших выраженную способность к обучению, в дальнейшем развитие мозга шло только по одному пути — по пути увеличения объёма и сложности нейронной сети, то есть по пути развития способности животных к обучению, расширения объёма и сложности личного опыта. Всё. Остальные подробности, в частности дополнение ганглий корой, развитие и совершенствование кратковременной памяти, происходит в этом общем контексте усложнения нейронной сети, а не образования неких специфических «не рефлекторных» структур.

Эволюция мозга описана в статье в главе «Эволюция нервной системы».
***


Что касается развития вычислительных систем, то здесь связь не с «рефлексами» и «не рефлексами», а с тем, что традиционные алгоритмы копируют последовательное поведение человека, последовательное переключение внимания, в то время как искусственные нейронные сети уже пытаются копировать и устройство самого мышления. А комбинаторный взрыв в мышлении вообще ни при чём, нейронные сети ничего не перебирают.


Не брюзжите на коллегу уважаемый, он прав больше чем Вы, в его модели больше Информации, его модель лучше позволят уменьшить неопределенность. Говорить про “нейронные сети” в контексте сознания, так же бессмысленно, как про “транзисторные сети” в компах, в контексте работы ОС, или программ. О каких нейросетях идет речь? MLP, или CNN? А почему не random forest или не SVM? Нейросеть это классификатор, коих 100500, сам по себе классификатор не есть “сознание”, хотя важная его часть, сознание это прежде всего инструмент обработки данных ГОМЕОСТАТА, автономного существа. ИМХО без задач автономности, не может быть субъективного сознания, “Я”. Существо должно быть частью целого и бороться за существование.
[Ответ][Цитата]
 Стр.27 (52)1  ...  23  24  25  26  [27]  28  29  30  31  ...  52<< < Пред. | След. > >>