...P.S. 22 марта 2019. ОТИ занимается логикой работы, общей для ИИ и био-мозга. Дискуссия сегодня подверглась сокращению для удобства пользователей. Пока представлены не все концепции "ОТИ", но тема постоянно развивается.. (...)
...(...) поищу энтузиастов ЗДЕСЬ. Всю теорию изложить не могу (...). Предполагаю добавления в первое сообщение темы.
...ОТИ была создана недавно - в этом 2018 году её контуры оформились окончательно (без всякой, увы, посторонней помощи) - и отличается чрезвычайной методологической простотой. "Сильный ИИ" (СИИ) она определяет как НЕЧТО, обладающее свойством
кластеризации (группировки по признакам) (про)явлений сущностей и их обобщения для оптимизации некоторой "целевой функции". Конечно, неплохо, если к этому основному свойству (подразумевающему также способность анализировать и сохранять в памяти большие связные "сцены" и цепочки действий) у интеллекта добавляются различные иные, "специальные" свойства - например, построения 3D-модели окружения или 3D-модели объектов, воображение, внутренние часы, многопоточность обработки и др.
...Кластеризация подразумевает, что "сущности", обладая некими внутренними, важными для субъекта (мозга) свойствами, обладают также "ассоциативными" (признаковыми) свойствами, по которым происходит их "узнавание, идентификация". ОТИ постулирует, что обработка признаков осуществляется первичными, лишь частично адаптируемыми базовыми алгоритмами -
процессингами. В соответствии с разделением "сущностей" на пассивные "объекты" и активные "действия" ОТИ разделяет ассоциативные процессинги "объектов" и "действий".
...Всякий СИИ, опираясь лишь на "процессинги" и свойства "целевой функции", способен обучаться, в определённой среде, "с нуля", с помощью построения "иерархий" объектов и действий. Свойство "иерархичности обработки" полагается фундаментальным для СИИ (тупик в направлении "глубоких сетей" вызван как раз игнорированием этой проблемы), хотя сводить всё к "иерархии" нельзя (например, любое действие человека может быть вызвано не только действием более высокого ранга в иерархии, но через подражание или словесный приказ и т.д.). Человеческий мозг - классический пример "сильного интеллекта", его "целевая функция" задаётся "инстинктивными ядрами" лимбической системы, они "учат" его как поесть, раздобыть пищу, приобрести друзей и т.д. Эти "ядра" задают инстинкты, рациональные в определённой "среде" (особо нужно выделить в них инстинкт обучения с "учителем" и подражания, способствующие более быстрому и рациональному обучению).
...Задача разработчиков СИИ - смоделировать "процессинги мозга". Основные процессинги "интеллекта" - это кластеризация "(про)явлений сущности" и их обобщение, сопровождаемое созданием различных "шаблонов" (о них см. далее). Задача не выглядит чрезвычайно сложной, многие алгоритмы таких "процессингов" (точнее, их логику) я придумал сам (они общие для всех животных), наиболее сложные "шаблоны" - обработки речи - присущи среди животных лишь человеку.
..."Иерархическая обработка" подразумевает "векторную обработку", за исключением формирования базовых "векторных элементов". "Вектор" здесь - это (грамматически) упорядоченное описание, состоящее из отдельных "элементов", представляющих "объекты" или "действия" и их свойства (которые делятся на условно "внутренние" и "отношений"). "Векторная обработка" означает ВОЗМОЖНОСТЬ обработки без (обычных) нейросетей (например, определение "сущности" по близости (или относительной близости) поступающих векторов "явления сущности" к одному из "опорных векторов" этой сущности - известный метод), а, следовательно, такой "опорно-векторный интеллект" становится доступным для всех, дешёвым (более мощная, специализированная обработка требуется лишь для зрения, - эта проблема может решаться специализированными микросхемами выделения первичных векторных элементов, в том числе с использованием перестраиваемых искусственных нейросетей, сканирующих зрительное поле как "свёрточные сети").
...Некоторые идеи или следствия ОТИ в отношении био-мозга:
- Гиперколонки мозга являются кластерами "сущностей", каждая мини-колонка отражает "явление сущности" - содержит "опорный вектор" в новом понимании.
- Перед нейросетями колонок мозга стоит задача прежде всего упорядочения "опорных векторов" (в том числе запоминание новых, удаление "дефектных", исправление "весов свёрток" и др.) - следовательно, они оптимизируются именно под эту функцию. Простота нейросетей колонок мозга объясняет возможность быстрой ("мгновенной") записи информации в кортекс, а также перезаписи.
- "Алгоритмическая" обработка новой информации сосредоточена в осн. в гиппокампах, которые являются мощными "фильтрами", пропускающими для (долговременной) записи в кортекс только важную, уже обработанную информацию во время сна. Алгоритмы гиппокампов производят также упорядочение векторов в "кластерах" (гиперколонках) и всём кортексе во время сна. Допускается также "нейросетевая" обработка как в гиперколонках кортекса, так и в гиппокампах (особенно с использованием вновь образующихся в них нейронов).
...И многое другое.
P.S. 9 авг 2018
..."ОТИ" сводит построение "сильного интеллекта" к двум разным задачам:
а) задаче построения (генетического и т.п. в био-мозге, или через написание старых добрых алгоритмов для СИИ) "процессингов" мозга;
б) обучения этого интеллекта.
...Обучение СИИ как "младенца", наверно, ни у кого не вызывает возражений? Наверно, сомнения вызывает возможность написания алгоритмов "процессингов"? Здесь трудности могут возникнуть уже на этапе выделения, например, "объектов" из "сцен" и т.п., и действительно - до сих пор пишутся вполне "научные" работы по выделению контуров объектов, и это при том, что даже нейросети лягушек делают это мгновенно! Однако хотелось бы обратить внимание на другое - как только этот "барьер" на пути Прогресса будет преодолён (а он может быть преодолён при моделировании СИИ в виртуальном пространстве уже сейчас), дальнейшее развитие СИИ пойдёт как по маслу - потому что процессинги и объектов, и "действий" должны обрабатывают кластеры любого уровня по одним и тем же алгоритмам (например, для "иерархии действий" - от движений до мышления). Это, между прочим, лишь "постулат" (недоказанная теорема) - что процессинги не развиваются вместе с обучением мозга, но разве само предположение не восхитительно ?! - и попробуйте его опровергнуть ?! (или доказать) - это как теорема Ферма, только намного круче! В любом случае для СИИ можно создать готовый набор этих процессингов, поскольку число их невелико.
...Задачи "процессингов" существенно различаются по сложности, хотя это различие, при реализации нейросетевой обработки, сильно нивелируется (см. далее). Наиболее просты процессинги конкретных "сущностей" и ситуаций. Известно, что мозг младенца мыслит сугубо "предметно" и очень постепенно осваивает различные "обобщения" - начиная от "интеграторов" к "шаблонам бытовой логики" и иных эмпирических правил и языка. Известно, что над самыми трудными - грамматическими - шаблонами, успешно работают в российских НИИ, так что "освоить" все другие "шаблоны" - пара пустяков.
P.S. 11 авг 2018 (P.S. Здесь предварительные мысли)
…Поясню ещё о "шаблонах" и "обобщениях" (индукции). "Шаблонами" можно считать уже "опорные векторы", с которыми сравнивается текущая информация - такая "ассоциативная обработка" наиболее проста, в том числе в нейросетевой реализации. Более сложный "шаблон" - это область, которую занимают "опорные векторы" в пространстве (метрических) признаков. Считается, что эта задача довольно проста для "обычных" нейросетей, а вот "алгоритмическая" обработка слишком сложна для био-мозга - область можно аппроксимировать небольшим числом "обобщённых опорных векторов", где вместо числовых значений стоят "диапазоны" (такая задача привлекательна именно для "ИИ", чтобы обойтись без нейросетей).
…"Интеграторы сущностей", - классы сущностей с определёнными свойствами, получаемыми (в частности):
а) редукцией признаков или заменой признаков на признаки более высокого класса, с сохранением "важных свойств" сущности;
б) редукцией "важных свойств сущности", при этом признаковые свойства могут измениться.
…"Интеграторы сущностей" могут складываться "стихийно" или под влиянием обучения (слов), или являться целенаправленным результатом "алгоритмов индукции" (либо напрямую объединять некоторые сущности).
…"Интеграторы" порождают иерархию (иную, чем признаковая "иерархия сущностей") - иерархию обобщений, которая проверяется и записывается в "свойства сущностей". Наличие иерархичности "интеграторов сущностей" позволяет записывать (важные) свойства (и признаки) сущностей не только в кластеры сущностей (P.S. Необходимость в записи сущностных свойств в кластер сомнительна, см. далее), но и в их "интеграторы" (всех свойств у каждой сущности слишком много, чтобы записать их в кластер), - таким образом, чтобы "узнать" все свойства "сущности", нужно посмотреть на свойства, записанные в кластере сущности и в кластерах всех её "интеграторов", предположительно, при идентификации сущности она предстаёт в совокупности сущностей разной степени интеграции.
…В "правилах", в языке и др. "сцены", "цепочки действий" и отдельные сущности более эффективно описываются с помощью "интеграторов" (индуцированных, вероятно, по большей части языком).
…Максимально общими "интеграторами" являются интеграторы одного признака, а также отношений двух метрических признаков - "больше" и "меньше". Как воспользоваться, например, таким правилом логики с помощью "интеграторов":
"если (а > б и б > в), то а > в", где а, б и в - метрические свойства сущностей А, Б и В (частный случай свойства "ранжирования")? Чтобы "интегратор правила" можно было применить к аналогичным свойствам любых трёх сущностей, в "процессинги" необходимо ввести "условные сущности" (переменные), которые могут быть временно сопоставимы "нормальным" сущностям. "Условные сущности" очень удобны для иерархического описания (сцен, объектов и др.) - вместо какого-л. объекта в большом описании ставится "условная сущность", которая "раскрывается" при необходимости. Итак, "правило" пишется для "условных сущностей", к которым "приравниваются" исследуемые "нормальные" сущности, и если условие "правила"выполняется, то оно выполняется и при обратной замене "условных" сущностей на "нормальные".
…Наконец, рассмотрим, упрощённо, перевод языков (в том числе с внутренних языков на внешний и наоборот). В простом варианте подавляющее большинство языковых единиц (слов, элементов) двух языков имеют однозначное смысловое соответствие (которое устанавливается в осн. на начальном этапе обучения языку, остальные слова отнесём к "грамматике"), а их "грамматические конструкции" могут быть совершенно различны. Обычно смысл фразы "С" однозначно определяется "грамматикой" (включая грамматические особенности слов) "Г" и "семантикой" слов "СС", так что перевод с языка1 на язык2 можно "математически" выразить так:
С1(Г1, СС1) = С2(Г2, СС2).
...Чтобы перевести, таким образом, смысл некоторой фразы и т.п. с языка1, необходимо выделять в ней по нескольку слов, образующих законченные, шаблонные "грамматические формы" (ШГФ, через порядок слов, предлоги и т.п. и грамматические особенности слов, определяя, в первую очередь, основную форму и "дополнения"..), а также "семантику" этих слов (смысловую форму). В шаблоне перевода здесь также должны быть условные семантические сущности слов, с заданием соответствия между расположением семантических единиц в ШГФ языков "1" и "2". Алгоритм "процессингов", которые автоматически строят ШГФ, довольно сложен, особенно для реальных языков, изобилующих "подвохами" - на практике с такой задачей с трудом справляются целые научные коллективы лингвистов с программистами. И, однако, с задачей легко справляется мозг ребёнка 1-3 лет, использующий, видимо, нейросетевую обработку кластеров ШГФ, - дело облегчается тем, что в этот кластер, одновременно с векторами (Г1, СС1) поступают "переводы" СС1 - СС2, взятые из предыдущего опыта.
P.S. 11 авг 2018
…Математически сходство "векторов" (в том числе описаний в векторном виде) определяется по (нормируемым) расстояниям между ними (с учётом, в общем случае, разных "весов значимости" расстояний по разным координатам), абсолютному и относительному (к другим векторам), оно может быть вычислено математически или определено "нейросетью опорных векторов" (НОВ) в результате операций "свёртки".
…Поясню подробней последнее. Распознающие нейроны "НОВ" подсоединены к смысловым (аксонным) "линиям связи" кортекса (их число возьмём = 1000, каждая "линия" (а в общем случае - возбуждение нескольких "линий") несёт "смысл" - например, закодирована как объект или "свойство"), с помощью "синаптических связей", из которых порядка 995 будут "слабыми", а порядка 5 - "сильными", - в этом случае каждый такой нейрон настроен на выделение одного "паттерна" возбуждений линий связи (свёртка "паттерна" с синаптическими весами нейрона даст суммарный максимум возбуждения нейрона). Далее, в каждой мини-колонке, 50 "первичных" распознающих нейронов (суммарное число нейронов в колонке обычно порядка 100) суммируют сигналы (напрямую или через несколько промежуточных нейронов) на "решающий" нейрон, возбуждающийся, когда все (или почти все) "первичные" нейроны колонки "возбудились". "Свёртка" с метрическим признаком в таких нейросетях также возможна - для этого среди 1000 "линий связи" выделяется, допустим, 100 линий, каждая из которых представляет определённый диапазон "метрического признака", при этом каждый нейрон "опорного вектора" может быть соединён лишь с одной из этих 100 линий (для обобщённых опорных векторов - с некоторым диапазоном этих линий), "свёртка" с метрическими признаками "опорного вектора" происходит при достаточном "расширении диапазона признаков" входного вектора относительно их "реальных" значений (если сформирован "обобщённый опорный вектор" (или, в общем случае, несколько таких векторов), то указанное "расширение диапазона" не потребуется.
…Наибольшую сложность при обработке с помощью алгоритмов, работающих с обычной памятью компьютера, здесь вызывает случай, когда имеется некоторый недостаток признаков входного вектора, вызванный обычно различными "помехами" и т.п., - в этом случае даже при "ассоциативной упорядоченности" опорных векторов в памяти процессору придётся перебирать достаточно большое число вариантов. Один из выходов - "ассоциативная память", которая хотя и значительно дороже, чем "обычная" память компьютера, но всё-таки значительно проще, чем моделирование, даже частичное, нейросетей. У нейросетей такая проблема вообще не возникает, хотя обработка получается не совсем оптимальной (по отношению к помехам). В условиях помех свёртка происходит с постепенным понижением "порогов возбуждения" распознающих нейронов, так что, в конечном итоге, нейроны могут реагировать даже на сигнал в одной линии связи (на один признак, например) - этом случае вероятность правильного распознавания резко снижается.
…Помимо "кластерной" памяти, в мозге имеется значительный объём "декларативной" (и, вероятно, "процедурной") память, - возможно даже, что она записана в какие-то подобия "кластеров", в соответствии с общим принципом кортекса "класть подобное к подобному" (для возможностей обобщений и упрощения "соревновательности"). Так, например, стишок Пушкина: "Пока свободою горим..", скорей всего, запрятан в один из таких "кластеров", возбуждающийся даже от слов: "Пока сердца.." или "для чести живы". Такие псевдокластеры не используются как "сущности" (абстракции), смысл "декларативной" (вообще - ассоциативной), "некластеризованной" памяти - в том, чтобы использовать её не непосредственно (как в "иерархиях сущностей"), а с помощью
анализа в некоторых сходных ситуациях, и др. - именно поэтому она (в отл. от "опорных векторов", которые претерпевают в био-мозге, скорей всего, нейросетевую обработку "обобщения"), доступна для анализа (сознания).
P.S. 12 авг 2018
…Судя по числу двигательных гиперколонок кортекса, а также по числу (гипер)колонок мозжечка, у человека имеется примерно 10 000 кластеров движений. Двигательные гиперколонки стереотипных движений (есть ещё специальные гиперколонки для разучивания движений) в кортексе образуют кластеры "общей обстановки", в которой должно выполняться движение, а (гипер)колонки мозжечка уточняют движения, опираясь на более точные данные с сенсорных датчиков тела и некоторых иных. Огромное число опорных векторов в (гипер)колонках мозжечка объясняется большой размерностью пространства признаков и высокими требованиями по точности движений. При кластеризации движений автоматически учитывается необходимость балансировки.
…Было бы интересно узнать, используется ли опорно-векторный подход в программах движений робота "Atlas"?
***
…Теперь об интересном следствии "Концепции опорно-векторного интеллекта" (КОВИ), за которое я хочу получить
Нобелевскую премию по нейробиологии (совместно с тем, что обнаружит "опорно-векторные нейросети") - это
"иерархическая самоорганизация мозга". Эта самоорганизация опирается на правило конкуренции: Всякая бесполезная структура мозга редуцируется и отмирает, а полезная - увеличивает вес ("
принцип полезности", правило Хебба является его частным проявлением). Оказалось, что это правило проявляется в любом "опорно-векторном интеллекте", в частности, на следующих трёх уровнях:
а) Уровень "весов признаков" в "пространстве признаков" (соответствует весам синапсов нейронов, распознающих паттерны, в мини-колонках кортекса (и мозжечка)). Если какие-то признаки "опорного вектора" способствуют, через участие этого "опорного вектора", в ложном определении "сущности", их веса уменьшаются, и наоборот. (P.S. Для "логических" микро-векторов (см. далее) здесь речь пойдёт не о единичных признаках, а о всём микро-векторе).
б) Аналогично - уровень "весов опорных векторов". Здесь очень важно, что наиболее "редуцированные" опорные векторы постепенно заменяются другими - так кластер опорных векторов постепенно повышает эффективность распознавания сущности. Важным следствием здесь является возможность формирования эффективных векторных элементов нижних уровней (особенно зрительных) через их (псевдо)случайные изменения без нарушения структуры кластеров, использующих эти элементы - этот метод открывает замечательные перспективы в распознавании образов и сильным, и слабым "ИИ".
в) Наконец, уровень самих кластеров - в начале обучения СИ в нём образуется огромное число "неэффективных" (или "псевдо", или.. "мутных" ?) сущностей (точнее - абстракций сущностей, конечно), и, поскольку СИ имеет иерархическую структуру, они некоторое время используются в качестве признаков для иных "сущностей", а также для записи в "декларативную" память, но в дальнейшем исчезают за ненадобностью (освобождают место в мозге для записи более эффективных "сущностей"). "Декларативная памяти", записанная в "незрелых", "неэффективных" сущностях (абстракциях), которые к тому же "исчезли", также постепенно исчезает (за ненадобностью), освобождая место в мозге - вот откуда "детская амнезия".
...(Примеч. 13 мая 2019: Для реализации "принципа полезности" отделы мозга А, более близкие к "эмоциональным", должны посылать сигналы "обратной связи" (вначале, вероятно, в "фоновом режиме"), стимулирующие работу "более отдалённых отделов мозга Б" таким образом, чтобы она "поощрялась" из отделов "А". Таким образом, помимо "прямых и обратных символьных М-шин", существуют "восходящие и нисходящие" связи, реализующие "принцип полезности", в том числе, логично предположить, участвующих и в формировании М-шин).
P.S. 13 авг 2018
...Приведённая выше формула "СИ" является одновременно и формулой "универсального интеллекта". Некоторым этого мало - они утверждают, что мышь, например, не обладает "СИ", поскольку её мозг не дотягивает даже до человеческого. А некоторым мало и "силы" человеческого интеллекта! - им подавай интеллект, способный с лёгкостью к любым обобщениям, способный "модифицировать себя", и производящий исключительно оптимальные решения. Однако посмотрим правде в глаза - любой сильный интеллект должен быть универсальным, а любой универсальный интеллект строится по (словесной) "формуле", приведённой выше. Конечно, сила "СИ" может быть очень разной в зависимости от мощности обработки, памяти и т.д., и здесь уже человеческий мозг проигрывает возможностям электроники - у них и память исчисляется терабайтами (у человеческого мозга, предположительно, в десятки раз меньше), и скорость обработки намного выше. Некоторые трудности могут быть с нейросетевой обработкой кластеров опорных векторов, но здесь у машин есть одно преимущество - если у людей каждый человек заново проходит этот нелёгкий путь "с чистого листа", то "СИИ" пройдёт его лишь один (условно) раз, а затем.. все СИИ разделятся на 2 класса:
а) класс "сверхинтеллекта" - развивать науку, технологии и т.п.
б) класс "роботов" с почти необучаемым, "дешёвым" интеллектом - для рутинных работ (при этом даже такие роботы будет значительно умнее моих сограждан, не желающих даже углубляться в тему
)
...Возможно, многие путают (обучаемый) интеллект с "интеллектуальными машинами"? - начиная с арифмометров и кончая машинами, работающими с формальной логикой и доказательством высказываний и теорем - здесь без формул никак не обойдёшься.
...Для сильного интеллекта следует различать интеллектуальность "процессингов", особенно в задаче обобщения кластеров (здесь пока "венец творения" - человек, а наиболее сильные обобщения получаются в результате нейросетевой обработки, в наиболее сложных случаях - квазислучайно), и интеллектуальность приобретённую в результате построения иерархий "абстракций" и обретения опыта решения задач. Приобретённая интеллектуальность, конечно, является плодом усилий конкретного мозга, но опирается на культуру и интеллект всего Человечества, безусловно, здесь также есть элемент случайностей и "озарений".
P.S. 15 авг 2018
…Важные разъяснения даны в моём сообщении от 14 авг 2018, см.
…В "ОТИ" должны быть даны разъяснения и по "целевой функции" у животных (и человека), поскольку теория касается не только СИИ, но и мозга животных, обладающих интеллектом. Прежде всего, эта функция не однозначна - она определяется через сложное взаимодействием ядер возбуждения лимбической (в психоэмоциональной её части) системы (с наличием конкуренции, привыкания и даже "психоэмоционального узнавания") - ядер психоэмоциональных инстинктов. Хотя, очевидно, конечной целью "целевой функции" является снижение возбуждения тех или иных ядер, "парадоксальным" образом (в био-мозге) это достигается через (временное) усиление их возбуждения, которое эмоционально окрашивает действия, связанные с "удовлетворением (тех или иных) инстинктов" - это необходимо для установления "важности" каждого действия (а заодно и всех объектов, которые в нём использовались). "Абстракции" (действия, объекты и т.д.), которые не участвовали в "оптимизации целевой функции" (удовлетворении того или иного инстинкта), могут исчезнуть как кластеры "опорных векторов". С развитием интеллекта "целевая функция" (реализуемая через взаимодействие "ядер" и др.) "учится", через корреляционно-временной анализ (в гиппокампах ?) влияния тех или иных действий на "целевую функцию", оптимизировать своё усреднённое значение на всё более длительные сроки вперёд (вплоть до "неопределённого будущего", хотя отдельные инстинкты - например, сексуальный, или боли - могут "брать верх"). Интересно было бы обсудить "на нейросетевом уровне" различные сложные инстинкты (социальные, сексуальные, импринтинги и др.), но форум всё-таки по "ИИ", а для СИИ достаточно одного (?) инстинкта - выполнения указаний Хозяина (эти указания могут быть такими, чтобы СИИ имитировал человеческие инстинкты).
…"Приспособляемость" инстинктов видна на следующих примерах. При регулярных обливаниях холодной водой охранительный инстинкт реагирования на холод может притупиться. Или - феномен привыкание к различным рискам, вероятно, сходный с привыканием к наркотикам.
...И, наконец, из жизни животных, мои давние наблюдения:
-- Если оса (летающая за сладким) наткнулась на некое препятствие (я временно закрыл окно), то в дальнейшем она это место будет пролетать очень медленно. При сдвиге кормушки в другое место вначале производится довольно хаотичный "поиск", после чего оса снова помнит расположение кормушки.
-- Интересна сцена с обучением курицей маленького цыплёнка, в укромном месте в стороне от других цыплят. Курица и цыплёнок стояли напротив друг друга, и цыплёнок воспроизводил ВСЕ движения курицы, от движений головой до движения лапками, курице же как будто доставляло удовольствие учить цыплёнка в таком "интерактивном режиме" (в осн. курица учила добыванию корма - расчистка земли лапой и затем попытка что-то склюнуть на этом месте).
P.S. 16 авг (далее см. в дискуссии, есть ограничения на добавления текста)