GotAI.NET

Форум: Проблемы искусственного интеллекта

 

Регистрация | Вход

 Все темы | Новая тема Стр.1 (1)   Поиск:  
 Автор Тема: Нейронная логика
Tester64
Сообщений: 906
Нейронная логика
Добавлено: 10 янв 20 21:38
Изменено: 10 янв 20 21:39
Добрый день.

Нашел в себе настроение почитать про простейшие нейронные сети и задался вопросом:
А есть ли возможность создать на нейронных сетях/"петлях" простейшие логические модули?
Например имитировать бинарную математику - OR, AND, XOR... Хранение битов.

Может кто сталкивался? Кого/что имеет смысл почитать/погуглить?

p.s. вопрос не философский, а "программерский".
(прошу не засорять ветку ответами не по теме - буду "молча" удалять)

p.p.s. я только начал читать инфу про нейросети, поэтому для меня все в новинку...

Задумка: сделать транслятор из алгоритмического языка в нейро-сеть. А учитывая что нейронным сетям скоро исполнится почти 60 лет, подумал что подобное должны были уже попробовать - что вышло?

Теоретически... Вроде видел алгоритмы, помогающие обучить относительно простые нейронные сети для повторения функций, похожих на простые бинарные (но не уверен - еще не глубоко "копнул").
[Ответ][Цитата]
гость
89.163.143.*
На: Нейронная логика
+1
Добавлено: 11 янв 20 3:40
Нейросетка это вид классификаторов\регрессоров, которая может эмитировать любую(любой сложности) функцию, при достаточном качестве\количестве обучающих примеров и слодности структуры классификатора.

Это аппроксимация, подгонка, "фиттинг". То о чем Вы говорите возможно но не факт что оптимально. В какомто смысле булева и четкая логика есть результат обобщения работы сверхсложных систем нечеткой(природной, на нейросетях) логики, то есть в природе всё наоборот вышло. Это как с растровыми картинками, они "четкие" когда очень много пикслей, увы с нейронками это пока недостижимо, нужны миллионы\миллиарды нейронов в реалтайме, что пока фантастика.
[Ответ][Цитата]
Tester64
Сообщений: 906
На: Нейронная логика
Добавлено: 11 янв 20 9:15
Цитата:
Автор: гость

Нейросетка это вид классификаторов\регрессоров, которая может эмитировать любую(любой сложности) функцию, при достаточном качестве\количестве обучающих примеров и слодности структуры классификатора.

Это аппроксимация, подгонка, "фиттинг". То о чем Вы говорите возможно но не факт что оптимально.


Это все я понимаю... Меня интересует принципальная возможность!

Есть специализированные процессоры, которые СОЗДАВАЛИСЬ для нейронных сетей. Некий аналог видеокарт с их тысячами "ядер", но без "обработки видео". Реально ли написать нейронную программу, которая создаст ИМИТАЦИЮ обычного процессора на ней?


Понятно что вопрос не в оптимальности! Хотя... Если разобрать эти блоки на супер-экономные наборы для решения одной задачи, то возможно из 5-10 ячеек получить можно получить нужный "логический модуль".

Хочу попробовать написать нечто подобное самостоятельно... (разминка ума). Пока собираю информацию...

p.s. похоже подобное уже пытались сделать, но как далеко зашли и почему забросили/отложили не понял!

https://towardsdatascience.com/emulating-logical-gates-with-a-neural-network-75c229ec4cc9
нагуглил через "neural network boolean logic"

p.p.s. Может когда-нибудь можно будет благодаря технологии вроде НейроЛинк Маска подобне внедрять в органические нейро-сети... Хочу для себя представить возможности...

2Ilya Geller Ваша помешанность на "текстовых анализаторах" здесь совсем не в тему! Если это не по теме на грани "математики, информатики и нейросетей", буду удалять! "Не тратьте зря чернила"!
[Ответ][Цитата]
Tester64
Сообщений: 906
На: Нейронная логика
Добавлено: 11 янв 20 10:02
Нейронов в мозгу (с вики)
слона 257млрд,
человека - 86млрд,
макака - 3.78млрд,
попугай - 1.161млрд

У 8-ядерного Core i7-5960X (обзор) количество затворов — 2,6 млрд.

Вот и возникает вопрос "сколько процессоров можно имитировать в одном мозге слона, если использовать нейроны на 100% для расчетов". Понятно что вопрос чисто теоретический... Архитектура принципиально другая, да, быстродействие у органики на порядки ниже чем у кристаллов и 100% нельзя использовать там где часть нейронов задействовано для систем жизнеобеспечения...

Но теоретически? Сколько попугаев нужно чтобы заменить настольный калькулятор?

Задумка - теоретически можно "настроить" математический "сопроцессор" где-нибудь в незанятой части мозга если получить нужные инструменты... Представим что у нас уже есть супер-пупер-инструмент "от Маска". Возникает вопрос КАК должны переконфигурировать нейросеть чтобы получить простейший МАТЕМАТИЧЕСКИЙ инструмент.

-----------

Как программист знаю что используя определенные математические и логические преобразования можно добиться многократного повышения эффективности. Когда 10 функций при правильном "смешивании и перемешивании" занимают кода намного меньше чем занимали 5 и скорость работы иногда может повыситься в 2-3 раза... (например выявление одинаковых блоков в коде и повторное их использование, или система кеширования результата вместо повторного вычисления, или использование общих/глобальных переменных вместо передачи значения между переменными с копированием/клонированием)

Хочу попробовать написать простой логический-математичейский калькулятор на нейронных сетях, а потом попробовать поискать мат-модели для коомбинирования нейронных блоков без потери производительности...

...может получится придумать что-нибудь не обычное... вопрос - не слышали ли вы про подобные математические/программерские эксперименты и чем они закончились?
[Ответ][Цитата]
mss
Сообщений: 2529
На: Нейронная логика
Добавлено: 11 янв 20 11:31
Для иммитации AND достаточно одного нейрона с двумя входами, одним выходом и 4мя обучающими примерами. И тд для других случаев.

Проблема ИНС - иммитация человской логики т.е. "сложной".
[Ответ][Цитата]
Tester64
Сообщений: 906
На: Нейронная логика
Добавлено: 11 янв 20 12:54
Цитата:
Автор: mss

Для иммитации AND достаточно одного нейрона с двумя входами, одним выходом и 4мя обучающими примерами. И тд для других случаев.

Проблема ИНС - иммитация человской логики т.е. "сложной".

Мне не нужна "человеческая логика". Этим целые институты занимаются и тысячи философов...

Я ставлю перед собой исключительно "программерские" задачи и пытаюсь их решать...

Пока не могу грамотно сформировать задачу целиком... ((

Я не ограничен "перцептроном" или другими "упрощениями ради задачи". У меня в идеале есть практически НЕОГРАНИЧЕННАЯ "полянка" которая "засеяна" нейронами. Я "втыкаю" в нее "щупы" и пытаюсь "программировать" сеть... Для начала/упрощения могу "каждый нейрон перепрограммировать вручную" или настроить "внешнюю обучалку" для участка сети. Для начала сеть "двухмерная". Для начала функция максимально упрощена...

Предположительная задача: написать основу простой "библиотеки математических функций на нейронной основе". Сложение, вычитание, умножение, деление, степень, корень, синус... Скорость работы - не важна! Главное - правильность работы...

Задача навеяна "НейроЛинком Иллона Маска". Пробую ее упростить до возможности хоть приблизительно промоделировать. Вспоминаю все что знал про нейроны органические и нейро-сети компьютерные. А за одно хочу для себя понять где я сам мог в (МОИХ) проектах использовать нейросети.

Раньше НЕ уважал нейросети за "не-математичность", медлительность и непредсказуемость результата, но сейчас (видя чужие положительные успехи - у того-же Маска не нем "автопилот" построен) хочу пересмотреть их "полезность" и попытаться научиться с ними работать...
[Ответ][Цитата]
гость
188.170.192.*
На: Нейронная логика
Добавлено: 11 янв 20 13:13
Цитата:
Автор: Tester64
Предположительная задача: написать основу простой "библиотеки математических функций на нейронной основе". Сложение, вычитание, умножение, деление, степень, корень, синус... Скорость работы - не важна! Главное - правильность работы...

получится какой-то жуткий нейровелосипед, зачем он нужен? Для всех функций уже есть идеальные программные реализации и нейросеть будет в разы медленнее их.

У маска нет автопилота, вы ошибаетесь
[Ответ][Цитата]
Tester64
Сообщений: 906
На: Нейронная логика
Добавлено: 11 янв 20 15:16
Цитата:
Автор: гость
получится какой-то жуткий нейровелосипед, зачем он нужен? Для всех функций уже есть идеальные программные реализации и нейросеть будет в разы медленнее их.

Знаю. Но иногда чтобы найти что-нибудь интересное надо не рваться с остальными "на перегонки", а замедлиться или сделать шаг назад, чтобы пощупать альтернативные "маршруты развития".

По сути у нас есть "не паханое поле" - наш нейронный мозг. И на горизонте появились первые адекватные инструменты, способные предоставить доступ к программированию некоторыми частями этого мозга.

НейроЛинк - это набор сверх-тонких "игл" которые можно массово, быстро и надежно имплантировать в кору мозга. Намного тоньше волоса при том что при имплантации еще и "разветвляются" для предоставления нескольких контактов в точке. Технология еще проходит первое тестирование, но это уже явный прорыв по сравнению с "безконтактными датчиками" для управления "ушками" или даже квадрокоптером. И еще дальше от старых "болтов" встраиваемых обезьянам в мозги многочасовой операцией. Если повезет, то через 20-30 лет эта технология дорастет до состояния когда КАЖДЫЙ сможет встроить имплант себе в черепушку "по цене игровой приставки к телевизору"...

Но что дальше? Что с этим "интерфейсом" делать? Учиться им пользоваться "как второй клавиатурой и мышкой"? Примитивный пульт для телевизора и Ютюба? Скучно! Лучше наоборот - оптимизация мозга, заливка данных в мозг...

А вот с алгоритмами - беда! Как ИЗМЕНИТЬ чужую нейро-сеть чтобы получить хоть что-то ПРИВЫЧНОЕ? То с чем можно оперировать понятными нам методами?

Почему бы не попробовать сделать некий "конструктор" из нейросетей, к которому можно применять методики из обычного программирования? Объекты, классы, свойства, патерны, рекурсии, счетчики... Возможно это поможет найти интересные решения по работе с нейросетями? А возможно когда-нибудь пригодиться когда появится доступ к "перепрошивке" биологических нейросетей?

Цитата:
У маска нет автопилота, вы ошибаетесь

У Маска есть Тесла, а у Теслы есть автопилот... Несколько месяцев назад смотрел ролик/презинтацию (ютюб) где пояснялось как они этого добились. 8 ОБЫЧНЫХ видеокамер среднего качества расположены по кругу - смотрят в 8 разных направлений (вперед, вправо, вперед-вправо, ...). Сигнал поступает на процессор, который РАЗРАБОТАЛИ специально для этой системы. Снимали много кадров, выявляли на этих кадрах объекты, потом прогнали эти тысячи/миллионы часов видео через специальные сервера (на видеокартах с микро-ядрами) для многочасового обучения специализированных нейросетей. Эти нейросети учились быстро выявлять нужное на видео. Причем с учетом того что то что было на "передне-правой" камере через секунду появится на "правой", а еще через секунду на "задне-правой". Там еще какое-то жуткое название у этого програмно/аппаратного комплекса - что-то вроде "Гидры". Потом ГОТОВЫЕ/обученные нейросети "заливаются" в специалиированные процессоры в Теслу и... работают. Получилось хитрое "комбо" из нейроматриц для распозавания видео и набора "алгоритмических" логик для поведения машины на дороге с учетом полученного от нейроматриц...

...пожалуй после этого ролика я впервые понял что нейросети перестали быть "малопонятным хламом" способным выявлять лишь глаза на фото в камерах или "рисовать картины смешивая разных художников".
[Ответ][Цитата]
Сергей Гаврилов
Сообщений: 175
На: Нейронная логика
Добавлено: 12 янв 20 3:24
Цитата:
Автор: Tester64
Раньше НЕ уважал нейросети за "не-математичность", медлительность и непредсказуемость результата, но сейчас (видя чужие положительные успехи - у того-же Маска не нем "автопилот" построен) хочу пересмотреть их "полезность" и попытаться научиться с ними работать...
Ну, из за хайпа Mlp не изменился, нужно уметь распознавать тему самостоятельно, а не во время хайпа, когда что то хайпуют время стричь бабки как правило уже ушло.
[Ответ][Цитата]
Tester64
Сообщений: 906
На: Нейронная логика
Добавлено: 12 янв 20 4:39
Изменено: 12 янв 20 4:40
Цитата:
Автор: Сергей Гаврилов

Ну, из за хайпа Mlp не изменился, нужно уметь распознавать тему самостоятельно, а не во время хайпа, когда что то хайпуют время стричь бабки как правило уже ушло.


При чем здесь "хайп"? Мы лишь в начале пути и технология перестанет быть "не понятной" хорошо если через 100 лет...

Маск первым смог в (узнаваемом) КОМЕРЧЕСКОМ продукте грамотно совместить нейросети и обычные алгоритмы.

Моя задумка идет по тем-же принципам, но в другом направлении... мы не "пересекаемся" с ним в задачах!

...сейчас штудирую школьный курс по нейросетям и пишу свой первый объект для хранения нейронов и основы сети (личная разработка будет, а не "выверенная умными математиками библиотека с удобным входом и выходом и черным ящиком внутри"). Упор попробую сделать на то что можно будет "отлаживать" эту сеть имея возможность ПРОСМОТРЕТЬ эту сеть в визуальном "отладчике". Видел в вебе такие примитивные "конструкторы", но там почти ничего менять нельзя... да и отчетность отсутствует...
[Ответ][Цитата]
гость
188.170.193.*
На: Нейронная логика
Добавлено: 12 янв 20 5:10
Цитата:
Автор: Tester64
...сейчас штудирую школьный курс по нейросетям и пишу свой первый объект для хранения нейронов и основы сети (личная разработка будет, а не "выверенная умными математиками библиотека с удобным входом и выходом и черным ящиком внутри"). Упор попробую сделать на то что можно будет "отлаживать" эту сеть имея возможность ПРОСМОТРЕТЬ эту сеть в визуальном "отладчике". Видел в вебе такие примитивные "конструкторы", но там почти ничего менять нельзя... да и отчетность отсутствует...

Интересно, кто платит за всю эту работу..
[Ответ][Цитата]
Сергей Гаврилов
Сообщений: 175
На: Нейронная логика
Добавлено: 12 янв 20 5:53
Цитата:
Автор: Tester64



При чем здесь "хайп"? Мы лишь в начале пути и технология перестанет быть "не понятной" хорошо если через 100 лет...

Маск первым смог в (узнаваемом) КОМЕРЧЕСКОМ продукте грамотно совместить нейросети и обычные алгоритмы.

Моя задумка идет по тем-же принципам, но в другом направлении... мы не "пересекаемся" с ним в задачах!

...сейчас штудирую школьный курс по нейросетям и пишу свой первый объект для хранения нейронов и основы сети (личная разработка будет, а не "выверенная умными математиками библиотека с удобным входом и выходом и черным ящиком внутри"). Упор попробую сделать на то что можно будет "отлаживать" эту сеть имея возможность ПРОСМОТРЕТЬ эту сеть в визуальном "отладчике". Видел в вебе такие примитивные "конструкторы", но там почти ничего менять нельзя... да и отчетность отсутствует...
Ну тогда успехов Вам. Данила Зайцев уже выкладывал Mlp на пайтоне, там не очень сложно. Можно посоветоваться с Данилой или Виктором Царегорцевым, но говорят второй свой Mlp толкает по 50к$ за копию, это ИМХО перебор
[Ответ][Цитата]
Tester64
Сообщений: 906
На: Нейронная логика
Добавлено: 12 янв 20 6:29
Изменено: 12 янв 20 6:38
Цитата:
Автор: гость
Интересно, кто платит за всю эту работу..


Это (пока) не коммерческий проект. Для себя решил разобраться. Если будут интересные результаты, смогу где-нибудь в одном из своих коммерческих продуктов использовать...

Недавно ЗДЕСЬ поднимал тему про "ступени/стадии эволюции у живых организмов" - это заставило перечитать кучу литературы, заполнить многостраничный эксель документ на тысячу ячеек, а результат - довольно не обычная методика для сложных обработок в одном из моих коммерческих проектов, сократившая время исполнения веб-запроса в 3-5 раз, упростившая компоновку кода, разделившая код на несколько независимых разработчиков, добавившая возможность расширения минимум в 100 раз и позволившая пояснять принципы работы моего 10К строчного-кода "не программистам"(заказчикам). И это только на первых стадиях. (меньше 10% из придуманного пока внедрил - остальное пока слишком сложно/долго "перевести в программу/код")

Может и нейросеть где-нибудь пригодится... Но только если я буду ПОНИМАТЬ что она делает и как. А лучший способ понять - написать что-нибудь простое и "однозначно-понятное". Вроде обычного "бинарного калькулятора".

Честно - пока не знаю где нейросеть лично Я смогу применить... Если с "ступенями эволюции" я возился когда попал в "тупик", где стандартные методы стали слишком "сложными для удержания в голове" и нужны были альтернативные идеи, то нейросеть - это пока будет "Just for fun".
[Ответ][Цитата]
гость
185.220.101.*
На: Нейронная логика
Добавлено: 13 янв 20 3:59
Ну давайте переходите от слов к делу, напишите Mlp и покажите резцт\льтаты на XOR и MNIST
[Ответ][Цитата]
Tester64
Сообщений: 906
На: Нейронная логика
Добавлено: 13 янв 20 20:25
Цитата:
Автор: гость

Ну давайте переходите от слов к делу, напишите Mlp и покажите резцт\льтаты на XOR и MNIST

Одно другому не мешает... Чтение доков я начал за пол дня до вопроса сюда. Увы я с нейронками не дружу и поэтому начинаю их с нуля. С нуля пишу хранилища для нейронов, с нуля изобретаю виды отображения промежуточных отчетов. Даже сам нейрон "изобретаю с нуля" не особо отталкиваясь на классику с 1960х...

Сегодня поигрался с "графикой" - нарисовал "дикую" нейронную сеть, а теперь пытаюсь придумать как строить связи методами похожими на "органические". Попробую управлять "стимуляцией зон" для управления "ростом". Точечной, по площади площади, по определенному нейрону, по определенной "ветке" нейрона... Следующая стадия - "вживить электроды" в эту "дикую нейронную сеть" и попытаться через "импульсы" задавать направления и "снимать данные". Буду придумывать "правила роста" похожие на те что я видел в ютюбе, а не те что используют в "слоях". (последнее время сильно продвинулся в методиках не линейного программирования)

https://www.youtube.com/watch?v=4Gd92o4OTu0
https://www.youtube.com/watch?v=pqKPI0E8bsI

До реальных AND/OR/NOT минимум 2-3 месяца, если не пол года... Но вот показывать результаты (ЗДЕСЬ) у меня врядли появятся желание. В лучшем случае на одном из программерских форумах. Скорее всего "конечным продуктом/модулем" в одной из моих комерческих программ... Я уже пробовал когда-то выкладывать свои поделки - здесь сплошные "хейтеры". В лучшем случае дали ссылки на "готовые программы занимающиеся ПОЧТИ тем-же".

Я скорее использую этот форум "в роли утенка" ( https://ru.wikipedia.org/wiki/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D1%83%D1%82%D1%91%D0%BD%D0%BA%D0%B0 )
Повторяя несколько раз задание не понимающим (и не особо вникающим) собеседникам, я сам грамотно "формализирую" проблему и иногда меняю начальные условия, находя более не стандартные подходы... (я уже понял что моя конечная цель попробовать разработать "не линейные/слоеные подходы к нейронным сетям")
[Ответ][Цитата]
 Стр.1 (1)