Форум: Проблемы искусственного интеллекта

Регистрация | Вход

Все темы | Новая тема  Стр.14 (36) << < Пред. | След. > >>    Поиск:
Автор	Тема: На: Пишу поисковый движок с элементами ИИ
tac Сообщений: 2601	На: Пишу поисковый движок с элементами ИИ Добавлено: 13 сен 14 16:21 Цитата: Автор: NO. Там в списке ассоциаций качество по гиперболе резко убывает в самом начале, нужно обрезать где мусор начинается. А то можно и всю базу пересортировать и выдать. Иногда список на первый взгляд в тему. Но просто в начале много раз одно и то же. Потом опять резкий спад. В общем грубая сила не справилась. думаю автор не учитывает энтропию слов в контексте, ему бы покурить алгоритм ID3 и etc - было бы много лучше, пока наивный алгоритм [Ответ][Цитата]
tac Сообщений: 2601	На: Пишу поисковый движок с элементами ИИ Добавлено: 13 сен 14 16:45 Изменено: 13 сен 14 16:49 Цитата: Автор: Bazist Вообщем возвращаясь к примеру с лошадью, связи есть. Осталось их только классифицировать. Сказать что лошадь к собчак имеет отношение как кличка. К телеге имеет отношение как элемент работы. К корове имеет отношение как элемент такого же самого класса. К животным имеет отношение потому что относится к классу животных. ну пока получается вида " — Почему Воркута? — А я там сидел. — Ну хорошо. А ты, значит, на «а». — Джамбул… — А причём тут Джамбул?" все известно, что как детей учат классифицировать дают синие квадраты, синие треугольники, красные квадраты и красные треугольники - человек научается делать такую классификацию где-то к 5 годам, в 3-4 часты случае когда идет бинарная классификация - или по цвету или по форме. Более старшие понимают, что ассоциировать можно по разным критериям/инвариантам. Но вначале их надо для этого выделить, т.е. понимать что синие/красные это цвет, а треугольники/квадраты отличаются формой. а пока на красное он будет давать вино - фиг с два вы что-то классифицируете. Но принципиально автор прав - ребенок учится разговаривать и понимать смысл, совершенно не зная грамматику, а лишь понимая логику множест с разделением/объединением и т.д. [Ответ][Цитата]
tac Сообщений: 2601	На: Пишу поисковый движок с элементами ИИ Добавлено: 13 сен 14 16:57 Изменено: 13 сен 14 16:59 Сейчас алгоритм автора можно сказать находит устойчивые словосочитания и не более, причем с ошибками. Положения слов похоже действительно автор не учитывает, но скорее всего он делает следующие, берет куски текста в которых чаще всего встречается искомое слово и смотрит какие другие слова имеют высокую частоту встречаемости. На основании этой давно подмеченной эвристики уже многие спекулирую якобы о смысле, хотя это всего лишь одна эвристика, которой ужастно мало, но она важна никто не спорит. Проверил я это легко набрал РНК на хабре, и он выдал все мои статьи и заодно весь мой лексикон, который я чаще всего употребляю в этих статьях [Ответ][Цитата]
NO. Сообщений: 10700	На: Пишу поисковый движок с элементами ИИ Добавлено: 13 сен 14 17:03 Много чего нужно, вопрос в том писать это вручную или обучением. Нужно понять что такое ассоциация, не ассоциация, анти-ассоциация, условная, по тексту, смыслу, статистике, логике. Молоко с огурцами хорошо ассоциируется? Вообще что такое неформальность. Тут ведь об этом, что без заданных программистом обобщений и отношений они могут создаваться и работать. [Ответ][Цитата]
tac Сообщений: 2601	На: Пишу поисковый движок с элементами ИИ Добавлено: 13 сен 14 17:09 И объемы конечно важны - это аналог того, что человек изучает языки не по книгам, а так сказать в среде - мозг запоминает частоту использования слов, и потом человек может выдавать простые фразы и частые словосочетания. Чем больший объем, тем меньше ассоциации зависят от того, что имел введу в конкретном случае отдельный человек в своей речи. Появляется некий разноплановый кластер всевозможных смыслов, да в целом он отражает семантику, которую удается уловить другому человеку, даже если сам формирующий не знает этого смысла. Но надо сказать, что и дети так делают часто выдают фразы не зная смысла, но видят реакцию взрослого и понимаю что норм и закрепляют. И тут мы приходим к тому, что у нас нет учителя, который отбраковывал бы случайный бред. [Ответ][Цитата]
tac Сообщений: 2601	На: Пишу поисковый движок с элементами ИИ Добавлено: 13 сен 14 17:20 Изменено: 13 сен 14 17:33 Проблема с текстами состоит в том, что смысла там не будет пока не будет визуального опыта (ну или тактильного, что сложнее). Именно визуальный опыт позволяет понимать что красный и синий это цвета, а не вино. Без этого не будет смысла только на основании текста. Без этого классификации ассоциаций не возможны, нужны костыли от программиста в замен. Надо дать программе возможность понимать обобщения - а информации об этом в тексте нет . И вот грамматика это такой костыль - когда ребенка спрашиваешь/объесняешь чем треугольник отличается от квадрата - ты ему показываешь число вершин он понимает смысл различия, а с костылем грамматики показываешь, что это существительные в контексте геометрии - и смысл испаряется, он выражается уже через сложнейшие определения фигур, которые нельзя понять (думаю все в курсе, что все определения цикличны по грамматике, хоть это формальная ошибка логики? ). Впрочем гугл эту проблему решил - он выдает более менее изображения ассоциативные с искомым словом. Как это делает? Ищет картинки, в тексте и где чаще употребляется то или иное слово. Но муссора уже больше [Ответ][Цитата]
Bazist Сообщений: 494	На: Пишу поисковый движок с элементами ИИ Добавлено: 14 сен 14 3:43 Цитата: находит устойчивые словосочитания и не более если он находит устойчивые словосочетания, то как можно вывести что машина это автомобиль ? как часто эти слова употребляются в одном словосочетании ? [Ответ][Цитата]
Bazist Сообщений: 494	На: Пишу поисковый движок с элементами ИИ Добавлено: 14 сен 14 3:47 Цитата: И тут мы приходим к тому, что у нас нет учителя, который отбраковывал бы случайный бред. В этом и смысл, что случайный бред на больших обьемах данных не сможет закрепится. Даже если эти тексты писали в сумашедшем доме, случайный бред не закрепится между разными пациентами. Но закрепится то, что обьединяет разных пациентов и здоровых людей. [Ответ][Цитата]
eto_ya Сообщений: 1545	На: Пишу поисковый движок с элементами ИИ Добавлено: 14 сен 14 3:51 Изменено: 14 сен 14 3:53 Цитата: Автор: Bazist если он находит устойчивые словосочетания, то как можно вывести что машина это автомобиль ? как часто эти слова употребляются в одном словосочетании ? Проблему можно решить костыльно, не сильно меняя устройство движка. Для этого нужно ввести флажок "обучающий" для документов, вес таких документов будет выше всех (что-то типа абсолютной истины). Далее просто подать системе документ в режиме обучения с текстом "машина автомобиль". Всё. [Ответ][Цитата]
Bazist Сообщений: 494	На: Пишу поисковый движок с элементами ИИ Добавлено: 14 сен 14 3:54 Цитата: Автор: tac Проблема с текстами состоит в том, что смысла там не будет пока не будет визуального опыта (ну или тактильного, что сложнее). Именно визуальный опыт позволяет понимать что красный и синий это цвета, а не вино. Без этого не будет смысла только на основании текста. Без этого классификации ассоциаций не возможны, нужны костыли от программиста в замен. Надо дать программе возможность понимать обобщения - а информации об этом в тексте нет . Классификации возможны. Нужно помнить что интеллект присущ не только человеку. Но темже насекомым, мелким животным и другой живности, которая с классификацией тоже прекрасно справляются, без тонн тактильных ощущений и даже без общения. Значит существует несложный алгоритм который это делает в любмых масштабах, но при условии крупного потока входящих данных [Ответ][Цитата]
Bazist Сообщений: 494	На: Пишу поисковый движок с элементами ИИ Добавлено: 14 сен 14 3:56 Цитата: Автор: eto_ya Проблему можно решить костыльно, не сильно меняя устройство движка. Для этого нужно ввести флажок "обучающий" для документов, вес таких документов будет выше всех (что-то типа абсолютной истины). Далее просто подать системе документ в режиме обучения с текстом "машина автомобиль". Всё. Это костыль. Давайте лучше поговорим, у вас есть письмена из планеты Нибиру. И вам нужно их не только расшифровать но и обучить машину их понимать. Что будем делать ? [Ответ][Цитата]
eto_ya Сообщений: 1545	На: Пишу поисковый движок с элементами ИИ Добавлено: 14 сен 14 4:07 Изменено: 14 сен 14 4:11 Цитата: Автор: Bazist Это костыль. Давайте лучше поговорим, у вас есть письмена из планеты Нибиру. И вам нужно их не только расшифровать но и обучить машину их понимать. Что будем делать ? Все что вы могли извлечь из голого текста вы видимо извлекли и это не привело к возможности автоклассификации, не так ли? Поэтому у вас два пути 1) костыли 2) введение механизма обучения для связывания слов с понятиями и прочее. Так как второй вариант вам не интересен и не по силам, то первый вариант идеально вам подходит и минимален по затратам, если вам конечно еще требуется решить задачу. Есть адекватные возражения или опять упретесь как баран в стену? [Ответ][Цитата]
Bazist Сообщений: 494	На: Пишу поисковый движок с элементами ИИ Добавлено: 14 сен 14 4:12 Цитата: Автор: eto_ya Все что вы могли извлечь из голого текста вы видимо извлекли и это не привело к возможности автоклассификации, не так ли? Поэтому у вас два пути 1) костыли 2) введение механизма обучения для связывания слов с понятиями и прочее. Так как второй вариант вам не интересен и не по силам, то первый вариант идеально вам подходит и минимален по затратам, если вам конечно еще требуется решить задачу классификации. Есть адекватные возражения или опять упретесь как баран в стену? Задача классификации решается, причем очень красиво. Она решается очень абстрактно, без единого коефициента, привязки к какойто семантике. Она решается на множесте. Есть набор обезличеных связей, через сами связи можно выразить тип этой связи. Нужно только хорошенько подумать как. [Ответ][Цитата]
eto_ya Сообщений: 1545	На: Пишу поисковый движок с элементами ИИ Добавлено: 14 сен 14 4:18 Изменено: 14 сен 14 4:19 Цитата: Автор: Bazist Задача классификации решается, причем очень красиво. Она решается очень абстрактно, без единого коефициента, привязки к какойто семантике. Она решается на множесте. Есть набор обезличеных связей, через сами связи можно выразить тип этой связи. Нужно только хорошенько подумать как. Вот имеете вы свое множество фраз: "машина ехала", "автомобиль ехал", "Петя ехал", "поезд ехал". Представьте что вы человек, который первый раз в жизни видит эти слова. Ну как, удалось классифицировать? Поэтому есть только два вышеописанных пути. [Ответ][Цитата]
Luarvik. Сообщений: 17287	На: Пишу поисковый движок с элементами ИИ Добавлено: 14 сен 14 4:19 Изменено: 14 сен 14 4:20 Цитата: Автор: Bazist Задача классификации решается... Вы задачу себе ставите... гастрономическую. Кушать хочется, а есть нечего - как заменить корнеплод одной ботвой ? [Ответ][Цитата]
Стр.14 (36): 1  ...  10  11  12  13  [14]  15  16  17  18  ...  36 << < Пред. | След. > >>